GPU, Chip, Model, Compute: AI 과장 광고 뒤에 숨은 하드웨어 단어들

새로운 AI 시스템에 관한 글을 읽고 있는데, 단 세 문장 만에 글쓴이가 chip, GPU, model을 언급하더니 "compute"를 마치 컵에 따라 담을 수 있는 무언가처럼 말합니다. 고개를 끄덕이며 따라가지만, 마음 한구석에서 작은 목소리가 묻습니다. 잠깐, 이 중에서 진짜 두뇌는 뭐고, 그냥 그게 들어 있는 상자는 뭐지?

그런 혼란은 지극히 정상입니다. 이 단어들은 늘 함께 다니고, 기술적으로 들리며, 많은 마케팅 문구가 일부러 느슨하게 사용합니다. 좋은 소식은 하드웨어와 소프트웨어를 분리하는 순간, 이 어휘 전체가 제자리를 찾아 딱 맞아떨어진다는 것입니다.

빠른 답변

chip은 작은 하드웨어 조각이고, GPU는 한 번에 여러 작은 계산을 잘하는 특정 종류의 chip입니다. compute는 순수한 처리 능력이나 자원을 가리키는 격식 없는 단어입니다. model은 하드웨어가 전혀 아닙니다. 그 chip들 위에서 돌아가는, 학습된 소프트웨어 시스템입니다. chip이 일을 하고, model은 그 위에서 실행되는 대상입니다.

핵심 단어

• Chip — 전자 부품을 담고 있는, 집적 회로라고도 부르는 작은 하드웨어 조각. 물리적인 물건입니다. "processor(프로세서)"와 "chip"은 겹치지만, "processor"는 계산을 수행하는 부분을 강조하고 "chip"은 일반적인 물리적 단위를 가리킵니다.
• Processor — 명령을 실행하는 부품. CPU(central processing unit, 중앙 처리 장치)는 대부분의 기기에 들어 있는 범용 프로세서입니다. 복잡한 작업을 한 번에 하나씩 순서대로 처리하는 데 능합니다.
• GPU — Graphics processing unit(그래픽 처리 장치). 원래는 화면에 이미지를 그리기 위해 만들어졌지만, 알고 보니 많은 단순 계산을 병렬로 처리하는 데 뛰어났고, 이는 AI 시스템에 정확히 필요한 능력이었습니다. 그래서 GPU가 AI 하드웨어의 주인공이 되었습니다.
• Compute — 여기서는 명사로 쓰여 처리 능력 또는 작업 실행에 필요한 자원을 뜻합니다. "This needs a lot of compute"는 "이건 처리 능력이 많이 필요하다"는 뜻입니다. 정밀한 기술 단위가 아니라 줄임말입니다.
• Model — 입력을 받아 출력을 만드는, 학습된 소프트웨어 시스템. 소프트웨어입니다. model은 데이터로 빚어진 것이며, 손에 쥘 수 있는 chip으로 존재하지 않습니다.
• Training — 데이터를 먹여 내부 설정을 조정하게 함으로써 model을 만드는 과정.
• Inference — 이미 학습된 model을 사용해서 답을 만들어내는 과정.
• Accelerator — 특정 종류의 작업을 빠르게 하도록 설계된 chip을 가리키는 일반 단어. GPU는 가속기(accelerator)의 한 종류입니다. AI 작업을 위해 특별히 만들어진 다른 가속기들도 보게 됩니다. 이 단어는 그 chip이 한정된 임무를 가졌다는 뜻이지, 신비롭다는 뜻이 아닙니다.
• Cluster — 여러 chip을 하나의 큰 자원처럼 작동하도록 함께 연결한 묶음. 어떤 model이 "on a cluster"에서 학습되었다고 하면, chip 하나가 아니라 연결된 하드웨어가 가득한 방 전체가 그 작업을 했다는 뜻입니다.

흔한 함정

가장 큰 함정은 chip을 "the AI"로 취급하는 것입니다. 사람들은 "this chip is the AI"라거나 "they built the AI into the chip"라고 말합니다. chip은 하드웨어입니다. AI다운 동작은 그 하드웨어 위에서 돌아가는 소프트웨어, 즉 model에서 나옵니다. chip은 AI를 가능하게 할 뿐, AI 그 자체가 아닙니다.

두 번째 함정은 GPU와 chip을 마치 서로 다른 범주인 것처럼 헷갈리는 것입니다. GPU는 chip 입니다 — 특수화된 chip이죠. "should we use a chip or a GPU?"라고 묻는 것은 "탈것을 가져갈까, 자전거를 가져갈까?"라고 묻는 것과 조금 비슷합니다. 자전거는 탈것입니다. 더 명확한 질문은 "CPU냐 GPU냐?"입니다.

셋째, "compute"를 셀 수 있는 것처럼 쓰는 것입니다. "we need more compute"라는 표현을 보게 됩니다. 격식 없는 용법으로는 괜찮지만, 여기서는 셀 수 없는 명사라는 점에 주목하세요. "three computes"라고는 하지 않습니다. "more processing power(더 많은 처리 능력)"처럼 다루세요.

넷째, training과 inference를 혼동하는 것입니다. training은 model을 만드는 과정이고 비싸고 느립니다. inference는 완성된 model을 돌리는 과정이고 상대적으로 빠릅니다. 어떤 글이 시스템이 새로운 것을 "learned"라고 하면 그것은 training입니다. 당신의 질문에 답하는 것은 inference입니다. 이 둘을 바꿔 쓰면 설명이 모호해집니다.

다섯째, 더 빠른 chip이 자동으로 더 똑똑한 model을 뜻한다고 가정하는 것입니다. 더 좋은 하드웨어는 model을 더 빠르게 돌리거나 더 큰 model이 존재하게 해주지만, chip이 model을 더 현명하게 만들지는 않습니다. 지능처럼 보이는 동작은 클럭 속도가 아니라 model이 어떻게 학습되었는지에서 나옵니다.

여섯째 함정은 "a model"과 "an app"을 헷갈리는 것입니다. 당신이 탭하는 app은 친절한 껍데기이고, model은 그 아래에서 윙윙거리는 엔진으로, 흔히 당신이 결코 보지 못하는 먼 곳의 chip 위에서 돌아갑니다. 어떤 헤드라인이 회사가 "released a new model"이라고 하면, 화면에 새 app이 나타나지 않았더라도 그 엔진을 말하는 것입니다. 엔진과 계기판을 머릿속에서 따로 두면 뉴스를 해석하기가 한결 쉬워집니다.

언급할 만한 일곱 번째 함정은 격식 없는 표현 "runs on the cloud"입니다. 이는 작업이 공중에 떠 있다는 뜻이 아니라, 데이터 센터에 있는 다른 사람의 chip에서 일어난 뒤 결과가 당신에게 되돌아온다는 뜻입니다. "the cloud(클라우드)"는 그저 네트워크로 접속하는 다른 사람의 하드웨어입니다. model이 "lives in the cloud"라고 하는 것은 사실 어딘가 다른 곳의 chip에 산다는 뜻입니다.

자연스러운 표현 vs 어색한 표현

어색함: Their new chip can write essays and answer questions.

자연스러움: Their new model can write essays and answer questions; it runs on their latest chips.

어색함: We should switch from a chip to a GPU for this.

자연스러움: We should switch from a CPU to a GPU for this, since the task runs in parallel.

덜 자연스러움: The AI is trained every time you ask it something.

더 나음: The model was trained once; each question you ask is just inference.

덜 자연스러움: This will require many computes.

더 나음: This will require a lot of compute.

덜 자연스러움: The cloud thinks about your question and replies.

더 나음: The model runs on chips in a data center and sends the reply back.

자연스러운 버전들이 하드웨어(chip, GPU)를 소프트웨어(model)와 어떻게 분리하고, "compute"를 셀 수 없는 자원으로 다루는지 주목하세요. 같은 원칙이 "the cloud"에도 적용됩니다. 모호한 단어가 대신 자리 잡게 두지 말고, 실제로 일하는 하드웨어의 이름을 부르세요.

미니 표

빠른 연습

각 문제를 다시 쓰거나 답해 보세요. 제안 답안이 뒤따릅니다.

1. 빈칸 채우기: "The ______ runs on thousands of GPUs." (하드웨어 단어일까, 소프트웨어 단어일까?)
2. 참 또는 거짓: GPU와 chip은 완전히 다른 두 범주이다.
3. 자연스럽게 고쳐 쓰기: "We bought more computes for the project."
4. 어떤 단어가 맞을까: "Answering your question is an example of ______ (training / inference)."
5. 오류 찾기: "Their faster chip made the AI much smarter."

정답: (1) model — 하드웨어 위에서 돌아가는 소프트웨어입니다. (2) 거짓 — GPU는 chip의 한 종류입니다. (3) "We bought more compute for the project." (4) inference. (5) 더 빠른 chip은 model을 더 빠르게 돌리거나 더 큰 model을 가능하게 할 수 있지만, model을 직접 더 똑똑하게 만들지는 않습니다. 이 표현은 chip의 역할을 과장합니다.

핵심 정리

AI 하드웨어에 대해 명확하게 말하는 가장 빠른 방법은 한 줄을 마음에 단단히 새기는 것입니다. chip과 GPU는 물리적인 것이고, model은 그 위에서 돌아가는 학습된 소프트웨어이며, "compute"는 처리 능력을 가리키는 줄임말일 뿐입니다. 그 선을 붙잡고 있으면 마케팅 문구가 더 이상 안개가 아닙니다. 누군가 chip을 "the AI"라고 부르는 순간을 포착하고, 머릿속으로 올바른 단어로 바꿔 넣을 줄 알게 됩니다. 이 중 어느 것도 공학 학위가 필요하지 않습니다. 그저 하드웨어와 소프트웨어를 각자의 차선에 두고, "compute"를 가젯이 아니라 자원으로 다루기만 하면 됩니다.