성장에는 힘이 필요합니다. 흔들리지 않을 힘, 더 높이 뻗어나갈 힘. 들을수록 똑똑해지는 지식뉴스 "교양이를 부탁해"는 최고의 스프 컨트리뷰터들과 함께 성장하는 교양인이 되는 힘을 채워드립니다.

"하이닉스 이익률, TSMC압도"..메모리 초호황 시대 연 AI추론

지난 3월 엔비디아 GTC에서 젠슨 황이 언급한 바 있습니다만, 같은 AI데이터센터라고 하더라도 과거에는 누가 더 큰 모델을 만들어서 학습을 시키느냐가 중요했다면 최근에는 추론이 훨씬 더 중요해지고 있다. 추론하기 위해서는 사용자의 입력을 처리할 수 있는 프리필* 단계, 사용자의 입력 정보를 가지고 와서 학습한 모델이 다시 정보를 생성해 내는 디코드* 단계, 이 두 가지가 모두 중요합니다.

*프리필(Prefill) : 사용자가 입력한 프롬프트를 분석하고 계산하는 단계
*디코드(Decode) : 모델이 실제 응답을 생성하는 단계

디코드 단계로 갈수록 앞에서 프리필을 했었던 정보를 가지고 와서 더 많은 정보를 찾고 그 안에서 맥락을 발견할 수 있어야 하는데, 문제는 가장 앞선 세대의 HBM만으로도 웬만한 수준의 토큰을 처리하기가 어려워지고 있다.

수십만 개 정도의 토큰만 하더라도 HBM3E(5세대 HBM)이 이제는 HBM을 넘어가 버리는 현상이 생기기 때문에, '추론이 중요하다는 건 알고 있는데 추론의 병목 지점이 GPU가 아니라 메모리가 되고 있구나, HBM만으로는 다 커버가 안 되고 있구나'라는 것을 깨닫고 이것을 우회할 수 있을 만한 기술적인 솔루션이나, 메모리 자체를 더 많이 늘린다든지 하는 방식으로 이 문제를 해결하려고 하는 거죠.

Q. 추론이 들어오면서 HBM을 보조할 수 있는 이걸 범용 메모리라고 할 수 있나요?

메모리 수직 계열화 구조라는 산술연산, 논리연산을 할 수 있는 코어 부분이 있고, 가장 많은 데이터를 장기 보존하는 예를 들어서 우리가 흔히 얘기하는 하드디스크 요즘에는 eSSD(기업용 SSD)를 많이 쓰는데, 이 둘 사이에는 간극이 엄청나게 큽니다. 하나는 데이터 처리 중심이고 다른 하나는 데이터 저장 중심이니까. 처리와 저장 사이를 한 번에 갈 수는 없고 몇 단계의 징검다리가 필요한데 이 징검다리들을 메모리 수직 계열화 구조라고 하고, 코어에 가까울수록 데이터 전송 속도는 빠르지만 용량은 작고, 코어에서 멀어질수록 속도는 느리지만 용량은 커지는 구조를 기본적으로 갖습니다.

HBM과 D램이 지금까지는 AI반도체에서 메모리 수직 계열화 구조의 정석이라고 볼 수 있었는데, 추론 자체 연산의 강도가 높아지니까 이제 HBM만으로 안 되니 HBM와 D램 사이에 또 뭐가 필요하겠다는 얘기들이 나오고 있는 거죠.

"HBM이냐, 범용이냐"..메모리 3강 눈치싸움 시작
Q. SK하이닉스가 최대 실적이 나온 건 HBM에서 수익이 굉장히 높았을 것이고, 삼성전자가 HBM을 가긴 했지만 아직 포션은 작잖아요.

이게 사실 좀 미묘한 얘기인데요. 작년 상반기만 하더라도 워낙 HBM 가치를 더 쳐주니까 범용 메모리를 만드는 업체들은 가능하다면 HBM을 만드는 게 정답이었습니다. 그리고 HBM이 고가 정책을 가져갈 수 있었던 이유 중의 하나는, HBM을 제일 많이 사용하는 업체인 엔비디아가 자기네 GPU를 만들고 그것을 하나만 만드는 게 아니라 랙 단위로 만들고 또 랙을 엮어서 클러스터로도 만들어서 데이터센터를 조 단위, 10조 단위로 팔았으니까요.

그런데 상황이 조금씩 바뀌고 있다고 하는 게, 예전에는 HBM의 기가바이트당 단가가 범용 메모리 반도체 기가바이트 단가의 5배, 6배 가져갔다면 요즘에는 격차가 좁혀지고 있어요. 그러니까 '여전히 HBM을 만드는 건 중요하지만 우리가 저렇게까지 많은 돈을 쏟아부어서 HBM을 만들 정도로 지금 HBM이 압도적으로 가치가 높지는 않은 것 같다. 범용 반도체에 대한 수요도 폭증하고 있으니 우리가 원래 잘 만들던 것을 원가를 낮추고 캐파를 늘려서 최대한 잘 만드는 것을 많이 팔아서 현금을 확보하는 게 낫지 않겠냐'는 쪽으로 조금씩 컨센서스가 바뀌고 있기도 하죠.

이 현금이 이제부터 문제입니다. 현금 여유가 생겼으니까 이걸 다시 좀 더 난도가 높은 그다음 세대의 HBM을 만들기 위한 패키지 공정까지 포함된 제조 시설에 투입할 것이냐, 아니면 범용 반도체가 계속 가격이 높아질 것을 가정해서 범용 반도체 팹을 더 늘릴 것이냐. 글로벌 메모리 업계의 눈치 싸움이 시작된 거죠. 그리고 분기가 시작된 거죠.

HBM을 그나마 지금 최신 세대로 만들 수 있는 회사는 두세 개 정도밖에는 없기 때문에 이 글로벌 메모리 반도체 3강(삼성전자·SK하이닉스·마이크론)끼리의 게임 이론(Game Theory)이 지금 적용되고 있다고 생각합니다.

하이닉스는 HBM으로 여기까지 왔지만 계속 HBM 위주 전략으로 갈 것이냐. 하이닉스도 압도적인 실적을 거둔 것은 사실이지만 예상했던 것보다는 조금 낮은 실적이 나오기도 했었죠. 하이닉스의 잘못이라기보다는 시장의 무게중심이 바뀌고 있다는 간접적인 증거라고 볼 수 있습니다.

엔비디아 GPU의 시장 지배력이 앞으로도 계속 유지될 것이냐, 그리고 엔비디아의 시장을 충분히 지금 하이퍼스케일러들이 뒷받침해 줄 것이냐에 대해서 여러 가지 시나리오를 만들어야 할 거고요.

범용 반도체 팹을 늘린다면 낸드를 늘릴 것이냐, D램을 늘릴 것이냐, 아니면 젠슨 황이 얘기하고 있는 제3의 HBM과 D램 사이에 KV캐시* 전용 메모리 쪽으로 신기술을 개발할 것이냐. 불확실성이 누적되고 있는 상황이 된 거죠.

*KV캐시 : AI모델이 이전에 생성하거나 처리한 단어(토큰)들의 정보를 임시로 저장해 두는 공간

돈은 많이 벌리고 있는데, 메모리 업계의 가장 큰 화두 중의 하나는 현금을 절대 오래 쌓아둘 수 없습니다. 주기적으로 장비를 교체해야 하고 팹(공장)을 늘려야 되기 때문에 주기적으로 수십 조 단위의 CAPEX(자본적 지출)를 집행했었던 것이 메모리 업계의 관행이자 논리였고, 지금 수요는 폭증하는데 공급이 달리니까 시장에 압박이 생기고 있는 거죠. '더 많이 생산해라.'

그래서 메모리 업계가 CAPEX를 예전보다 훨씬 더 많은 규모로, 훨씬 더 짧은 주기로 투입해야 되는 상황이라서, 여기서 잘못 판단하면 앞으로 5년, 6년이 어려워지는, 심지어는 회사 상황도 굉장히 어려워질 수 있는 결정이 되기 때문에 지금부터 대처가 정말 중요하겠죠.

삼성 생태계 vs SK·TSMC..차세대 HBM 전쟁 본격화
Q. TSMC와 하이닉스의 조합과 삼성 파운드리와 삼성 메모리의 조합, 결국 이 구도가 되는 거잖아요. HBM4E부터.

일단 파운드리가 TSMC와 비교해 본다면 기술 경쟁력 자체는 크게 차이가 나지 않지만, 파운드리 본연의 팹리스(반도체 설계) 맞춤형으로 공정을 최적화해 주고 특히 이 팹리스 업체들이 파운드리에 왔을 때 그냥 바로 하는 게 아니라 중간에 매개체를 할 수 있는 *디자인 플랫폼이라 부르는 접근 가능한 채널이 좀 부족하다는 게 삼성 파운드리의 약점입니다만, 삼성 내부에서는 큰 문제는 안 되겠죠. 같은 공정을 공유할 수도 있고 엔지니어들도 교류할 수 있을 테니까, 그게 어떻게 보면 삼성의 고유한 장점이라고 볼 수 있고.

*디자인하우스 : 팹리스가 설계한 칩을 실제 생산 가능한 형태로 구현. 최근 시스템 구조를 함께 설계하는 단계까지 역할 확대

특히 HBM4, HBM4E 단계까지 가면 3나노나 2나노 공정까지 가야 될 수 있는데 지금 이미 삼성은 2나노 공정 양산에 들어갔기 때문에 아마 2~3년 후에 HBM4E 정도로 양산 초기 테스트를 한다고 했을 때 삼성은 미리 안정화시켜 놓은 삼성 SF2(2나노), SF3(3나노) 공정을 가지고 좀 더 스무스하게 진입할 수 있겠죠.

하이닉스 같은 경우에는 지금 자체적으로 아직은 *베이스다이에 CMOS 공정을 하고 있지만 HBM4E 정도까지 가면은 하이닉스도 조금 어려워질 수 있다고 생각합니다.

*베이스다이(로직 다이) : HBM 두뇌 역할, HBM 맨 아래에서 GPU와 상부 메모리칩 연결

하이닉스는 워낙 TSMC하고 협력을 많이 하였었고, 다만 파운드리에 대한 협력이라기보다는 패키징 쪽에 대한 협력이었죠. 그래서 패키징에 더해 파운드리까지도 협력의 채널이 확장될 수 있을 것이냐, 이게 하이닉스와 TSMC의 공존이 메모리에서도 가능할 것이냐라고 생각합니다.

하이닉스 입장에서 TSMC와의 협력을 계속 가져가는 것은 당연히 중요합니다만, 협상력을 확보하기 위한 차원에서라도 자사에서 어느 정도의 베이스다이까지는 만들 수 있는 여력은 지켜내야 한다. 그리고 현금 흐름이 안정적으로 몇 년간 확보된다면 베이스다이에 대한 투자도 더 많이 늘리는 게 좋지 않을까. 아마 하이닉스 내부에서도 고민하고 있을 거라고 생각합니다.

"AI, 데이터센터 밖으로 나온다"..온디바이스AI, 메모리 대격변 예고
Q. 학습에서 추론으로 넘어가면서 메모리가 폭증하게 됐는데, 추론 다음에 또 스테이지가 있을까라는 생각이 들어요.

추론 다음 스테이지라면, 추론이 온라인상이 아니라 오프라인 리얼 월드에 실제로 내장돼서 돌아다니는 상황이 제일 최종 단계가 될 거라고 봅니다. 자동차 안에 들어가서 자동차가 알아서 주변 환경을.. 이미 그런 상태로 가고 있습니다만.

온디바이스AI 단계에서 주목해야 되는 기업은 애플이라고 생각하는데, 애플이 지금까지 AI시장에서는 어떻게 보면 납작 엎드려 있는 상황이었죠. 주목할 것은 애플이 가지고 있는 어마어마한 애플 하드웨어 생태계거든요. 이 애플 하드웨어 생태계는 AI모델이나 추론을 개발하는 업체들에게 가장 황금 시장이 될 겁니다.

어차피 사람들은 맨날 스마트폰 갖고 다니잖아요. 스마트폰 안에서 배터리 기반으로, 심지어는 인터넷이 안 되는 상황에서도 내가 원하는 작업을 알아서 할 수 있는, 훨씬 더 에너지 효율적이고 컨텍스트 최적화돼 있고 피지컬 그리고 온디바이스에 최적화된 추론의 끝판왕이 될 것이라고 생각합니다.

온디바이스로 에이전트AI들이 들어오고 맞춤형이 되고 더 많은 토큰을 에너지 효율적으로 처리하기 위해서는 지금 형태(폼)의 메모리는 적합하지 않을 수 있어요. 랩톱이나 PC에 들어가 있는 메모리가 스마트폰에 적합하지 않은 것처럼. 그러면 메모리 업계에도 한 번 대폭풍이 올 거라는 얘기가 되죠. 큰 폼팩터*의 전환이 있을 수밖에 없고, 이 폼팩터의 전환이 온디바이스AI 추론 시장에서 역전할 수 있는 기회가 될 수도 있고 역사의 뒤안길로 사라지는 상황이 생길 수도 있다.

*폼팩터 : 하드웨어 제품의 크기나 구성, 물리적 배열

2천년대 초중반에 모바일에서의 메모리가 기업용 혹은 PC에서의 메모리 시장을 앞질러 가기 시작했을 때, 일본의 기존 메모리 업체들은 이 시장의 변화에 제대로 대응을 못했어요. 조그마한 피처폰에 들어가는 메모리가 뭐가 중요하겠느냐. 그때 제대로 대비를 했었으면 2천년대 후반 피처폰에서 스마트폰으로 넘어가는 시절에 훨씬 더 강력해진 모바일 생태계에 적합한 메모리로 가는 과정에 적응할 수 있었을 거예요, 일본 기업들이. 그런데 처음에 진입해야 하는 시점을 놓친 거죠. 똑같은 일이 벌어질 거라고 생각합니다.

폼팩터가 어떤 식으로 전환될지는 아무도 모르는데 그나마 레퍼런스로 삼을 수 있는 지점이 있다면, 애플이 어떠한 하드웨어 최적화 계획을 가지고 있느냐는 겁니다. 최근 애플의 CEO가 교체된다는 소식이 있었죠. 팀 쿡의 후임 CEO가 애플 주주들, 애플의 사용자들이 기대하고 있는 니즈가 뭔지 알고 있을 거라고 생각합니다.

수십억 대에 달하는 애플의 스마트 기기들, 개인화된 하드웨어들, 앱 생태계가 대전환하게 될 텐데 추론형 에이전트AI가 핵심 화두가 될 수밖에 없을 것이고, 애플의 M시리즈와 궁합이 맞을 정도의 폼팩터가 나올 수 있을 것이냐. 이게 정말 중요한 문제가 될 것이다. 애플의 스마트 기기의 교체 주기나 시장 규모를 본다면 지금 AI 데이터센터만큼이나 커질 시장이 될 거라고 생각합니다.

Q. 삼성 갤럭시도 굉장한 점유율을 가지고 있는데 애플만큼의 시장이 있는 거죠?

그렇습니다. 다만 애플을 콕 집어서 말씀드린 이유 중의 하나는 결국 에너지 효율성입니다. 아무리 성능이 좋아도 AI 몇 번 돌리고 나니까 갑자기 배터리가 20%밖에 안 남는다면 아무도 쓸 사람이 없을 거예요. 오히려 기능을 다 꺼놓으려고 하겠죠.

애플은 애초부터 이것을 가정하고 만든 것은 아니라고 생각합니다만 처음부터 굉장히 에너지 효율적인 칩을 만들었어요. M1, M2, M3 시리즈 모바일 전용의 *AP칩을 굉장히 잘 만들었고, 이것들은 이미 일부 AI알고리즘 같은 것들은 내장돼 있을 정도로 SoC(System on a Chip) 최적화를 많이 시켜놓은 상황이어서, 이 M시리즈에 대해서 애플은 워낙에 악명이 높지만 협력사들에게 '여기에 우리가 원하는 에너지 효율성 스펙에 맞을 정도의 저전력으로 작동할 수 있는 AI 전용의 메모리를 만들어'라고 요만한 공간을 줄 겁니다. '여기에 우리가 원하는 거를 다 구현하는 업체들과 연간 500억 달러 정도의 계약을 맺겠다' 이런 얘기를 하겠죠.

*애플리케이션 프로세서(AP) : 두뇌 역할을 하는 반도체

이게 아주 챌린징한 부분이 될 거라고 생각하는데, 갤럭시의 엑시노스나 퀄컴의 스냅드래곤은 M시리즈만큼의 에너지 효율성은 안 나와요. 그럼에도 불구하고 만약 M시리즈에 대해서 최적화된 모바일 생태계를 만들 수 있다고 하면 갤럭시나 퀄컴 쪽으로 갈 때 오히려 더 좋은 레퍼런스가 될 수 있겠지만, 그 정도의 챌린징한 지점들을 갤럭시 생태계 내에서나 엑시노스 생태계 내에서 삼성이 생각하고 있는지는 들여다봐야 합니다.

갤럭시도 더 큰 시장으로 갈 수 있다고 생각합니다만 그러기 위해서 삼성은 삼성 고유의 어드밴티지를 살릴 필요가 있죠. 예를 들어서 엑시노스는 삼성 파운드리에서 만들고 있고 거기에 들어가는 모바일 D램 같은 것들은 삼성 메모리 사업부에서 만들고 있는데, 앞으로 삼성이 DX 모바일 사업부, DS 메모리 사업부, 파운드리 사업부까지 같이 뭔가 작품을 만들어 낸다면 이런 갤럭시 같은 것들이 좋은 신호탄이 될 수 있겠죠.

저는 낙관을 할 수도 있다고 보는 게, 어떻게 보면 여기에서 시너지를 아직 못 봤잖아요. 근데 시너지를 볼 수 있는 가능성이 충분히 있는 영역이 생기고 있으니. 다만 이거를 놓치면 그냥 애플만 좋은 일 시켜주겠죠.

"반도체는 이익이 곧 투자금"..성과급 논란, 단순하지 않은 이유
Q. 지금 워낙 실적들이 잘 나오니까 성과급 논쟁이 좀 있잖아요.

굉장히 민감한 이슈여서, 반도체 업계의 주 52시간 근로 문제만큼 폭발적인 주제라고 생각합니다. 다만 저는 회사와 상관 없이 학계에 있는 사람으로서 그동안 똘똘한 친구들이 의학 쪽으로 많이 갔었는데 반도체나 AI, 첨단 전략산업 쪽으로 오면 그것보다 훨씬 더 보상을 잘 받을 수도 있다, 이공계에서 성공하는 케이스가 나올 수 있다는 것을 보여주는 것 자체로는, 지금 삼성이나 하이닉스에서 성과급을 놀랄 정도 수준으로 가는 것은 좋은 방향이라고 생각합니다.

다만 반도체 업계의 특성은, 기업이 이익이 생긴다고 기업 자체가 갑자기 부자가 되는 게 아니에요. 주주들한테 배당도 해야 하고 세금도 내야 되고 하는 게 있겠습니다만 절대다수는 주기적으로 다시 CAPEX로 투입돼야 합니다.

장비 가격은 계속 위로 뚫고 올라가고 있고 그나마도 살 수 있느냐 없느냐가 나오고 있고, 무엇보다도 기술적 난도 자체가 높아지기 시작하면서 R&D 비용이 너무 많아지고 있어요. 예전에 연간 몇조 정도면 할 수 있었던 프로젝트도 이제는 10조 단위, 20조 단위, R&D를 위해서 EUV 장비를 사야 될 정도인 거예요. 그런 것도 한두 대가 아닌 거죠. 그렇게 안 하면 양산으로 못 들어가니까 안 할 수가 없는 거예요. 그러니까 수십조의 이익이 쌓인다는 것은 그만큼 수십조의 비용이 날아갈 수밖에 없다는 것을 인지해야 합니다.

일단 상황이 이렇게 바뀌고 있다. 그럼에도 불구하고 기본적으로 이렇게 이익을 만들어 낼 수 있는 기술력을 개발하는 데 기여한 분들에 대해서 충분한 보상이 들어가는 건 맞다고 생각하는데, 이 보상의 개념을 잘 생각해야 되는 게, 반도체 업계에서 CAPEX로 가기 위해서는 현금이 필요하죠. 현금이 주기적으로 수십 조씩 뭉텅이로 들어가야 되죠. 그리고 이익이 점점 커질 거죠. 현금의 상당수는 거기로 들어가야 되기 때문에 현금에 대한 보상에 더해 현금성 보상도 좀 하는 걸로 해서, 이 현금의 비중을 잘 컨트롤하는 게 중요하다고 생각합니다.

양도제한조건부주식(RSU) 같은 것들. 어차피 주식은 계속 올라가고 있으니까, 열심히 일한 만큼 현금이 쌓이고 그러면 주가가 올라가니까 주식으로 받으면 지분 가치도 올라갈 것이라는 약속을 주는 거죠. 다만 이것을 현금으로 바로 환전하면 회사 입장에서 부담이 될 수 있으니, 최소한의 안전장치는 걸 수 있는 거고.

이게 꼭 정답은 아닙니다만 회사도 현금을 충분히 확보해서 그다음 단계에 투자하면 실탄을 확보하기도 하고 지금 일하시는 분들도 보상을 받으면서 계속 가치가 올라갈 수 있다는 관점에서 본다면, 이 정도 수준에서 타협점을 찾을 수 있지 않을까 생각합니다.

<교양이를 부탁해> 유튜브 채널을 구독하시면 더 많은 콘텐츠를 보실 수 있습니다.

최신 콘텐츠

"메모리 업계 눈치 싸움이 시작됐다"..에이전틱AI가 쏜 '반도체 2차 대란'