[요약리뷰] 언더스탠딩 - HBM이 뭐여??

 

 

한국어 요약:
- HBM(High Bandwidth Memory)의 발전 과정과 중요성 설명
- 주요 내용:
  * 무어의 법칙 한계로 인해 수직 적층 메모리 개발
  * AI 발전으로 HBM 수요 급증
  * 열 관리와 전력 소비가 주요 기술적 과제
  * HBM 4세대부터 GPU 기능 일부 통합 예정
  * 메모리 중심 컴퓨팅으로의 패러다임 변화 가능성
- SK하이닉스와 삼성전자의 경쟁 상황
- 향후 발전 방향과 도전 과제 논의

English Summary:
- Evolution and importance of HBM technology
- Key points:
  * Vertical stacking as solution to Moore's Law limitations
  * Increased demand due to AI development
  * Heat management and power consumption as main challenges
  * HBM4 to incorporate some GPU functions
  * Potential shift to memory-centric computing
- Competition between SK Hynix and Samsung
- Future development direction and challenges
- Discussion of technological bottlenecks and solutions
- Importance of thermal management in future development

The interview provides deep insights into semiconductor industry trends and future challenges in memory technology.

 

HBM이 반도체 판도를 바꿀 겁니다 (KAIST 전자및전기공학부 김정호 교수) - YouTube
https://www.youtube.com/watch?v=z8elzCucKLk

Transcript:
(00:00) 세상의 모든 지식 언더스탠딩네 자 이번에는 반도체 얘기 좀 해보겠습니다음 인공지능 뭐 이런게 커지면서 삼성전자 하이닉스가 뭐 hbm 이거 뭐 만드느냐 못 만드냐 비가 갈리고 있잖아요 인공지능의 가장 큰 피해를 삼성전자 그래서 딱이 아마 언더스탠 시청 정 또는 기본으로 hbm 삼성전자가 요즘 디에 납품 못해서 고민이다 뭐요 정도까지는 알고 계실 텐데 문제 제가 제일 궁금한 건 앞으로 인공지능은 계속 이런 식으로 발전해서 계속 사이 닉스는 hbm 생산해 해야 되고 삼성전자는 그거 하느라고 밤새야 되고 엔비디아는 계속 때돈을 벌 것이며 인공지능은 앞으로 그렇게 이제 우주를 뚫고 나갈 거냐 아니면 뭔가 좀 이렇게 변곡점이 좀 있어서 지금까지 구도가 좀 달라질 거냐네 hbm 또 뭐 새로운 hbm 개발되고 있다고 해서 이건 또 뭐
(01:03) 어떻게 되는 거지 그런 등등을 모두 아시는 분을 찾아내서 보셨습니다 hbm 아버지라고네 불린다는 예 이분이 [음악] 여성이었으며 분이 사회를 보자냐 지금 죄송합니다 오늘 좀 계속 저를 눈을 마주치고 좀 얘기해 주시면 고맙겠습니다네 카메라를 보시는군요네 아닙니다 저 저도이 눈 마주치고 이야기하면 hbm 편합니다 본질적으로 hbm이라고 하는게 뜬 이유는 뭐라고 요약할 수 있을까요 예 그래서 이제 그 그때부터 2000년대부터 얘기를 가보면 제가 너무 얘기 길게 한번 끊어 주시면 됩니다 어 이제 반 도체 성장 법칙 중에 하나가 무어의 법칙이 있어요 어 그래서 이제 반도체가 나노미터 구조
(02:08) 쯤 되면 그게 이제 다른 말로 보면 옹스트롬이라고 옹스트롬이면 원자 아니거든요 그러니까 원자 공학으로 바뀌는 거예요 그 원장 공학이 바뀐다는 얘기는 어떤 현상이 unc princi이라고 1도 아니고 0도 아닌 거예요 그런게 막 혼재돼 있는 그게 이제 또 원리가 양자 컴퓨팅음 들어가는데 우리 디지털은 1과 0이 분명하잖아 예예 안 맞는 거예요 어 그러니까 이거는 언젠가 무의 법칙은 끝날 것이다 아 그런데 메모리 용량을 높이려면 어쩔 수 없이 그니까 어 그 무의 법칙은 옆으로 줄여가는 거거든요 표면적 상에서 그 표면적 같은 12인치 웨이퍼에 메모리 네트 다수를 느리는 거죠 그러니까 경제성이 있는 건데 이제 못줄 는 거예요 더 이상 작게 못 만든다 그런 거죠 트랜지스터 하고 배선이나 캐패시터가 이렇게 가도 됩니까 그러면 3% TV 지금 다 시청률로 팍팍 떨어지는 거
(03:11) 괜찮습니다 예 예 저는 그게 한계가 오고 그다음에 그거를 계속 하려면 뭐 isml 장비를 써야 된다든가 비용이 너무 증가하고 수율이 떨어질 거라고 보고 이제 위로 쌓는게 방법이라고 저는 그때 2천년대 초반부터 어 한 거죠 그래서 위로 쌓았을 때 어떻게 설계를 해야 되는가를 이제 공부를 시작하는데 그러면 옆으로 그니까 더 작게 줄이는게 불가능해져서 위로 쌓는 거예요 아니면 위로 쌓는게 별도의 그렇습니다 어 제 저 좀 더 정확하다면 두 개가 혼자 돼 있지만 그래도 줄이는게 더 이상 한 개에 왔기 때문에 위로 가는 수밖에 없다 티컬 버티컬 인티그레이션이 되는 거죠 그래서 이제 hbm이 그런 그 것 중에 하난 거죠 재 영향을 받아서 엔비디아 위 밖는 생을 속 논문 발표를 하고 어 그러다가 보면은 위로 쌓게 되면 이게 이제 AI고 떡 완전히
(04:15) 맞아떨어져 버리는 거예요 그건 이따가 후반부에 말씀을 드릴 텐데 운명적인 만남이 될 수밖에 없 조금 설명해 주죠 설해 주세요 그 AI 초대가 됐잖아요 그러면 모델 파라미터가 변수를 학습하면서 정해 가는데 예위 예음 어디다 저장해야 되잖아요 예 최대한 GPU 옆에 갖다 붙여야 돼요 예예 그러는데 한 개에 한 개의 램에 들어갈 수 있는게 뭐 기가바이트 10gb 그러면 바이트까지 되려면 이게 100층을 쌓아야 되는 거예요음 그게 아니라 전통적인 메모리를 DDR이나 lpddr 멀리 쌓 두면 데이터를 갖고 오고 쓰는데 계산하는데 거기서 시간이 다가 버리는 거예 네네 인공 지능만 아니었으면 그니까 옆으로 퍼트리던 위로 2층을 쌓던 뭐 그거야말로 근데 인공지능으로 GPU 도와주려고 하다 보니 이거는 야 2층 가지고 되지도 않아 이게 이렇게 되는 거니까 그래서 제가 언제 그 학회에서
(05:20) 킴스 오나 무어의 법칙을 벗어나는 법칙으로 킴의 법칙이라고 지금도 나와요 그런데 제가 10년 전부터 20년 전부터 학회에서 발표하면 사람들이 살짝 웃어요음 지가 무슨 무어 감이 그런다고 제가 그래서 인텔에 세미나 할 때 무어 만나러 갔는데 하와이에 출장 가셔서 못 만났는데 이제 위로 계속 두 배씩 늘어난다 이렇게 되는데 지금 이제 내년에 hbm 4는 16층까지 갈 수 있는데 이제 그게 또 어려운 점이 또 있어요 엘리베이터의 속도 문제가 또 있긴 한데 어쨌거나 GPT 터 시작되는 초고도 인공지능이 발생하면서 hbm 갈 수밖에 없는 운명적인 결합이 있 이게 아파트로 치면 당연히 짓다 보면 야 이건 위로 지어야 되겠다 방법이 없네 바로 떠올랐을 텐데 반도체는 그걸 가지고 옆으로 넓혀 볼까 미세 해 볼까 그 도전 언젠가 하면 올려야 될 텐데 도전이 있었겠지 위로 올리는 거에 대한게 이제 이게 있습니다 하나가 디램 하나 한 층 쌓은게 수율이 90%고 쳐요 예 열개 쌓으면 0.9의 10승이 그럼 기자님 그러면
(06:29) 값이 얼마쯤 될 요 8 7 6 5 어 거의 양품이 안 나오겠구나 10% 미만이 되겠죠 그 계산을 한 거예요 근데 저는 그렇게 999% 층 싸면 90% 될 거 아니에요 예 그니까 엔지니어링 문제라고 본 거예요 저는 양자역학 문제로 투자가 되면 이거는 풀 수 있는 문제다 그 투자 돈은 누가 되느냐 오픈 AI 마이크로소프트가 될거다 지금 오늘 여러분하고 대화할 때 AI 와 hbm 넘나음 좋은데 그러면 제 원래 계획대로는 벗어나는데 왜 hbm 있가 그런데 어쨌거나 결론은 AI 패권 시대의 초경 초대 초대형화 되는데 그것 속에는 또 생성 인공지능과 agi 아는 거대한 거기 또 음모가 숨어져 있습니다 세계 패권에 어 원자력 대신에 AI 세계 패권을 하려는데 본질적으로 인공지능 제가 요번 학교에 인공지능 대학원 수업을 해요 예음 깊이깊이 생각해 볼 거 아니에요음 되게 무식한 알고리즘이음 강력한 GPU 강력한
(07:34) 메모리 밖에 없어요음 어 근데 그러니까 초거 대화 되는데 아 그런데 이제 그 운명이죠 그래서 전에 전쟁 뭐 원자력 전쟁 되는데 어쨌거나 hbm Pro 이렇게 쌓 수밖에 없었던 이유 중에 하나는 모델 크기가 커지기 때문에 이거를 학습하는데 남 어느 회사는 1년 걸리는데 나는 새로운 블랙웰 나오거나 그다음 제품 나와서 한 달 만에 학습을 다 시켜서 개발이 끝났다 끝나는 거죠 시간에 게임의 전쟁에서 돈을 안 아끼는 거죠 그거 있고 또 수백만 명이 동시 사용할 때 숫자의 전쟁이다 그러니까 돈 아끼지 않고 지금 도입하는데 그 이제 리스크는 있지만 어쨌거나 그 니드를 맞춰 주는 기업이 엔비디아 엔비디아는 운명적으로 메모리 회사 hbm 회사를 끌고 발 수밖에 없으니까 하이닉스와 삼성전자를 줄다리기 하면서 게임을 하고 있다 이렇게 생각 을합니다 자 그래서 왜 싸야 되는지 얘기었습니다 예예음 이제 왜 엘리베이터를 설치해야 되느냐 뭐또 얘기가 되게 이제
(08:39) 많은데요 두 번째 그 제가 아까 왜 hbm 시작했냐 이제 무어의 법칙이 끝나니까 쌓을 수밖에 없다 그게 운명적으로 이제 AI 하고 맞아 떨어졌다이 말씀 그 시가 빨리 왔다네 그리고 이제 2010년 경에 어 AMD고 엔비디아가 그래픽카 카드를 고성능화 하는데 이제 hbm 같은 아이디어를 낸 거예요 어 거기는 그래픽 카드의 성능을 화려하게 하기 위해서 근데 그 그래픽 카드에 쓰이는 수학이 행렬 계산인데 그리고 이제 기본적으로 컴퓨터가 폰노이만 구조하고 GPU 메모리가 분리된 그 운명은 AI고 또 맞아 떨어졌던 거예요 이해를 잘 못해네 그면 GPU 메모리가 분류된 거랑 AI 어떤 가면서 이야기를 드리겠습니다 그래서 어 엔비디아 AMD 그거를 저 하이닉스 hbm 1일 때입니다 개발하자고 했는데 SK 하이닉스는 우리가 그
(09:45) 스테이킹 할 때 필요한 비아 모델링이나 설계 그다음에 인터포저 하고 GPU고 hbm 올라가는 기판이 있습니다 그 설계를 우리가 많이 했었거든요 그래서 같이 하자 그러면서 시작을 하면서 처음 스펙 정하고 뭐 설 를 같이 했죠 그때 우리 석사 학생들이 그 일을 했었습니다 카스고 하이닉스 한 팀처럼 이렇게 그 발주 한 쪽은 엔비디아 있어요 발주하는 표현이 많은 근데 이제 서로 공동 AMD 먼저 있고 곧 엔비디아가 들어왔습니다 그리고 hbm2 때 제 기억에 삼성전자가 들어왔고 어 그런데 그때 그분들의 생각은 그래픽카드 t 그리고 도쿄 올림픽 전이라 텔레비전 화질을 좋게 하려면 예 그 거기에도 텔레비전에도 프로세서가 들어가요 이미지 프로세서라고 어 뭐 우리 화면을 예쁘게 만들어 줘야 되고 거기도 메모리가 들어가요 근데 uhdtv 정도의 어 그 색깔과 농도와 1초에 60프레임을 하려면 GPU고 hbm
(10:52) 사이에 라바 per 세라는 밴드위스 지금 대역 폭이라는 숫자가 딱 나오더라고요 연필로 계산하니까 아 그래서 우리 국내 텔레비전 회사에는 필요하겠다 일단 시작을 하자 그것도 왔다 갔다 데이터가 왔다 갔다 해야 많이 왔다 갔다 해 많 왔다 갔다 해야 되는데 그 게임기와 마찬가지로 GPU 계산하는 능력은 그 쓰레드 그래서 계산기를 10만 개 100만 개를 칩에 만들 수가 있어요 예 그런데 메모리는 지표 안에 넣는게 생산성이 안 맞아요 너무 비싸요 그러니까 디램 공정을 따로 써야 되는 거예요 GPU 공정은 파운드리에서 하고 디램 공정은 삼성이나 SK 하이닉스에서 하는데 둘을 이제 갖다 붙여야 되는 거예요 그래서 본질적으로 GPU고 메모리는 분리될 수밖에 없고 GPU 안에 메모리는 어차피 둬야 되는데 못 두는 거예요 그래서 바깥에 둬야 돼요 그런데 그 계산 시간 어 대부분이 메모리로부터 읽고 쓰는데 걸린다는 걸 알아버린 거예요 GPU
(11:57) 그러니까 계산을 한꺼번에 하는 걸로 유명한 반대가 GPU 그걸 가져와서 계산하려면 메모리에 있는 걸 끌어 와다가 계산 그러니까 그리고 계산하고 딱 갖다 써야 돼요 그러니까 우리 어렸을 때 치면 어 우리 주산학원 다니는 학생들이 초등학생들이 칠판 전체 숫자를 뭐 엄청 써도 1초 만에 계산하자아요 시간이 더 걸리는게 칠판 지우고 쓰는대 예 그래서 또 낸 아이디어가 칠판을 열장을 뒤로 쌓아요 한 장씩 치우는 거야 그게 hbm 쌓는 거하고 원리가 또 똑같아요 아 그런데 또 어려운 건 지워야 돼 또 읽으면 뭐해요 그러니까 수백장을 싸야 되고 그걸 누군가 또 합산을 해 갖고 교무실에가 전달해야 되잖아요 예 그런 기술이 다 엔비디아가 갖고 있는 거예요 근데 어쨌거나 그때 제가 그걸 깨달은 거예요 아 이게 폰노이만 구조의 한 개구 메모리가 90% 시간을 잡아먹는 구 음 그래 여러분이
(13:01) 채면 단어가 뭐에 대해서 보고서를 써주세요 하면 한꺼번에 안 나오고 줄줄이 이렇게 나옵니다 그 시간이 대부분 hbms 데이터 읽고 다시 쓰는데 걸리는 시간이 아 계산은 계산은 행렬 계산이라도 않아요 덧셈 곱셈 이래요 아 그게 이제 GP 아키텍처가 그거를 잘해 줘요 생각해 보니 그러네요 요즘같이 컴퓨터 기이 발달했는데 그 쓰면 따다다다다다다 옛날 식으로 따다다다 램을 왜 이렇게 느리냐 램은 덴시티 그니까 밀도를 높이기 위해서 공정을 캐시터라이트 드는 생각이 아까 킴스 로라 그래서뭐 앞으로 계속 버티컬 두 배씩 늘어난다고 그랬잖아요 그러면 GPU고 메모리 사이에 차선을 많이 늘리자 이거예요음 왔다 갔다 잘할 수 있게 그러면 차선을 많이 느리면 될 거 아니냐 그래서 전통적인 메모리는 32개 차선 64개 차선인 1024개
(14:07) 차선을 처음부터 채택한 거예요음 그러면 차선만 만원 뭐예 건물에서 빨리 엘리베이터가 내려와야 되잖아요 엘리베이터가 또 2 24개가 필요한 거 아 엘리베이터가 좀 느려요 그러니까는 네배 열배 해서 여러 배 엘리베이터가 순차적으로 저층 엘리베이터 고층 엘리베이터 이렇게 설계가 된게 2010년 명이었어요음 근데 이제 2015년 제 인생 얘기하는 거 같은데 괜찮아요 예 안 그러면 이제 눈으로 껌뻑껌뻑 해 주시면 돼 2015년에 어 hbm 이제 재밌게 하고 있는데 마이크로소프트는 그 아카데믹스 웹사이트가 있 있었는데 지금 없었는데 교수별 랭킹을 먹기는 사이트가 있었어요 제가 재미삼아서 hbm 3D 패키지 하니까 제가 다 1등으로 나오더라고요 아 그러니까 계속 이거 하자 뭐 연구비 없지만 그런데음 아 텔레비 용 그래픽 카드 용으로만 이게 쓰일까 하고 혼자 고민을 한 거 엔비디아 AMD 무슨
(15:11) 꿍꿍이 속이 있는 거 아니야음 그런데 제가 이제 카이스트의 뭐 미래 자동차 학관과 이런 학과 현대 자동차에서 지원을 받아서 자동차 반도체나 자동차 인공지능 이런 거 공부하는 그런 프로그램이 있었어요 예 지금 없 같 그 제가 거기에 뭐 운영 원인가 그래요 그러면 이제 몇 달에 한 번씩 점심 먹으면서 회의하고 신입생 뽑고 뭐 예산 조절하고 하는데 그때 신호 처리하시는 뭐 그런 젊은 교수님들이 있는데 딥러닝이라는 단어를 자꾸 쓰는 거예요 딥러닝이이 어쩌고 저쩌고 한 번 들으면 제가 꽂히면 안 놓잖아 그래 그날부터 공부를 시작한 거예요 딥러닝이 뭔가 지금 제프리 힌이 노벨 받은게 그 딥러닝 알고리즘이 그때 처음 등장한 2015년 쯤에 그분들이 얘기했던 인공지능이 CNN이란 인공지능인 CCTV 카메라에 붙여서 인공지능이 범인이냐 아니냐 이게 호랑이냐
(16:14) 고랑이야 그니까 지금의 인공지능도 아니에 판별 인공지능이 지금은 그런 인공지능도 쓰이지 않고 생성형 인공지능이라고 또 한 세대가 넘어가 버렸어요 어 그런데 어쨌거나 그때 공부를 깊이깊이 한 거죠 예 처음에는 반도 체 패키징 했는데 인공지능이 용어 자체가 이해가 안 돼요 그래서 무조건 외웠어요 그냥 PPT 100장을음네 지금 보니까 다 틀린 얘기라고 예 워낙 빨리 AI 바뀌니까 아 그러면서 아 이거 aii 쓰이는 거 아닐까 왜냐면 그 AI 필요한 수학이 똑같은 행렬 계산이요 그래픽 카드하고 똑같이 그러니까 폰노이만이고 뭐 다 똑같은 거죠 아 나 여기 승부 걸어봐야 되겠다 그래서 더 가속을 했고요 그러고 한 1년 있다니까 알파고가 터졌어요 예 그리고 구글 tpu 이런 데서 채택하기 시작하더라고요 hbm 아 이건 계속 하겠구나 이랬고 어 제대로 이제 일반인이나 기업이 뭐 어 뭐랄까 매출액으로 등장하고 주가에 나타나기 시작한 거는 이제 GPT 등장하면서
(17:19) 생성 인공지능이 되면서 우리 3% TV 저로 불러주는데 그래서 결론으로 보면 반은 제가 신기한 거 해 보는 걸 좋아하는 거 반은 운 운빨이다 이렇게음 그러면 교수님 궁금한게 hbm이 이게 위에서 쌓아서 그니까 GPU 옆에 메모리가 있어야 되는데 옆으로 넓히는 건 이제 한계가 있으니 위로 쌓 차 네네 빨리빨리 왔다가게 해 해줘야 되는 거 아니냐 그런 거였는데 지금 AI 요즘 뭐 많이 올라왔잖아 그래서 AI 이제 투입 대비 뭐 효용이 좀 덜 나온다 할 얘기가 나올 정도로 투입이 많이 되고 있는데네이 지금 hbm 지금도 택도 없습니까 앞으로 훨씬 더 빨라야 됩니까 아니면 야이 정도는 택도 없습니다 요구 조건에 100분 1분도 안 됩니다 1 1요 아 그걸 저 그거를 아는 사람이 어 샘 알트만 하고 젠슨 왕하고 저하고 세 사람인 거 같아요네 어 지금의 생성 인공지능이 어떻게 발 지금은 이제 텍스트를
(18:27) 만들어 주거나 그림을 만들어 주 영상이나 음악인데 이걸 이제 동시에 그 생성을 하려고 그래요 그게 뭐냐면 영화예요 예 예음 영화가 동영 동영상도 만들어 주고 음악도 만들어고음 만하면 야 영상을 만들어 줘 이런 거 그래서 제 생각에 그 샘마트 만에 뭘 꿈꿀까 보면 지금 유튜브에 올라와 있거나 숏폼이라 그러나 짤이라 그러나 이거 다 인간이 만든 거잖아요 인공지능으로 다 도배해 버릴 거 같아요 그러면 사람의 생각과 모든 관념을 다 인공지능이 지배해 주는 거죠 사람이 눈이 가장 그 정보량도 많고 빨리 흡수됩니다 그래서 사람을 헷갈리게 해서 어떤 세계에 빠뜨리는 도구가 뭐냐면 메타버스에 어 뭐 메타버스 같지 않더라도 유튜브로 그렇게 만들려고 해요 그러면 어 그 그 정도 되려면 인공지능의 크기가 한 지금이 뭐 100억 개 조단이면 파라미터 개수가 변 학습해야 되는게 한 1천조 쯤 될 거 같아요 그런 나라를 이제 제가
(19:31) 농담삼아 천조국이 그러는데요 돈도 천 조가 필요하고 그 정도 투입이 되는데 아까 hbm이 GPU 옆에 뭐 여덟 개 그 블랙웰이라는 거에는 GPU 두 개 붙이고 hbm 여덟 개 붙어요 그래 봐야 1기가바이트 그러니까 제가 얘기하는 아까 뭐 천조 정도 되려면 지금 암산이 이제만 한 천배는 늘어야 돼 메모리 용량이 배요네 그런데 그 영화를 내가뭐 오늘 이런 주제로 영화를 만 hbm 대해서 동영상 영어 동영상 교육용 만들어 줘 하면 1초 1한시간짜리 1초에 만들어 주고 싶다 또 100만 명이 동시에 요구해도 하고 싶다 그러면 GPU 천만 대는 한 한 몸처럼 움직여야 돼요 계산 량도 그렇고 메모리도 그렇고 예 그러니까 지금보다 천배는 더 빨라져야 죠 밴드 위트나 메모리 용량이나 그래 근데 이제 그렇게 가는데 가장 큰 어려운 점은 뭐냐
(20:35) hbm 용량을 어떻게 계속 느릴 거냐 GPU 아니고 그러면 얼마나 아까 차선이 이제 104라길 10만 개는 돼야 돼요음 그러면 어떻게이 구조가 인프라스트럭처가 될 거냐 그다음에 그 GPU고 hbm 있는 모듈 하나를 우리가 기라 그러는데 그게 10만 배 100만 대가 서로 연결해서 통신을 해야 돼요 그걸 어떻게 이렇게 그걸 AI 슈퍼 컴퓨터라 그래요 그다음에 그걸 운영하려면 소프트웨어가 필요해요 쿠다라 같은 소프트웨어가 그니까 지금보다 훨씬 많은 요구 조건이 있어 그다음에 열도 어 뭐 손바닥만 하는 지표 하나가 1kW 뭐 그러면 뭐 기가가 필요하고 원자력 발전소가 필요하고 냉각이 필요하고 그래서 기술적인 나도는 계속 있는데 샘 알트만이 꿈꾸는 그런 모든 인간을 동영상으로 어 뭐 생각을 도배해 버리겠다는 데까지 가려면은 아직 많이 남았다 근데 이제 너무 많은 돈과
(21:39) 기술이 필요하니까 그걸 이제 극복해야 되는 문제 경제학적인 문제 그다음에 이윤이 안 들어오고 여러 가지 이제 어 데스밸리 같은게 생길 수는 있는데 기본적인 수요 조건은 어 매 매년 아마 어 엔비디아는 두 배씩 빠르고 두 배씩 용량이 느는 hbm 요구할 것 같습니다 그러면 지금은 뭐 6층 뭐 그 그렇게 말씀하셨던 거 같은데 그럼 그게 막 16금 16층 내년에 16층 내년에 16층 그게 막 천배 너무면 천층 이렇게 가야 됩니까 근데 이제 천층 어떻게 싸요 층을 100층을 또 열 번 싸면 돼요 어 그건 사람이 생각하기 나름인데 이제 공학인 어려운 점은 뭐냐면 아까 냉각 이런게 좀 어렵습니다 열전도 온도가 높아지면 이게 힘이 현상 뭐 이런게 어렵고요 더 어려운 거는 GPU 하나잖아요 거기 높이가 한 750 마이크론 정도된 1mm 조금 안 돼요 근데 hbm 이렇게 싸도 그 높이를 현재 맞춰야 돼요음 이게 너무 100층까지 높아지거나
(22:42) 1층까지 되면 냉각 구조가 바뀌어야 돼요 슈퍼 컴퓨터 하는 사람들이 또 표준화가 돼 있어서 이걸 잘 안 바꿔요 그래서 제가 상상하는 거는 한 16층에서 32층에서 멈추고 아파트 단지처럼 단지와 하는게 방법일 것이다 무슨 말입니까 동간 간격을 줄인다 지금은 hbm 싸고가 하나가 아파트 하나잖아요 옆에 여러 개 단지를 이제 아파트 단지형으로 단독 동이 아니고 단독 동이 아니고 어 그래서 뭐 그런게 한 100개 들어가고 100개 들어가면 얘하고 얘하고 또 연결하고 하면 연 아연 그 그 좋은 포인트를 말씀하시는데 그럼 hbm끼리 서로 소통을 해야 될 거 아니에요 그런 기능이 이제 hbm 5 6부터는 들어가고 습니다 왜냐면 지금의 컴퓨터 구조는네 hbm 데이터를 읽고 써야 되잖아요 쓰고 나면 어딘가 또 갖고 가야 될 거 아니에요 그래야 저장해 놓거나 고객한테 뿌려 줘야 될 거 아니에요 그러면 반드시 GPU CPU 거쳐서 가게 돼 있어요 그렇게 권력
(23:47) 구조를 만들어 놨어요 처음 시작할 때 CPU 인테리어 왕자고 게임기 업체는 거기서 명령이나 데이터 받아서 도와주는 역할을 한 거예요 그래서 우리가 그걸 가속 기라고 얘기를 해요 그 옆에 또 보조 장치로 메모리가 붙어 있었던 거예요 그러면 내가이 hbms 학습 잘한 데이터를 생성한 거를 어디다 보내려면 GPU CPU 거쳐 가야 되는 거예요음 그러니까 허락을 다 받아야 되는 거예요 어 그러니까 어떻게 보면 종속 구조이기도 하고 허락 받는데 지나가는데 시간이 많이 걸리는 거예요 그러면 또 시간 게임에서지는 거예요 그래서 hbm이 직접 막 그 데이터 끼리 주고받고 일종에 반란을 일으키는 거죠 하층 구조에서 그런 식으로 가자는게 제 미래 hbm 구조의 제한입니다 hbm 5 6 4에서 터 이미 그런 기능이 들어가기 시작하고 있습니다 이번에 새로 만든다는게 잖아요 새로운 걸 개발한다는게 이제 포를 개발한다는 건데 그거는 뭐가 달라요 그건 위층이 층이 16층에서 더 올라가는 겁니까
(24:52) 지금 이제 16층까지 올라갈 것 같고요 몇 가지 포인트가 있는데 어 기본 구조는 같습니다 그런데 두 배의 용량 속도를 높여야 될 거 아니에요 그죠 그러니까 어 아까 고속도로 GP 아고 hbm 사의 고속도로가 1024 일단 2048 개로 느렸어요 차선을 차선을 늘렸다 차선 차선을 그러니까 표면적은 일정하니 자꾸 지하로 팝니다 아 아 그런데 어 엔비디아 구글이나 뭐 어 인텔이나 이런 수요 AMD 수요처는네 배를 원하는 거예요음 예 그러면 차선을 100km per 속도로 가는 거를 200km 하거나 버스를 2층 버스로 하거나 또는 차선을 또네 배를 늘일 수도 있어요이 게임이 지금 이제 고객 그 그 옛날에는 뭐 반도체가 표준화 제품이에요 인텔이 요런 요런 스펙을 요런 걸 만들어 와 하고 지정을 해 주면 어 sk 하닉스 삼성 마이크론이 경쟁해서 싼 제품
(25:57) 서로 경쟁시켜 싼 제품 많이 공급하는 거예 주도권이 거기 있지 않고 성능이 거기 있지 않으니까 너희들은요 약속된 거만 만들어 와 그러면 그 메모리 업체끼리 이제 치킨 게임을 하는 거죠 누가 값싸게 만드냐 그러면 이제 시장 지배력이 자기네들끼리 똑딱똑딱 싸우라고 하고 그런 거죠 근데 hbm 4부터 되면음 그 베이스 다이라고 그 1층의 지하 1층의 편의점이 하나 들어오는 겁니다 저 옆에 있는 백화점 GPU 아지 안 가고 1층에 뭐 식당하고 이런게 들어온 거예요 그러면 아파트 있는 사람이 1층에 가서 먹고 장보고 올라오면 될 거 아니에요 그니까 GPU 일부 기능을 넣기 시작을 해요 아 거기까지 안 가고 안 가고 그러면 거리가 가까우니까 빨리 계산하고 넘겨 주고 간단한 계산은 1층에서 그냥 하자는 거예요 그러면 그 설계를 누가 해요 메모리 회사가 하나요 아니면 엔비디아가 하나요 아니면 어가 인텔에 가우디가 이게 커스텀 회사마다 그러니까 어 오픈 AI 디아나 마이크로소프트가 탐색기로 AI
(27:01) 활용할지 영화 같은 멀티모델 AI 할지 아니면 자율주행 자동차에 할지 아니면 로보트에 사용할지에 따라서 인공지능 모델 그걸 트랜스포머 모델이라고 하는데 그러면 메모리 용량이 달라지고 또 계산 용량이 달라지고 행렬 계산의 종류가 달라져요 그러면 소프트웨어가 바뀌어야 되고 하드웨어도 거기에 최적화해야 되는데 그걸 이제 커스터마이즈 한다 그러거든요 아화된 커스텀된 메모리다 그럼 설계 문제니까 그 그동안은 hbm이 하이닉스는 잘하고 삼성이 못하는 이유는 저희가 그냥 피 배우기로 하이닉스는 뭐 이렇게 잘 붙여 그냥 착착착착 잘 붙여 본드를 잘 붙여 그래서 잘더라 삼성은 쌓는데 불량률이 많더라 그냥 단순히 그렇게만 알고 있었는데 그런 수준이 아니네요 그것도 뭐 하나의 요일 있어요 제가 잘 알지만 말씀 요소 중에 하나라 말씀을 드리는데에 하이닉스가 좀 더 진심으로
(28:07) 했죠 어 여기 한번 승부를 걸어 본 거고요 어 삼성전자는 워낙 잘되는 부자 집이니까 아 이제 제가 하여튼 비즈니스 얘기는 오늘 안 하는 걸로 하고 이런데 hbm 4부터는 완전히 삼성전자와 삼성전자와 하이닉스가 완전히 제충 돌 하는거다 그래서 삼성전자도 지금 총력을 기울이고 있고 SK 하이닉스도 총력을 기울이는데 설계 입장에서 공정도 있고 재료도 있고 하는데 설계 입장에서 보면 새로운 국면을 맡고 있다 그러니까 hbm고 GPU 하고 경계가 무너지는 거예요 아하 왜냐면 둘리를 갖다 붙이는 방법 중에 하나가 hbm GP 위에 올리는 방법도 있는데 일단은 타협을 본게 양쪽 다 살아남는 타입을 본게 hbm 맨 1층을 GPU 기능을 일단 집어넣 음 아 아 그러니까 그금 설계를 삼성전자는 직접 하려 그러겠죠 자기 파운더리 직접 만들려 그러겠죠 어 엔비디아는 어 자기네가 설계하려고 그러겠죠 그리고 파운더리 tsmc 테
(29:12) 맡기려고 그러겠죠 조금 생태의 주도권을 갖고 싶어 할 거고 삼성은 토탈리 도전할 그 생명 걸고 도전하는데 이게 총체적인 거죠 그다음에 아까 말씀드린 것처럼 hbm 4에서는 그 연결만 개수가 늘어나잖아 예 보면 tsv 구멍 엘리베이터 개수도 또 늘어나게 돼 있어요 그다음에 거기에이 GPU 기능이 들어가면 전력 소모가 더 늘어나요음 그러면 열을 또 빼는 기술이 더 커지는 거고요 예 어 그런게 좀 어렵습니다 그다음에 이제 어 전에는 hbm GPU 종속된 관계인데 반란을 일으켜서 조금씩 딴 메모리나 CPU GPU 아고 통신 기능이 이제 들어가는 거예요 어 그렇게 되니까 어 어떻게 보면 새로운 전자 터가 발현되고 있습니다 그래서 hbm 4가 블랙이라고 지금 뭐 어 엔비디아가 hbm 32로 사용되는 거 같은데 지금 뭐 자꾸 딜레이 되잖아요 그 뭐 여러 가지 문제 때문에 hbm 4는 아마 hbm 4의 성능이 어 전체
(30:18) 엔비디아의 운명을 자할 수도 있습니다 예음 그래서 두 가지 트렌드가 있는데 몇 가지 트렌드가 있는데 하나는 용량을 계속 키워야 돼요 더욱 초고대 무대를 사용해야 되기 때문에 그데 폰 노이만 구조에서 메모리와 GPU 사이에 어떻게든 속도를 높여야 돼요 그러니까 인터커넥션 그 연결만 개수가 늘어나고 tsv 늘어나고 세 번째는 GP 일보 기능이 hbm Pro 들어가기 시작한다 그리고 어 경계가 무너지기 시작한다네 번째는 열이 더 많이 나고 전력 소모가 더 중요해지기 때문에 승부는 어느 hbm SK 하이닉스 삼성 hbm이 전력을 더 들 먹을 거냐 아 그다음에 어 열 관리를 어떻게 할거 열 관리라는게 그 아까 채우는 물질 공정과 또 다 관계가 있겠습니다 질문 있습니다 그요 좀 좀 전에 그 hbm 따라서 엔비디아의 운명이 정될거다 그런 말씀하셨는데네 예를 들면 비디아 입장에서는 지금 hbm 사는 사람이잖아요 그러니까 삼성이 잘
(31:22) 만드는지 어디 보자 SK 잘 맞는지 보자지 어 그랬다가 이놈이 잘 만드네 그리고 그냥 하면 되잖아요네 근데 그런 구조가 아니라는 말 그런 구조를 유지하고 싶어 하는데 자기네 GPU 개발 다 해 놨는데 hbm 4가 6개월씩 1년씩 딜레이 되면 속타는게 엔비디아가 될 수도 있다 두 개 경쟁은 붙이겠습니다 그러면 6개월이라 더 빨리 개발하는 업체가 그래 젠슨 왕 한번 와 봐 이럴 수도 있는 거 아니 지금 젠슨 왕은 한국 안 구고 대만만 왔다 갔다 하잖아요 얼마 전에 일본만 가고 한국 무시하는 거잖아요 어 뭐 경우에 따라서는네 고 가서 이제 좀 잘해 보시죠 뭐 이렇게 할 수도 있다 이렇게 국면이 예 아 그러려면 삼성이 훨씬 더 잘해야죠 저는 그렇다고 봅니다 현재 컴퓨터 구조상 AI 모델 그니까 트랜스포머 모델이라고 그러는데 그 구조상 근데 더 궁극적으로 미래에는 또 소프트웨어가 또 중요해 져요 이게 국면이 어 점점 더 어려워 그 말씀은 어떻게 보면 다 개발의 속도가 있는 GPU 더 빨 빨라지고 더 계산
(32:28) 많이하고 메모리도 더 빨라지고 뭐 서로 빨라지는 경쟁이 있어야 되는데네 GPU다는 메모리 쪽이 더 빨리 가야 될 길이 많다는 뜻입니까 여기가 아직 더 가야 된다는 뜻이에요 메모리가 더 빨리 가는게 더 발목을 잡을거다 그게 더 어려울거다 더 어려운 기술이라서까 어렵고 중 더 그리고 성능면에서 90% hbm 얼마나 빨리 데이터를 주고 받느냐에서 결정이 될 것이다음 그러니까 아 우리가 가 근데 그러면 엔비디아는 마이크론이 또 제 3의 업체 키우고 싶어 하겠죠 예 그 우리가 기술력을 계속 키워서 그 주도권을 가져야 된다 제가 hbm 하기 때문에 그런 면도 있어요 아무래도 뭐 그동안 이렇게 성장해 온 걸로 봐서 확신을 들기도 하는데 어 제가 월소 아침 9시 수업을 하는데 오늘은 오늘이 화요일인가 월요일인가 월요니다 그렇죠 아침에 수업을 했는데 수업 준비하면서 계속 생각합니다 오늘도 새벽 2시에 일어났나 어 수업 내용은 알죠 그
(33:32) 의미를대 생각하고 되씹어 보고 되씹어 보고 그 이제 오늘 수업은 이제 인공지능 강화 학습이라고 해서 인공지능 내용인데 그런데 제가 hbm 또 연구하자 동시에 생각해 볼수록 이런 확신이 듭니다 예 아 지금은 이거 좀 전에 좀 중요한 질문인 거 같아서 즉 GPU 있고 메모리가 있고 그 사이에 연결도 해야 되고네 발열도 잡아야 된다 을 전력 소모도 줄이고 딱 같습니다 관 같은 방법이겠죠이 중에서 뭐가 제일 지지하에 지금 즉 결국은 이놈 때문에 이놈이 제일 뒤쳐져 있어음 어 제가 보기에 그 잘 쌓는 거 중요하고요 그거보다 더 중요한게 빨리대 데이터 보내는게 중요하고 전력 소모 그니까 이게 점점 중요해지는 순서입니다 그다음에 전력 소모를 줄리는 게 중요하고 그다음에 열 관리 열 관리가 10점이 전력 소모가 7점 어 속도 5점 잘 쌓는 거 3점
(34:37) 그렇게 랭킹을 먹이겠습니다음 앞에 거가 다 그러면 지금은 나머지는 더 넣을 수 있는데 열 관리가 안 돼서 세 개밖에 못 넣네 뭐 이런 상황이라는 뜻인가 봐요음 쌓고 쌓아야 되는데 운명적으로 모델 때문에 열이 너무 많아서 어 동작 안 하는 거죠 그래서 그러면 열 관리 그 문제가 해결이 되면 더 많은 hbm이 투입될 수도 있겠습니다 더 많은 더 많은 개수의 GPU CPU 하나면 될 거 같고요 오케스트라 지휘자가 GPU 한 개 hbm 100개가 12in 웨이퍼 하나의 패키징에 올라가는 그런데 그때 전력 소모가 어 뭐 수 100kw 정도 될 텐데 그럼 수 100kw men 어 어 상당히 큰 모터가도 전열 기급 있데 그거를 온도를 60대 50도까지 낮출 정도로 하면 수냉식으로 해야 돼서 물 속에 넣어야 되는 액침 냉각이 될 수밖에 없는 근데 그걸로도 굉장히 고도의 기술이 필요할 거 물을
(35:43) 어떻게도 그래서 저희 연구실은 반도체 안으로 물을 돌리면 어떻게 될까 그런 거 연구 많이 하고 있습니다 아 방열판을 바라서 자동차 같은 경우는 물을 돌려서 바깥에서 어 공기로 냉각 하잖아요 물이 매개 가 있잖아요 예 그러면 어떻게든 엔진과 물이 접촉하는 면의 면적에 따라서 그 냉각이 달라지는데 반도체 안으로 어 tsv 럼 물을 돌려야 되지 않느냐 이렇게 해서 어 시뮬레이션 상이지만 그렇게 연구를 하고 있습니다 나중에 이제 영하 200도가 어 273도 절대 연구 그니까 액체 질소나 액체 산소 쪽에 집어넣자 그런 연구까지 밀 미세공정 다 해 놨는데 반장 라고 더 커져야 되겠에 물이 늘려면 예 그러고 하여튼 뭐 컴퓨터 켰을 때는 도인데 꺾은 0도 그러면 이게 켰다 꺼졌다 하면서 온도가 내려갔다 올라갔다 하면 이제 이게 힘 현상이 생겨요 열팽창 계소 때문에 그래서 어 상당히
(36:48) 예술적으로 어려운데 이런 기술을 우리가 확보하면 반도체 대국이 되는 거고 안 그러면 경쟁자가 쫓아올 것이다 이렇게 생각이 되 에 어렵죠 근데 저는 양자 역보다는 쉽다고 생각합니다 지금 그 말씀하신 열 관리는 비디 그니까 패키징을 하는 쪽에서 주로 컨트롤을 하나요 그니까 우리나라처럼 그니까 메모리 반도체를 만드는 삼성 패키징 그다음에 대마이 미국 슈퍼 컴퓨터 조립 업체가 있습니다 그런 업체들이 주로 거기서 그래서 우리는 그런 산업이 좀 안 발달돼 있죠 그쪽은 대만은 조금 돼 있는 거 같고요 우리는 산업 체계상 어 어떡하다 보니까 컴퓨터 조립이나 이런 산업은 청개천 이후로 계속 발전이 안 됐는데 슈퍼 컴퓨터 조립 업체들 아마 미국의 슈퍼 마이크론 어 주가가 엄청 오른 회사들이 다 그런 회사들입니다 냉각 관 회 열 관리는 말씀하셨는데 그럼에도 불구하고 hbm 쪽으로 그 메모리 쪽으로 좀 더 가야 될게 많아네 그래서 제가 이게 지금 성능이 전체적으로 따라올 거야네 그래서 제가
(37:53) 10년 후 제가 이제 카이스트에서 70세까지는 사무실을 10년 후에 뭐를 할까 그래서어 70대 되면은 어 대치동이나 어디 목동 가서 애들 수학 가리킬까 이런 생각도 하고 있고요 아니면 우리 손자 수학 고등학교 갈 때까지 아직 수학 정석은 다 풀리니까 그런 생각이 한는데 10년이 남았는데 어 그래서 어떤 화두를 던지고 있냐면 hcc고 hbm 센트릭 컴퓨팅을 해보자 지금은 CPU 중심 아니에요 CPU 프로그램을 해석하고 명 을 주면 GPU 메모리가 그냥 수동적으로 도와주는데 아예 메모리 명 프로그램을 hbm 구동하게 짜자 그게 어떤 겁니까 그 잘 이해가 안 어 그러면 이제 hbm 우리가 프로그램을 짜잖은 그거를 읽어 드려서 기계어로 읽어드린 다음에 CPU 너 이거 해 GPU 너 이거 해 이렇게 중심을 바꿔 보겠다 hbm 중심 메모리를 중심으로 hbm 그때 된 메모리가 아니라 메리
(38:57) 컴퓨팅이 되는 거죠 어 그거 CPU 들어와 있는 거잖아요 그래서 그렇다고 볼 수도 있죠 예 CPU GPU 여기 들어와 있다 이렇게 볼 수도 있는데 관점을 이렇게 그렇게 바꾸는 거죠 어 메모리가 중심으로 프로그램이 되게 그러면 아까 90% 시간이 메모리끼리 뭐 데이터 주고받거나 딴 어 스토리지 하고 데이터 주고받는데 시간이 걸리면 그거의 최적화에서 컴퓨팅을 설계할 수 있지 않겠나 아 그래서 그렇게 되려면 어떤 구조를 가져 지 이런 연구를 지금 많이 하고 있습니다음 그리고 또 하나 연구는 그런데 그런 설계를 하려면 아키 컴퓨터 아키텍처나 hbm 구조가 너무 복잡해요 신호도 잘 보내야 되고 전력도 잘 보내야 되고 접지도 해야 되고 냉각도 해야 되고 그래서이 전체 설계를 AI 해보고 있습니다음 예 근데 그 AI조차도 코딩을 해야 되잖아요 그걸 직접 하지 않고 말 인간이 말로 하면 LM이라고 해서 랭귀지 모델이 자동 프로그램을 해 주도록 그렇게 해서
(40:01) 지금 시도해 보고 있습니다 그래서 어 아마 이런 저희와 비슷한 생각은 미국의 신나시스 케이던스는 구글이나 어 뭐 애플 이런 데서 꿈꾸고 지금 거기도 반도체 설계 하니까 AI 자동화 해 보려고 하고 있을 것 같습니다 저 연구실에서 제일 요즘 논문을 많이 내고 있습니다 그때 그거 말씀하신 그냥 제가 잘 모릅니다만 그냥 생각하기로는 그니까 메모리를 중심으로 뭔가 더 이게 GPU 있고 CPU 있고 메모리도 있는데 그걸 메모리를 중심으로 하자는 발상은 발상의 전환이 한데 우리가 그거 잘 못하는 이유가 기술이 없어서 그렇잖아요 우리나라는 어 기술 없고 사람 없는 근데 우리가 기술 없고 사람 없는 거는 똑 같고요 그렇지만 꿈꿀 자유는 있잖아요 그런데 이제 메모리 중심이라는 건 일단 우리가 메모리는 잘하니까 그 위에서 자꾸 확대해 나가잖아 예 생각이 있는 거죠 그러려면 이제 우리 기업에서 필요한 인재도 어 또 또 형태가 달라지죠 이제 컴퓨터를 해야 되니까
(41:06) 소프트웨어를 잘 알아야 되고 컴파일러 OS 컴퓨터 아키텍처 이쪽 인력은 우리가 없거든요 거기서부터 시작해서 GPU hbm 설계부터 공정까지이 그 우리가 테크놀러지 스택이라는 한 스텝 정도 됩니다음 그 제가 그 스택을 다 이해하는 사람은 누굴까 제가 들어보면 젠슨 황이 하는 단어를 쓰는 걸 보면 다 알고 있더라고요 아니면 누군가한테 누가 가르쳐 주고 있겠죠 자수도 알고 있어요 그래서 우리나라 리더들이 이제 그 공부를 해야지 안 그러면 메모리 하천 기업으로 가면 중국과 미국 기업한테 치어서 그 어차피 생존 게임이라고 생각을 합니다 선택의 여지가 없어요 예 좀 다른 얘긴데 리자 수나 젠슨황 진순 왕이야 뭐 창업 주니까 그렇다고 쳐도 리자는 월급쟁이아요 음 뭐 스 옵션은 많이 받을 것 같습니다 아 네네 물론 그렇지만 근데 이제 그 그런 분이 이제 탑으로 올라가니까 기술을 다 이해한다는 거 아닙니까네 요즘 우리나라는 그 삼성전자의 톱이 초등생
(42:11) 중학생 수준으로 리포트 쓰라고 그래서 논란이 좀 있는 거 같은데네 어 제가 그거에 대한 직접적인 답은 하는 거는 좀 조심스럽고 어 그런데 그거 알아야 CEO 하고 티로 할 거 같아요 안 그러면 주변에 그걸 꽤 뚫는 사람이 옆에 있어야 되잖아요 근데 그런 사람을 잘 써야 되고 근데 우리 산업의 생태 계상 그런 사람이 못 컸어요 그 이유를 여쭈려고 그랬던 겁니다 아 그거는 우리 교육 시스템도 관련이 있고요 어 배운 거 열심히 하는 거지 뭐 세상을 이렇게 바꾼다지도 주도한다 이런 좀 벤처 정신이 좀 적은 것도 있고 또하나 우리 램이나 메모리의 성공 신화에 너무 빠져 있지 않는 다 이렇게 잘됐다 이런 것도 있고 이렇게 아까 컬스 어 소프트웨어 AI 버티컬 스텝부터 공정까지 다 아는 사람이 계속 승진할 수 있었을까 이런 우리면 잘 알면 도움이 되지 않았을까요 오 다음기에 제가 그 우리 이제 그거는 우리 산업의 문화 우리의
(43:16) 우리 우리 시대적인 문화 우리 국가의 문화 다 관련이 있는 거 같습니다 그러니까 이런 화두는 어 제가 오늘은 그 주제로는 조금 안 가고습니다네 교육과 인재에 관해서는 이것도 우리 뭐 삼박 4일 해야 되는데 들 그럼 한번 시간 내서 해 주세요 다음네 그 그게 어 우리 교육 시스템도 있지만 전 세계 산업 생태계가 우리 산업한류 했죠 PCB 하고 소켓도 하고 어 메모리는 했는데 PC 아는 개념 자체를 우리가 만든게 아니잖아요 그렇죠 핸드폰도 그렇고 예 예 세탁기도 그렇고 자동차도 그렇고 처음부터 디자인해 본 적이 없기 때문에 그런 사람들에 대한 가치음 그런 거를 높이 보고 평가하는에 그 우리 문화적인 사회적인게 좀 약하고 우리는 좀 수도권 집중 뭐 다 몰려 다니잖아요 뭐 그런 것도 좀 관련이 있는데 오 잘시키는 제너럴리스트 뽑아다가 그냥
(44:20) 알아서 분산시켜서 시키면 회 그러니까 우리가 또 제조업에 강했 아아 제조업 문화는 생각게 많이 어 뭐 그것보다 는 예 조금 매뉴얼대로 열심히 하고 이런습니다 오늘 이제 hbm이 그런 이제 우리한테 고민거리를 준 거는 사실인데 hbm 떠나서 우리 산업이 제조업 중심에서 이제 주문자 정 그 메모리로 보면 표준화된 제품에서 성실성 가지고 했는데 이제는 주문형 제품 그다음에 성능 그다음에 소프트웨어가 중요해지는 이런 신대로 바뀌고 있는 거 왜냐면 베이스 GPU 기능이 들어가면서 그런 면에서는 대만 사람들이 좀 유리한 거 같아요 문화적으로 거기는 중국 자체가 문화적으로 짬뽕 문화자 다 민족이고 어 뭐 돈만 되면 뭐 영혼까지도 팔 거 같은데 우리는 어 그러니까 우리의 장점을 살리긴 해야 되는데 산업으로 반도체로 들어오면 우리의 그 교육 문화 시스템에 대한 어 그 약간 고민거리가 되고 있습니다
(45:24) 그래서 저는 동양적인 장점음 어 성실성 그다음에 신내 관계 거기에다가 창의성과 좀 도전 정신 이런 걸 잘 융합할 수 있도록 평가 시스템 인센티브 시스템에 뭐 이런 거를 도입하는 창조적인 경영 시대가 올지 않았을까 이렇게 생각합니다음 요즘에는 큰 주제로도 메모 메모리랑 이제 GPU CPU 뭐 반이랑 뭐 연결이 다 같이 움직여야 되니까네 조금 예 그래서 하나가 어 기업 조직이 있다 그러면 아니면 연구소든음 옛날에 하나만 잘하는게 중요했는데요 예 각자 전문 분야가 다 1만 시간씩 한다 그래도 10년은 해야 되는데 그런 사람이 열명이 모여서 같이 해야 풀 수가 있는 거예요 그니까 혼자 잘하는 사람보다 소통하고 협력하고 이런 거 어 되게 그런 사람들이 높이 평가받으면 좋겠습니다 예 예 더 필요하다 그게 그게 더 필요하다 더
(46:30) 필요하다 그런 점에서 52시간 mas 일해서는 반도체 회사 못 돌린다는 진단에 대해서는 어떻게 판단하십니까 제가 그 저는 평소때 52시간 보다 더 주말도 없이 하기 때문에 그 생각은 안 해 봤어요 안해봤는데 그게 1번은 아닌 거 같아요 뭐 3번 4번인데 그니까 52시간 더 할 수도 있는데 그만큼 인센티브 주고 스탁 옵션 주고 뭐 이런 제도로 한번 같이 연구해 볼 필요가 있지 않느냐 를 논의하는데 제가 좀 디테일한 걸 여쭤보면네 제 사람들 궁금한게네 삼성이 h hbm's 확실히 따라갈 수 있을 거냐 아니면 승기를 잡은 SK 그냥 장기간 쭉 간다 hbm 4 4에서 4는 4는 삼성전자가 할 수 있어요 이제 이렇게 말씀드 hbm 4에서 삼성이 만약에 실패한다 아니면 SK 하이닉스를 못 넘는다 이러면 따라잡기 어려울 것 같아요 포가 중요한 분기점이 그렇습니다 그다음부터는 기회가 안 올 것 같아 폰은 어차피 하이닉스도 같이 새로 시작하는 거 누가도 앞사거리
(47:32) 주석원이가 없어요 그 기술이 있다면서요 본딩 기술이 좋다면서요 예예 본딩 근데 본딩 뭐 그 하이 하이브리드 본딩이고 지금 본딩하고 또 바뀌기는 해요 어 근데 어 제가 이제 삼성하고 일 많이 하고 하이닉스 하고도 많이 하는데 도덕적으로 잘 이게 균형을 맞추고 진심으로 다 대하는데 어 삼성이 굉장히 어그레시브 해졌어요 최근 네 어 뭐 어 제가 한번 세미나 하면 100명씩 모이고음 두시간 반 세미나 하는데 한 명도 안 나가고 다 보통 오은 졸고 있잖아요 예 어 그래서 굉장히 하이닉스도 하이닉스는 여전히 졸아요 아니면 하이닉스는 안 졸았어요 아니 너무 개인적인 하이닉스는 하 하이닉스 우리는 그런 걸 여쭤봐서 할 수밖에 없어요 하이닉스는 세미나 하고 오면 아 그 충분하게 전달 안 됐다 찾아오겠다 그래요 어 거기 더 공격적이네 원래 공격적이 어 아 그런 제가 비교는 오늘 제가 왜냐면 양쪽다 저는 진심으로 우리나라 우리나라 기업들이 둘다 발전을 해야
(48:36) 돼요 예 그래서 선의에 경쟁하면서 1 2등인데 SK SK 하이닉스도 열심히하고 전사적으로 삼성도 그래요 그런데 어 제가 더 많은 삼성의 분들한테 전통적인 딜 플로를 따르지 말고 제가 이제 제안을 해요 설계 순서도 정하고는데 옛날 훨씬 더 진지하게 받아들이시고 어 예 그래서 그런데 이제 어 그 진짜 결과가 어떻게 나올지는 저는 뭐 하여튼 둘의 선의의 경쟁이고 삼성도 잘하기를 기대를 하고 있고 그 그게 말씀하셨듯이 그니까 hbm 4부터는 그니까 말 1층에 뭐 편 시점도 들어오고 웬만한 계산을 살짝 넣는 기능이 들어간다 그래서 요거는 설계가 좀 컨셉이 달라지는거다 그렇습니다 그런 측면에서 말씀하신 거잖아요 그래서 요거는 누가 어떤 어프로치를 하느냐에 따라 다를거다네 그거는 부분이고요 어 자 전력이나 어 온도가 더 심각해질거다 이렇게 보는
(49:40) 거예요 싸니까 전통적인 디램 설계는 셀을 어떻게 작게 만들어서 단위 면적당 메모리 캐패시터를 얼마나 느릴 거냐 거기에 집중이 돼 있어요 저는 순서를 바꿔서 열 빼는 거부터 설계해 전력 소모 줄이는 거부터 설계하고 남는 땅에다가 메모리를 넣어 그니까 파격적으로 역전을 역 역제안을 하는 거죠 제기가 틀릴 수도 있지만 발상이 다른 건데 어 그걸 받아들였으면 잘 될 거 같고 예 그게 그게 왜 중요합니까 그걸 거꾸로 하는게 왜 중요해요 중요한 것부터 해야 되니까 중요한게 제 대로 받고 나서 열 관리 안 되면 다 버려야 되 열 관리부터 다해서 하고 남는 땅에 디램 예 아 공학 저 연구실 석사 오시죠 네 그 말씀입니다 근데 어쨌거나 어이이 수요처인 마이크로소프트 오픈 AI 원하는 방향을 상상해 봤을 때 그거를 또 실현했을 때 입장에서 중요도가 그렇게 간다 근데 물론 이제 세일 설계도 잘하고 수율도 높여야 되지만
(50:45) 어 뭐 제가 중요하다는 거를 간과하면 콜 통과를 못 할 수도 있죠 아니면 똑같은 콜 통과해도 여기는 10w 쓰던 걸 여기 9w 쓴다 이러 방금 방금 그 정보가 앞으로 앞으로 이제 어깨에 미치는 영향이 클 것 같아요 왜 그러냐면네 그 예를 들면 교육 방송 같은 그 멀 멀티 브로드밴드가 없었을 때는 교수님 한 분이 가르칠 수 있는 학생 숫자가 60명 밖에 안 되니까네 학생들을 많이 가르치려면 교수님도 한 100명이 필요 했었잖아요네 그런데 그 그 저 병목 교수와 학생 사이의 병목이 풀어지면서 EBS 강사 한 명 가지고 전국에 600만 명이 공부 하잖아요네네 그러면 만약 그런 시대가 되면 교수님의 수요는 줄어드는 거 아닙니까네 그 이제 이제 이런 식으로 변하고 오면 지금은 CPU 하나에다가 GPU 두 개 넣고 뭐 메모리를 hbm 뭘 쌓고 이거 한는게 요게 하나가 보통 세트인데 여기서 열 관리가 만약에 문제라서 여기 병목이
(51:49) 풀리고 풀리면네 뭐는 늘고 뭐는 줄어요 그런 변화가 있을 것 같은데요 어 어 지금은 다 한 방향으로 가고 있어요 모델 수가 크고 전력 소모가 늘어나고 유일하게 어 그런데 이제 저 그런데도 불구하고 전력 소모를 줄이고 열이 덜나게 하는 방법이 있어요 예 그거를 제가 강의를 많이 하는데 평소 때 놓친 부분들이 많이 있어요 큰 뭐 sk 하이닉스는 삼성전자나 그거를 우리가 시그널 인테그리티고 얘기하고 파워 인테그리티고 얘기를 하는데 음 그건 전문분야 한데 그런 어떤 기법이 있어요 그게 적용이 되면 같은 기판 안에 메모리는 더 많이 들어갈 수 있다 같은 메모리에 전력 소모를 줄이 수 있거나 예 그렇죠 그렇게 그럼 같은 말이네요 같은 전력 소모하면 더 많은 메모리가 들어갈 수 있다는 거라면 또는 속도를 높이거나 그러면 GPU CPU 더 필요는 없습니까 그런 상 그래도 또
(52:52) 필요합니다음 어 그 그렇게 되면 또 메모리가 더 많아지면 여기도 또 필요 다 예 그러면 어이고 대네 또 하나 GPU 더 느리고 예 예음 근데이 모든게 어에 생성형 AI 스케일링 법칙이라고 해서 계속 모델 숫자가 늘고 어 이걸 통해서 사람들한테 동영상을 계속 만들 수 있다는 제 가정하에서 그렇습니다 그리고 거기 필요한 돈이 조에서 1경 정도가 필요해요 그러면 지금 뭐 마이크로소프트나 이런 데가 1년에 100조 한 투자 회사가 10개는 있어야 되는데 과연 계속 그 돈을 넣을 수가 있느냐 그다음에 그만큼 생산성이나 그 뭐죠 뭐 수유 뭐라 그러나이 이득이 나느냐 자본 리턴이 있느냐 그거에 따라서 2 3년 후에 한번 위기가 올 수도 있습니다 그래서 저는 2 3년은 계속 이걸로 갈거다 근데 장기적으로는 이게 천배로 클 사이즈까지 맥시멈으로 갈 수 있다고 보시는 거네요 돈이 돼야죠 돈이 돼야 돈이 돼야지 그게 지금 우리가 뭐 우주선 저 뭐 황성으로 뭐 수십만대
(53:58) 안 쏘아도 보내는 이유가네 그 돈에 투자 안 하 이유가 갔다 오들 뭐 돈 벌이가 되겠나 싶어서 안다는 거잖아 어 그 이런 생각을 해 봅니다 그러면 그 돈을 어떻게 개인들 테 긁어 갈 수가 있을까 그래서 제가 그 정도 돈을 혼자 연필로 계산해 보니까 우리 핸드폰 사용료가 뭐 한 달에 10만 원이다 그 정도는 안 되겠더라고요 전 세계 인구가 한 30만 원에서 50만 원 써야 되더라고요 그래서 제가 혼자 계산해 보니까 제 의료 보험비 정도를 쓰면 되지 않느냐음 아 근데 주택 비용은 뭐 한 달에 1천만 원도 저 저축해야 될 수도 있잖아요 젊은 사람들이 아파트 사려면 어 주택 비용은 그거에 한 열배는 더 되더라고요 그 정도 효용을 줄 거냐 문제죠 그렇죠 그거를 찾아내기 위해서 피하게 지금 아마 플랫폼 기업들이 고민하지 않을까 싶어요 가격이 떨어질 수는 있잖아요 또 그 그거는 지금에 전기 요금이 안 줄 거 같고요 반도체 비용은 안 줄 거 같아요 제 생각 은 그렇습니다 디아나 hbm 가격은 일단은
(55:00) 떨어뜨리지 않을 거 같고 떨어뜨리기도 어렵고 아까 지금 오늘 얘기한 거 보면 굉장히 코스트가 많이 들어갈 수밖에 없잖아요 어 그러고 운영 비용이 많이 들어가고 그 그만큼의 그 그 이익을 낼 수 있느냐 아 그 거기서 달려 있으니까 아마 그 생각 엄청 할 것 같습니다 예 야겠습니다 길을 잘못 들어온 거 같고 해 그냥 개인적인 생각은 무슨 기 우리나라가 아니 아니 그 인공지능의이 방법이 무식하게 전기와 이걸 때려 넣어서 뭔가를 도출하는 방식이 아아 근데 신기하게 뭐 글도 쓰고 그림도 그려내고 뭐 어 그러니까 이건 뭐 되는 거 아니 영혼이 있는 거 같기도 하고 agi 아는 걸 또 다음에 얘기해드리고 싶긴 하지만 아 인공지는 공부해 보니까 감정도 넣고 윤리도 넣고 다 할 수 있어요 예 전쟁도 할 수 있고 정치도 할 수 있고 이런 가능성을 보고 하는 거 같아요 근데 굉장히 비용이 많이 들어가는 방법이다 아 AI 대해서도 조금 더 다음
(56:05) 시간에는 AI 미래에 대해서 배워보고 그다음 시간에는 어 삼성의 미래와 우리나라 조직문화 같이 어 그것도 좀 배워보고 마음의 준비를 하고 오셔 가지고 교수님이 그 되고 뭘 어떻게 바꿔야 되는지 야 재밌네요이야데 결국은 본질은 아파트였어요 그 대전에서 계속 지내면서 이제 주말이나 출장 올 때 서울 오면 아파트가 계속 올라가는 거예요 왜 저렇게 쓸데없이 비싼 건물 짓고 살까 대전에 옷 저충격 냄새도 좋고 그런데 요즘 생각이 좀 달라졌습니다 아 저렇게 올라가는 다 이유 욕망과 어 밀도와 땅에 감 뭐 이런게 다 자본이 투자 그래서 겸손하게 다시 제가 뭐 그런 아파트 살 일은 없지만 반도체에서도 그 대전과 서울관의 거리가 왔다갔 는데 비용이 너무 많이 들었 예 그래서 그거를 줄이는 방법이 거리를 가깝게 하는 거예요 그냥 수도권 집중하고 조금 비슷해요 그래서 어 그 컴퓨터 엔비디아 컴퓨터 사진 보면
(57:08) GPU 바로 옆에 최대한 갖다 붙어 있어요 거 좀 줄려고 그래서 이거 더 줄이려면 어떻게 하냐면 이렇게 또 쌓는 거예요 아 아 빛의 속도를 왔다 갔다 하는데도 그 거리가 영향을 줘요 예 예 그래서 아 그래서 빛의 속도라 하더라도 1mm 되면 뭐 어 피코드 그 그 거리와의 싸움이에요 그래서 미래의 슈퍼 컴퓨터는 지금은 운동장만 하거든요요 방만 해야져 돼 너무 커지면 비의 속도로 가도 그 광파를 이용하는데 만복을 많이 해야 되니까 비디아 주가가 높은 이유는 아까 안 물어보셨는데 광파이버 기술이 또 있습니다 연결해야 되는 기술 그게 좋아요 그 이미 확보했어요 일찍부터 그 m& 해서 그 회사를 인피니 밴드라고 해가지고 게임 만들 때 이미 필요했으니까 야 반 세개야 반도체 재밌네 이런 신입생들이 이런 거 공부하러 들어와야 되는데 그러면 치네 그렇네요네 잘 들었습니다 카이스트
(58:12) 김종호 교수님 고맙습니다네 감사합니다 [음악] us