황인훈 63분 심층 인터뷰: 엔비디아의 다음 10년 - CUDA에서 물리 AI 및 로봇까지

정리 및 편집: 심조 TechFlow

심조 도입: 이번 63분 길이의 심층 인터뷰에서 유명한 기술 창작자 클레오 아브람은 전통적인 재무 보고서 숫자와 주가 조작을 피하고, 엔비디아 공동 창립자이자 CEO인 젠슨 황과 함께 컴퓨팅의 기초 진화와 인류 기술의 미래에 대한 본질적인 대화를 나누었습니다. 30년 전 게임 그래픽 카드로 돌파구를 마련한 것부터 시작해, 월가의 10년 이상 의구심을 견디며 CUDA를 구축하고, 2012년에는 알렉스넷을 통해 딥러닝 혁명을 촉발한 젠슨 황은 엔비디아가 어떻게 65년간 지속된 현대 컴퓨팅 기술 스택을 단계적으로 재구성했는지를 깊이 분석했습니다.

생성형 AI에서 물리적 AI(Physical AI)로의 질적 변화의 기로에 직면한 젠슨 황은 코스모스와 옴니버스가 구축한 "세계 모델 + 물리적 시뮬레이션" 기술 기반을 상세히 설명하며, "모든 것이 로봇 형태를 갖추게 될 것"과 모든 사람이 평생 동반할 R2-D2 로봇을 가질 것이라는 10년 비전을 그렸습니다. 동시에 그는 칩 아키텍처의 전용화와 범용화에 대한 철학적 이견에 단호히 응답하며, 디지털 생물학과 기후 예측 등 최전선의 베팅을 분석하고 젊은 세대에게 질문의 예술을 포용하라는 핵심 조언을 제시했습니다. 미래에 사람들이 어떻게 기억되기를 원하는지에 대한 질문에 그는 가장 소박하고도 웅대한 답변을 주었습니다: "매우 간단합니다: 그들은 비범한 영향을 창출했습니다."

게스트: 젠슨 황 (엔비디아 공동 창립자이자 CEO)

진행자: 클레오 아브람 (유명 기술 비디오 창작자, Huge If True 채널 운영자)

팟캐스트 출처: Huge If True (https://www.youtube.com/watch?v=7ARBJQn6QkM)

원제: 엔비디아 CEO 젠슨 황의 미래 비전

방송 날짜: 2025년 1월 27일

요점 요약

· 완벽한 컴퓨터는 직렬 및 병렬 계산을 모두 고려해야 합니다: 대부분의 복잡한 프로그램에서 약 10%의 핵심 코드가 99%의 계산 부하를 차지하며, 이 부분은 GPU에 의해 대규모 병렬 가속에 매우 적합합니다. 나머지 90%의 제어 논리는 CPU에 의해 효율적으로 직렬 처리됩니다. 엔비디아의 설립 초기 목표는 전통적인 컴퓨터가 해결할 수 없는 초고부하 문제를 해결하는 것이었습니다.

· 게임 산업은 기초 연구 개발의 최적 자금 엔진입니다: 3D 가상 세계의 실시간 렌더링은 본질적으로 병렬 계산을 필요로 하며, 더 중요한 것은 비디오 게임이 엄청난 소비자 시장 규모를 가지고 있어 수십억 달러의 기초 소프트웨어 및 하드웨어 연구 개발을 지속적으로 자급자족할 수 있게 해준다는 점입니다.

· CUDA의 본질은 병렬 계산을 대중화하는 것입니다: 초기 연구자들은 물리적 또는 수학적 문제를 그래픽 셰이딩 프로그램으로 위장하여 GPU를 호출해야 했습니다. 엔비디아는 CUDA를 만들어 개발자가 일반 C 언어로 GPU 연산 능력을 직접 호출할 수 있도록 했습니다. 비록 이 대담한 시도가 연구 개발 비용이 높아 월가에서 10년 이상 냉대와 의구심을 받았지만, 결국 딥러닝 폭발의 길을 열었습니다.

· 알렉스넷은 엔비디아가 기초 계산 스택을 전면 재구성하도록 촉진했습니다: 2012년 일리야 수츠케버, 알렉스 크리제프스키, 제프리 힌턴이 만든 알렉스넷은 단 두 장의 지포스 GTX 580 그래픽 카드로 전통적인 이미지 분류 알고리즘을 압도했습니다. 젠슨 황은 소프트웨어가 "인간이 작성한 규칙"에서 "데이터가 스스로 학습"으로 전환되고 있음을 민감하게 인식하고, 즉시 엔비디아의 모든 베팅을 AI에 걸고 칩, 상호 연결, 알고리즘 라이브러리 및 시스템 아키텍처를 전면 재구성했습니다.

· 생성형 AI의 핵심은 교차 모드의 범용 번역기가 되는 것입니다: 이번 AI 물결이 전례 없는 이유는 트랜스포머와 같은 아키텍처가 텍스트, 이미지, 음성, 3D 공간, 로봇 팔 경로 등 모든 모드의 데이터를 이해하고 상호 번역할 수 있기 때문입니다. 이는 인간 지식과 디지털 세계 간의 경계를 허물었습니다.

· 물리적 AI는 "세계 모델 + 물리적 시뮬레이션"의 두 축으로 구동되어야 합니다: 대형 언어 모델은 환각을 생성하며, 실제 답변을 찾기 위해 검색 및 맥락에 의존해야 합니다. 물리적 세계에서는 로봇이 중력, 관성, 마찰력 및 공간의 불변성과 같은 물리적 상식을 갖추어야 합니다. 엔비디아는 물리적 세계의 기초 모델로 코스모스를 출시하고, 뉴턴 물리 법칙을 따르는 옴니버스 시뮬레이션 엔진을 통해 로봇이 물리적 세계에 들어가기 전에 수백만 번의 극한 상황 연습을 완료할 수 있도록 사실적인 합성 데이터를 생성합니다.

· 향후 10년 동안 모든 것이 로봇 형태를 갖추게 될 것입니다: 자율주행차, 스마트 빌딩, 무인 잔디 깎는 기계, 인간형 로봇 등 모든 이동하는 물체는 로봇 능력을 갖추게 될 것입니다. 모든 사람은 전용의 평생 디지털 동반자(R2-D2)를 가지게 되며, 이는 사용자의 성장에 따라 지속적으로 진화하고, 형태는 안경, 휴대폰, 컴퓨터, 자동차 및 가정의 실체에 걸쳐 있습니다.

· 전용 ASIC 함정 거부, 혁신적 계산 유연성 고수: 트랜스포머를 전용 칩(ASIC)으로 완전히 고정하자는 의견에 대해 젠슨 황은 혁신은 특정 알고리즘 아키텍처에 국한되지 않는다고 주장합니다. 컴퓨터를 단일 용도로 고정하면 마치 컴퓨터를 전자레인지로 만드는 것과 같습니다. 엔비디아는 항상 유연하고 프로그래밍 가능한 가속 아키텍처를 구축하는 데 전념하며, 학계가 FlashAttention, 계층적 주의 등 더 효율적인 새로운 주의 메커니즘을 지속적으로 탐구할 수 있도록 지원합니다.

· 게임을 통해 성장한 회사에서 인류 최전선 과학의 폭풍 중심으로: RTX 50 시리즈에서 4K 화면의 800만 픽셀 중 단 50만 픽셀만이 전통적인 파이프라인 광선 추적 계산으로 처리되며, 나머지 750만 픽셀은 모두 AI에 의해 정확하게 예측되어 보완됩니다. 이러한 패러다임은 과학자와 엔지니어가 귀중한 에너지를 핵심 포인트에 집중할 수 있게 하며, AI가 이를 초인적인 생산성으로 확대합니다. 디지털 생물학, 단백질 언어 분석, 미기후 예측에서 미래 로봇에 이르기까지, 엔비디아의 궁극적인 역사적 비전은 "비범한 영향을 창출하는 것"입니다.

흥미로운 견해

· 기술 신념과 미래 지향적 배치에 대해: "어느 순간, 당신은 어떤 것을 믿기로 선택해야 합니다. 당신이 그것을 건설한다면 사람들은 오지 않을 수 있습니다. 하지만 당신이 그것을 건설하지 않는다면 사람들은 영원히 올 기회를 잃게 됩니다. 우리의 전략은 희망 위에 세워져 있지만, 그것은 깊이 생각한 이성적 희망입니다."

· 직렬 및 병렬 계산의 분업에 대해: "어쩌면 프로그램에서 단 10%의 코드가 99%의 계산 처리를 차지하고, 이 99%의 작업은 병렬로 완료될 수 있습니다. 그러나 나머지 90%의 코드는 여전히 순차적으로 직렬 실행되어야 합니다. 진정한 완벽한 컴퓨터는 둘 중 하나가 아니라, 뛰어난 직렬 및 병렬 처리 능력을 동시에 갖추어야 합니다."

· CUDA 탄생의 원동력에 대해: "많은 위대한 혁신은 종종 동일한 복잡한 잡탕에서 태어납니다: 일부는 원대한 포부와 영감에서, 다른 일부는 절박한 자구책에서 비롯됩니다. 우리는 한편으로 보스턴 메사추세츠 종합병원의 연구자들이 게임 그래픽 카드를 사용해 CT 단층 영상을 재구성하는 것을 보았고, 다른 한편으로는 게임에서 흐르는 물, 폭발 및 입자 충돌을 렌더링할 때 어려움을 겪고 있었습니다. 이러한 내외부 요인이 얽혀 CUDA의 탄생을 촉진했습니다."

· 계산 아키텍처의 전용화 논쟁에 대해: "트랜스포머가 인류 연구자가 발견한 마지막 AI 알고리즘 아키텍처가 될까요? 절대 아닙니다. 컴퓨터 과학의 역사를 돌아보면, 어떤 알고리즘도 영원히 모든 것을 지배한 적이 없습니다. 만약 당신이 10년 전에 당시의 알고리즘을 완전히 칩 하드웨어에 고정했다면, 컴퓨터는 전자레인지가 되었고 이후의 모든 혁신은 논의할 수 없게 됩니다."

· AI와 인간 작업의 본질적 관계에 대해: "4K 디스플레이의 약 800만 픽셀 중 실제로 우리는 50만 픽셀만 광선 추적 계산을 했고, 나머지 750만 픽셀은 모두 AI가 예측하고 완벽하게 채웠습니다. 이것이 AI가 인간을 초인적으로 만드는 생생한 은유입니다: 인간은 귀중한 에너지와 주의를 가장 중요한 핵심 부분에 집중할 수 있으며, 나머지 번거롭고 긴 프로세스는 AI에게 맡김으로써 생산성의 백 배 도약을 이룰 수 있습니다."

· 젊은 세대를 위한 생존 가이드에 대해: "오늘날 내가 학생이라면 가장 먼저 AI를 배우는 것입니다. AI와 상호작용하는 방법을 배우는 것은 매우 훌륭한 질문자가 되는 것과 같습니다. 당신은 단순히 무작위로 질문해서는 안 되며, AI를 당신의 조수로 만들기 위해서는 프롬프트의 기술과 예술을 익혀야 합니다. 법학, 의학, 화학 또는 생물학을 배우든지 간에, 당신은 항상 스스로에게 물어야 합니다: AI를 활용하여 내 일을 더 잘할 수 있는 방법은 무엇인가?"

· 인생의 끝과 역사적 유산에 대해: "매우 간단합니다: 그들은 비범한 영향을 창출했습니다. 나는 다음 세대가 엔비디아가 그들과 함께 게임을 하며 성장한 회사라는 것뿐만 아니라, 디지털 생물학, 재료 과학, 로봇 및 자율주행 혁명의 폭풍 중심에 서 있는 이 회사가 핵심 신념을 지키고 있다는 것을 알기를 바랍니다."

본문

이종 계산의 탄생: 왜 10%의 코드가 독립적인 GPU를 필요로 하는가?

클레오 아브람: 오늘의 대화에서는 재무 뉴스에서 자주 보이는 분기 재무 보고서와 주가 숫자를 피하고, 더 본질적인 문제에 집중하고 싶습니다: 여러분은 도대체 무엇을 건설하고 있습니까? 컴퓨터는 지난 수십 년 동안 어떻게 오늘날에 이르게 되었습니까? 그리고 미래의 기술은 어떻게 평범한 사람들의 삶을 형성할 것인가요?

젠슨 황: 좋습니다, 이런 교류를 매우 기대합니다. 사실, 어느 순간에는 당신이 어떤 것을 믿기로 선택해야 합니다. 우리가 지금 하고 있는 일은 본질적으로 수십 년간 지속된 현대 계산 아키텍처를 완전히 재구성하는 것입니다.

클레오 아브람: 현재 전 세계가 주목하는 AI 시대를 이해하기 위해서는 1990년대 초로 돌아가야 합니다. 당시 게임 개발자들은 더 사실적이고 몰입감 있는 3D 화면을 만들고 싶어했지만, 당시의 전통 하드웨어는 방대한 픽셀의 실시간 계산을 감당할 수 없었습니다. 왜 당시의 컴퓨터는 그래픽을 처리할 수 없었을까요? GPU는 어떻게 탄생했나요?

젠슨 황: 이는 컴퓨터 프로그램의 기초적인 핵심 특성에서 비롯됩니다: 소프트웨어 코드의 한 부분에서, 일반적으로 10%의 핵심 명령이 전체 99%의 연산량을 차지합니다. 이 99%의 밀집 연산은 보통 매우 높은 반복성을 가지며, 수천 개의 미세한 작업으로 나누어 병렬 실행하기에 매우 적합합니다. 나머지 90%의 코드는 주로 시스템의 제어, 분기 및 스케줄링 논리로, 반드시 순서대로 단계적으로 직렬 처리해야 합니다.

당시의 전통적인 컴퓨터는 중앙 처리 장치(CPU)에 의해 완전히 지배되었으며, CPU는 고속으로 직렬 논리를 처리하는 데 매우 능숙하게 설계되었지만, 방대한 픽셀을 동시에 렌더링하는 큰 병렬 수요에 직면했을 때 무능력했습니다. 우리는 그때 민감하게 관찰했습니다: 진정으로 이상적인 컴퓨터는 직렬 처리 능력만으로는 안 되며, 병렬 처리 능력만으로도 안 됩니다. 두 가지를 동시에 갖추어야 합니다.

우리는 엔비디아를 설립하여 전통적인 컴퓨터가 해결할 수 없는 문제를 해결할 수 있는 전용 가속 처리기를 만들겠다는 다짐을 했습니다. 이것이 그래픽 처리기(GPU)가 탄생한 원점입니다.

클레오 아브람: 이것은 제가 10여 년 전 엔비디아가 공식 발표한 매우 고전적인 과학 보급 비디오를 떠올리게 합니다: 미스테리 해결사(Mythbusters) 팀이 로봇을 만들어 단일 노즐로 한 발씩 페인트볼을 쏘아 CPU가 작업을 처리하는 방식을 보여주었습니다; 이후 그들은 수천 개의 노즐이 1/1000초 안에 동시에 페인트볼을 발사하여 몬나리자 이미지를 완성하는 거대한 기계 배열을 선보였고, 이는 GPU의 병렬 가속 능력을 매우 생생하게 보여주었습니다.

젠슨 황: 그 시연은 두 가지의 본질적인 차이를 매우 직관적으로 보여주었습니다. 게임은 바로 이러한 대규모 병렬 계산 능력에 극단적인 수요를 가진 첫 번째 분야입니다.

게임의 돌파구: 대중 소비 시장이 하드코어 기초 연구에 기여하다

클레오 아브람: 왜 당시 엔비디아는 직접 연구 계산을 하기보다는 먼저 비디오 게임 분야에 진입하기로 선택했나요?

젠슨 황: 첫째로, 우리는 이 응용 프로그램을 진심으로 사랑하기 때문입니다. 3D 비디오 게임은 현실 세계나 환상 세계를 디지털로 모사하는 것이며, 누가 사실적이고 화려한 가상 세계에 들어가고 싶지 않겠습니까?

하지만 상업 전략의 관점에서 볼 때, 여기에는 더 깊은 결정적인 고려가 있습니다: 우리는 비디오 게임이 인류 최대의 소비자 엔터테인먼트 시장 중 하나가 될 것이라고 예견했습니다. 최첨단 반도체 칩을 개발하려면 상상할 수 없는 연구 개발 자금이 필요하며, 소수의 고성능 연구 계산 실험실에만 서비스를 제공한다면 정부 연구 보조금이나 비싼 맞춤 계약에 의존해야 하며, 이는 지속적인 대규모 기술 발전을 유지할 수 없습니다.

비디오 게임은 엄청나게 큰 소비 시장을 제공합니다. 수천만 명의 플레이어가 더 부드럽고 화려한 화질을 위해 기꺼이 지불할 의향이 있으며, 이는 우리가 세계에서 가장 많은 병렬 처리기를 제조할 수 있게 해주었습니다. 방대한 출하 규모는 우리에게 지속적이고 자생적인 연구 개발 자금을 제공하여, 이후 수십 년 동안 이러한 병렬 아키텍처를 극단적인 물리적 한계까지 발전시킬 수 있게 해주었습니다.

CUDA를 만들기 위한 단호한 결정: 의료 이미징에서 영감을 받아 범용 병렬 계산 플랫폼으로

클레오 아브람: 2000년대 초반에 일부 예리한 학자와 개발자들이 GPU가 게임 텍스처 렌더링뿐만 아니라 물리적 충돌 시뮬레이션을 수행할 수 있으며, 외부 과학자들이 복잡한 과학 계산을 위해 사용할 수 있다는 것을 발견하기 시작했습니다. 하지만 제 이해로는, 당시 이를 수행하는 것은 극도로 고통스러웠고, 과학자들은 행렬 연산을 삼각형 픽셀이나 텍스처 맵으로 가장하여 그래픽 카드를 속여 계산하게 해야 했습니다. 이후 여러분은 매우 대담한 결정을 내렸습니다: CUDA 플랫폼을 출시한 것입니다. 당시의 배경에 대해 이야기해 주실 수 있나요?

젠슨 황: 당신은 충분히 조사를 했습니다. 매우 정확합니다. 많은 위대한 혁신은 종종 같은 복잡한 혼합물에서 태어납니다: 일부는 원대한 포부와 영감에서, 다른 일부는 절박한 자구책에서 비롯됩니다.

당시 외부에서 우리 GPU를 사용하여 범용 가속을 시도한 최초의 사례 중 하나는 보스턴의 매사추세츠 종합 병원(Mass General)에서 나왔습니다. 그곳의 몇몇 연구자들은 우리의 게임 그래픽 카드를 사용하여 CT 단층 이미지 재구성을 수행했고, 이는 우리에게 큰 영감을 주었습니다.

동시에 엔비디아 내부에서도 병목 현상을 겪고 있었습니다: 우리는 게임 세계의 물이 실제 물체처럼 흐르고, 폭발로 인해 수만 개의 파편이 공기 역학 법칙을 따르며, 연기가 자연스럽게 확산되기를 원했습니다. 이는 그래픽 처리 외에도 입자 물리학과 유체 역학 시뮬레이션을 동시에 실행해야 한다는 것을 의미합니다. 만약 그래픽 카드 하드웨어 파이프라인이 전통적인 컴퓨터 그래픽 프로세스에 고정되어 있다면, 이는 불가능합니다.

그래서 우리는 결심했습니다. 전용 그래픽 파이프라인의 제약을 완전히 깨고, 이를 범용 병렬 계산 아키텍처로 변형해야 한다고. 그리고 우리는 통합 계산 아키텍처(CUDA)를 창조했습니다. CUDA는 전 세계의 엔지니어와 과학자들이 이미 잘 알고 있는 C 언어로 코드를 작성할 수 있게 하여 GPU 내의 수천 개의 계산 코어를 자유롭게 활용할 수 있게 합니다.

클레오 아브람: 오늘의 관점에서 돌아보면, CUDA를 만드는 것은 매우 선견지명이 있는 도박이었습니다. 당시 엔비디아는 모든 것을 CUDA에 걸었고, 모든 출하된 게임 그래픽 카드에 범용 계산 논리를 강제로 추가하여 칩 면적이 크게 증가하고 비용이 상승하며, 이익률이 압박을 받았으며, 10년 이상 동안 월스트리트의 혹독한 비판과 의혹에 시달렸습니다.

젠슨 황: 새로운 혁신적인 기술을 창조할 때, 비평가들은 항상 말합니다: "만약 당신이 그것을 만들면, 사람들이 사용하지 않을 수도 있습니다." 하지만 낙관론자의 관점에서 보면, 우리의 믿음은 "하지만 당신이 그것을 만들지 않으면, 사람들은 영원히 기회를 가지지 못할 것입니다."입니다.

우리는 이 기술이 내포하고 있는 엄청난 물리적 잠재력을 잘 알고 있으며, 소비자급 지포스 그래픽 카드의 방대한 시장을 통해 이 고급 병렬 계산 아키텍처를 전 세계의 모든 기계 애호가와 연구자의 책상에 배치할 수 있다고 확신했습니다. 이러한 이성에 기반한 확고한 희망이 우리를 그 긴 외로운 세월 동안 지탱해 주었습니다.

2012년 AlexNet의 깨달음 순간: 65년간의 현대 계산 체계 재구성

클레오 아브람: 이후 2012년으로 시간이 흘러, 기술 역사에서 매우 이정표가 되는 전투가 시작되었습니다: ImageNet 이미지 인식 대회. 알렉스 크리제프스키, 일리야 수츠케버, 그리고 그들의 멘토 제프리 힌튼은 AlexNet이라는 이름의 심층 신경망 모델을 제출하여 모든 전통적인 컴퓨터 비전 알고리즘을 압도하며 오류율을 대폭 낮췄습니다. 그들은 두 개의 소비자급 지포스 GTX 580 그래픽 카드를 사용하여 이 획기적인 모델을 훈련시켰습니다. 당시 엔비디아 내부에서 이 결과를 보았을 때 당신의 첫 반응은 어땠나요?

젠슨 황: 그것은 세계 역사 궤적을 완전히 바꾸는 순간이었습니다. 당시 엔비디아 내부의 한 컴퓨터 비전 연구 개발 팀은 전통적인 알고리즘 라이브러리를 사용하여 이미지 인식 문제를 해결하려고 했지만, 큰 장애물과 좌절을 겪고 있었습니다. AlexNet이 등장했을 때, 우리는 충격을 받았을 뿐만 아니라 강한 공감을 느꼈습니다: 이 새로운 알고리즘은 인위적으로 규칙을 작성하는 구식 방법을 완전히 버리고, 방대한 데이터를 통해 스스로 가중치를 학습하며, 능력 면에서 전례 없는 도약을 이루었습니다.

우리는 즉시 한 걸음 물러서서 가장 근본적인 질문을 했습니다: "만약 이 심층 학습 아키텍처가 컴퓨터 비전에서 이렇게 무서운 확장 잠재력을 보여준다면, 그 한계는 어디에 있을까요? 만약 그것이 무한히 확장될 수 있다면, 전체 컴퓨터 산업과 기초 소프트웨어 및 하드웨어 아키텍처에 어떤 의미가 있을까요?"

우리는 매우 중요한 판단을 내렸습니다: 소프트웨어 개발 패러다임이 본질적으로 변화하고 있다는 것입니다. 1964년 IBM System/360이 현대 범용 컴퓨터의 명령어 집합 체계를 확립한 이후, 65년 동안 인류는 컴퓨터에게 무엇을 해야 할지를 단계적으로 정확하게 명령어를 작성하여 알려주었습니다; 그러나 심층 학습의 부상은 컴퓨터가 방대한 데이터를 통해 스스로 학습하는 규칙으로 전환되기 시작했음을 나타냅니다.

소프트웨어의 본질이 바뀌었으니, 소프트웨어를 뒷받침하는 하드웨어 기반과 전체 시스템 스택도 모두 다시 시작해야 했습니다. 우리는 즉시 AI에 대한 전면적인 투자를 결정했으며, 단일 칩 아키텍처, 상호 연결 버스, 네트워크 통신, 알고리즘 라이브러리에서 분산 시스템에 이르기까지 전체 계산 스택을 전면적으로 재설계했습니다. 이후의 DGX 슈퍼컴퓨터 시스템은 바로 이 깨달음에서 비롯된 것입니다.

왜 지금인가: 모든 데이터 모드를 초월하는 범용 번역기

클레오 아브람: 왜 최근 몇 년 동안 대중이 갑자기 AI의 폭발을 느끼게 되었나요? 그 이면에 있는 본질적인 기술 비약은 무엇인가요?

젠슨 황: 지난 10년 동안 컴퓨터 과학 분야의 하드코어 도전 과제가 하나씩 해결되었습니다. 처음에는 컴퓨터 비전이 완전히 해결되었고, 그 다음에는 음성 인식이 초인적인 수준에 도달했으며, 이후 자연어 이해가 질적인 돌파구를 이루었습니다.

하지만 진정한 전면적 질변을 일으킨 결정적 한 방은 트랜스포머 아키텍처와 생성형 AI의 성숙입니다. 이전의 AI 모델은 대개 단일 작업 분류기였으며, 예를 들어 한 이미지에 고양이가 있는지를 판단하는 것이었습니다; 그러나 현재의 생성형 AI는 범용 "크로스 모달 번역 시스템"입니다.

이것은 텍스트를 이해하고 텍스트를 다른 텍스트로 번역할 수 있으며, 예를 들어 단락을 요약하거나 여러 언어로 번역할 수 있습니다; 또한 텍스트를 이미지로, 이미지를 3D 자산으로, 센서 데이터를 기계 팔의 회전 각도로 번역할 수 있습니다. 이는 디지털 세계와 물리적 세계의 다양한 표현 형태 사이를 자유롭게 오갈 수 있게 해주며, 이것이 오늘날 AI가 그렇게 무한한 가능성을 지닌 이유입니다.

물리 AI와 세계 모델: 코스모스는 상식을 부여하고, 옴니버스는 물리 법칙을 고정하다

클레오 아브람: 다음으로 제가 깊이 탐구하고 싶은 가장 중요한 전환점은: 디지털 세계의 문자와 이미지에서 물리 세계의 구체적 지능과 로봇으로 나아가는 것입니다. 이전에는 로봇을 훈련시키기 위해 실제 작업장에서 기계를 한 걸음씩 움직이게 하거나, 인간이 동작 캡처 복장을 입고 극히 제한된 데이터를 수집해야 했습니다. 기계는 쉽게 마모되거나 부서질 수 있으며, 데이터 수집은 매우 비싸고 느렸습니다. 이제 우리는 가상 세계에서 로봇을 훈련시키기 시작했습니다. 엔비디아는 코스모스와 옴니버스를 출시했으며, 여러분은 가상 세계에서 로봇 학습 문제를 어떻게 해결했나요?

젠슨 황: 물리 AI를 이해하는 가장 좋은 참조는 ChatGPT와 같은 언어 모델의 발전 경로입니다.

ChatGPT가 처음 등장했을 때, 놀라운 성능을 보였지만 치명적인 약점이 있었습니다: 환각. 만약 그것이 계속해서 장황하게 이야기하거나 훈련되지 않은 맹점을 언급하면, 사실에 기반하지 않은 엉뚱한 소리를 할 수 있습니다. 이후 업계에서는 맥락 검색 강화(RAG)를 도입하여, 모델에 권위 있는 PDF를 제공하거나 실시간으로 웹을 검색하게 하여, 이 PDF와 검색 결과가 모델의 기준 사실이 되어 모델의 추론이 신뢰할 수 있는 기반을 갖게 되었습니다.

이제 우리는 동일한 논리를 물리 세계에 적용합니다. 로봇이 현실 세계에서 자유롭게 행동하려면, 먼저 물리적 상식을 갖춘 기본 모델이 필요합니다. 물리적 상식이란 무엇인가요? 그것은 지구에 중력이 있고, 물체에 관성 및 마찰력이 있다는 것을 이해해야 하며; 기하학적 및 공간 인식 능력을 갖추어야 하고; 물체의 불변성을 이해해야 하며, 즉 내가 고개를 돌렸다가 다시 돌아오면 테이블 위의 컵이 여전히 거기에 있어야 합니다; 인과 논리를 이해해야 하며, 즉 내가 컵을 밀면 물이 쏟아진다는 것을 알아야 합니다.

AI에 이러한 상식을 주기 위해 우리는 코스모스를 구축했습니다. 코스모스는 물리 세계의 기본 언어 모델로, 물리 세계의 일반 법칙을 전문적으로 인코딩합니다.

하지만 코스모스만으로는 충분하지 않습니다. 우리는 그것에 "절대적인 물리적 진실 기준"을 제공해야 하며, 이는 ChatGPT에 권위 있는 PDF를 제공하는 것과 같습니다. 이 기준이 바로 옴니버스입니다. 옴니버스는 일반적인 비디오 게임 엔진이 아니라, 첫 번째 원리 원칙을 엄격하게 따르는 물리 시뮬레이션 시스템으로, 그 기초 수학 모델은 엄격한 뉴턴 역학, 유체 역학 및 전자기학 해결기입니다.

코스모스 세계 모델과 옴니버스 물리 시뮬레이션 엔진을 결합함으로써, 우리는 디지털 공간에서 로봇을 위해 무한하고 물리 법칙에 완벽하게 부합하는 가상 환경과 돌발 상황을 생성할 수 있습니다: 조명이 갑자기 변하거나, 도로가 미끄럽거나, 장애물이 가리거나, 기계적 돌발 고장이 발생하는 등의 상황입니다. 로봇은 수 시간 내에 현실 세계에서 수십 년 동안 겪어야 할 극단적인 훈련을 완료한 후, 그 모델을 실제 로봇에 배치할 수 있습니다.

미래 10년 비전: 모든 것이 로봇 형태를 갖추고, 모든 사람이 전용 R2-D2를 소유하게 된다

Cleo Abram: 이 논리를 따라가면, 10년 후의 물리적 세계는 어떻게 변할까요? 일반 사람들은 이러한 물리적 AI와 어떻게 상호작용할까요?

Jensen Huang: 미래의 모든 이동 물체는 로봇 능력을 갖추게 될 것이며, 이 날은 대부분 사람들이 상상하는 것보다 더 빨리 올 것입니다.

미래에는 사람들이 여전히 태양 아래에서 잔디 깎는 기계를 밀고 다녀야 할 것이며, 오늘날에는 다소 터무니없어 보입니다. 미래의 모든 자동차는 완전 자율 능력을 갖춘 로봇이 될 것이며, 미래의 휴머노이드 로봇은 공장과 가정에 들어올 것입니다. 이러한 모든 로봇은 Omniverse와 Cosmos가 구축한 디지털 쌍둥이 세계에서 학습을 마친 후 물리적 현실로 나아갈 것입니다.

더욱 흥미로운 것은, 모든 사람이 전용의 평생 디지털 동반자를 갖게 될 것이라는 점입니다. 마치 스타워즈의 R2-D2처럼 말입니다. 그것은 꼭 둥글둥글한 금속 통일 필요는 없으며, 당신의 스마트 안경, 스마트폰, 사무용 컴퓨터, 또는 자동차에 존재할 수 있으며, 당신이 집에 돌아올 때 어떤 형태의 물리적 로봇으로 당신을 맞이할 것입니다.

이 전용 R2-D2는 당신의 인생을 함께하며, 당신의 경험과 함께 성장하고, 당신의 기쁨과 슬픔, 생활 습관 및 작업 방식을 깊이 이해하여 당신이 세상을 인식하고 변형하는 가장 강력한 연장이 될 것입니다.

아키텍처 철학의 논쟁: 왜 Transformer를 직접 칩에 고정할 수 없는가?

Cleo Abram: 이번 인터뷰를 준비하면서 많은 엔지니어 친구들과 깊이 논의했으며, 그들은 반드시 이 질문을 하라고 하였습니다: Transformer 아키텍처가 현재 대부분의 대형 모델의 기초가 됨에 따라, 많은 칩 회사들이 Transformer에 완전히 맞춤화된 전용 칩(ASIC)을 제조하려고 시도하고 있습니다. 전문화는 특정 작업에서 극한의 효율성을 가져올 수 있지만, 범용 유연성을 잃게 됩니다. 엔비디아는 전용 최적화와 범용 아키텍처 사이에서 어떻게 균형을 잡고 있나요? 당신은 어떻게 이 수십억 달러의 생사를 좌우하는 중대한 기술에 베팅하고 있나요?

Jensen Huang: 이것은 우리가 가장 깊은 핵심 신념에 닿는 질문입니다: 당신은 Transformer가 인류 연구자들이 발견할 수 있는 마지막 AI 알고리즘 아키텍처라고 믿습니까?

만약 당신의 대답이 긍정적이라면, 당신은 물론 Transformer의 모든 수학적 연산을 물리적 회로로 직접 실리콘 칩에 고정할 수 있습니다. 하지만 우리의 핵심 신념은 Transformer가 결코 끝이 아니라는 것입니다. 그것은 더 고급 AI로의 진화 계단에서 단지 하나의 디딤돌일 뿐입니다. 몇 년 후의 차세대 최전선 아키텍처는 아마도 Transformer의 그림자를 전혀 알아볼 수 없게 만들 것입니다.

인류의 컴퓨터 알고리즘과 혁신의 역사를 돌아보면, 어떤 뛰어난 아이디어가 영원히 독점할 수 있었던 적이 있습니까? 답은 결코 없었습니다. 컴퓨터의 본질적인 매력은 오늘날 그것이 10년 전 누구도 꿈꾸지 못했던 놀라운 프로그램을 실행할 수 있다는 것입니다. 만약 당신이 10년 전에 당시의 칩을 단일 기능의 하드웨어로 완전히 고정했다면, 컴퓨터는 전자레인지로 퇴화했을 것이며, 전체 애플리케이션 생태계의 번영도 멈추었을 것입니다.

Transformer의 핵심인 주의 메커니즘(Attention Mechanism)을 예로 들면, 그 본래의 목적은 각 단어와 문맥 내의 모든 다른 단어 간의 연관성을 계산하는 것입니다. 텍스트가 10개의 단어일 때는 계산이 아무런 부담이 없습니다. 하지만 문맥 창이 수만 단어, 수백만 개의 토큰으로 확대되면, 전부 대 전부의 계산 비용은 제곱급으로 폭발하여 물리적 하드웨어에서 구현할 수 없습니다. 이 문제를 해결하기 위해, 지난 몇 년 동안 FlashAttention, 계층적 주의(Hierarchical Attention), 파형 주의 등 새로운 수학 알고리즘이 쏟아져 나왔습니다.

컴퓨터 과학은 끝나지 않았고, AI 연구자들은 탐구를 포기하지 않았으며, 엔비디아도 포기하지 않을 것입니다. 우리가 가장 중요한 사명은 항상 높은 프로그래밍 유연성을 갖춘 가속 계산 시스템을 구축하여, 전 세계에서 가장 똑똑한 알고리즘 과학자들이 이 계산력의 바다에서 자유롭게 항해하고, 차세대 인류의 미지의 위대한 알고리즘을 탐구할 수 있도록 하는 것입니다.

칩 제조 한계와 물리적 도전: 웨이퍼 패키징에서 극단적인 에너지 효율까지

Cleo Abram: 현재의 최첨단 칩은 물리학의 근본적인 한계에 다가가고 있습니다. 당신들은 칩을 설계하고, TSMC와 같은 파트너가 이를 몇 나노미터의 물리적 규모로 광각 제조합니다. 모어의 법칙이 둔화되고 전력 소비의 병목 현상에 대처할 때, 엔비디아는 설계에 대해 어떻게 생각하고 있나요?

Jensen Huang: 전통적인 모어의 법칙과 데나드 스케일링 법칙(Dennard Scaling)은 물리적으로 거의 끝에 다다랐습니다. 과거에 단순히 트랜지스터 크기를 줄여서 무료로 계산 능력을 배가하고 전력 소비를 줄이는 시대는 이미 지나갔습니다.

이것이 우리가 "칩 사고"에서 "데이터 센터 사고"로 전면 전환해야 하는 이유입니다. 단일 웨이퍼의 광학 한계 크기(Reticle Limit)는 고정되어 있으며, 단일 칩의 물리적 한계를 극복하기 위해 우리는 이중 웨이퍼 통합 패키징(CoWoS), 초고대역폭 칩 간 상호 연결 링크(NVLink), 그리고 매우 높은 밀도의 칩 내 고대역폭 메모리(HBM)를 채택했습니다.

더 중요한 것은, 병렬 가속 계산은 완전히 다른 물리 법칙을 따릅니다. 복잡한 작업을 수천 개의 효율적인 코어에 병렬 처리하도록 맡기는 것은 몇 개의 고주파 범용 CPU 코어가 강제로 처리하는 것보다 에너지 효율성을 수십 배, 수백 배 향상시킬 수 있습니다. 알고리즘, 칩, 네트워크 및 시스템 수준에서의 협동 최적화를 통해, 우리는 후 모어의 법칙 시대에 지속적으로 계산 능력을 기하급수적으로 증가시킬 수 있는 새로운 경로를 개척했습니다.

다음의 대규모 베팅: 물리적 AI, 디지털 생물학 및 미기후 시뮬레이션

Cleo Abram: 과거를 돌아보면, 엔비디아는 GPU, CUDA, 딥러닝, 자율주행에 대한 모든 중대한 베팅이 거의 시간이 지나면서 올바른 것으로 입증되었습니다. 앞서 언급한 로봇 외에, 여러분의 다음 중대한 베팅은 무엇인가요?

Jensen Huang: 물리적 AI와 휴머노이드 로봇의 소프트웨어 및 하드웨어 도구 체인 외에, 제가 극도로 흥미롭게 생각하는 분야는 디지털 생물학(Digital Biology)입니다.

과거의 컴퓨터는 0과 1로 구성된 인공 코드를 이해했지만, 현재의 AI는 인간의 자연어를 이해합니다. 생물학의 본질은 분자, 아미노산, 단백질 및 생체 세포 간의 복잡한 상호작용 언어입니다. 우리가 물리 모델을 사용하여 현실 세계를 이해하는 것처럼, 만약 우리가 AI를 사용하여 생물 대분자 간의 상호작용 언어를 깊이 분석하고 예측할 수 있다면, 우리는 인간 신체의 디지털 쌍둥이를 구축할 수 있습니다. 이는 신약 발견, 유전자 요법 및 질병 기전 연구가 과거의 습식 실험에서 컴퓨터에서 빠르게 시뮬레이션하고 반복할 수 있는 고정밀 과학으로 전환됨을 의미합니다.

또한 제가 매우 자랑스럽게 생각하는 것은 기후 과학입니다. 디지털 쌍둥이 기술을 통해, 우리는 초고해상도의 지역 기후 및 극한 날씨 예측 시스템을 구축하고 있으며, 당신의 머리 위 1킬로미터 범위 내의 미기후 변화를 정확하게 시뮬레이션할 수 있습니다.

과학 도구는 본질적으로 인류가 발명한 "시간 기계"입니다. 과학자들이 미래를 예측하기 위해 최선을 다하는 이유는 미래의 진화 궤적을 미리 볼 수 있도록 하여, 현재에서 최적의 설계와 개입을 할 수 있게 하여 가장 아름다운 미래 버전을 창조하기 위함입니다.

신경 렌더링 및 개인 슈퍼 컴퓨터: RTX 50과 DGX가 가져온 생산성 도약

Cleo Abram: 방금 지나간 소비자 전자 전시회에서, 여러분은 최신 GeForce RTX 50 시리즈 그래픽 카드와 책상 위에 놓인 차세대 DGX 시스템을 선보였습니다. 일반 창작자와 개발자에게 이러한 새로운 하드웨어는 무엇을 의미하나요?

Jensen Huang: 이 뒤에는 매우 매력적인 기술 순환이 있습니다: 처음에는 GeForce 게임 그래픽 카드가 현대 AI를 낳아 Alex Krizhevsky와 Geoffrey Hinton이 AlexNet을 훈련하는 데 도움을 주었습니다. 그리고 오늘날, 강력하고 성숙한 AI가 다시 GeForce 그래픽 카드에 피드백을 주어 그래픽 렌더링의 근본 논리를 완전히 뒤집었습니다.

최신 RTX 50 시리즈 그래픽 카드가 보여주는 4K 해상도 화면에서(총 약 800만 개의 픽셀), 우리의 물리적 광선 추적 파이프라인은 실제로 그 중 50만 개의 픽셀만 집중적으로 계산했으며, 나머지 750만 개의 픽셀은 깊은 신경망이 이 50만 개의 고품질 기준을 바탕으로 실시간으로 추측하고 완벽하게 채워 넣은 것입니다.

이는 AI가 인류의 생산성을 강화하는 궁극적인 은유입니다: 인간의 에너지, 집중력 및 체력은 극도로 귀중하고 제한적입니다. 만약 우리가 모든 단계에서 세세하게 강제로 처리해야 한다면, 생산물은 필연적으로 극히 제한적일 것입니다. 하지만 AI의 일반화 및 추론 능력을 활용하면, 인간은 가장 핵심적이고 가치 있는 "50만 개의 픽셀"에 모든 에너지를 쏟기만 하면 되고, AI는 나머지를 보완해 줄 수 있습니다. 그렇게 함으로써 인류는 초인적인 창의력을 발휘할 수 있습니다.

동시에, 우리는 2016년에 OpenAI에 세계 최초의 DGX 슈퍼 컴퓨터를 직접 전달했으며, 당시 Elon Musk가 이를 직접 수령했습니다. 그 당시 슈퍼 컴퓨터는 거대하고 가격이 25만 달러에 달했으며, 오직 소수의 최상급 연구실만이 이를 소유할 수 있었습니다. 하지만 지금 우리는 이를 약 3000달러의 개인 AI 슈퍼 워크스테이션으로 축소하여 학생이나 엔지니어의 책상 옆에 직접 놓을 수 있게 되었습니다. 이는 모든 일반 학생과 독립 개발자가 자신의 전용 슈퍼 컴퓨팅 센터를 갖게 되어, 기숙사에서 자신의 AI 모델과 R2-D2 로봇을 훈련할 수 있게 됨을 의미합니다.

젊은이들에게 주는 조언과 인생의 유산: 프롬프트의 예술과 비범한 시대의 영향력

Cleo Abram: 이 인터뷰를 보고 있는 학생들, 젊은 세대 및 이 시대에 무언가를 이루고자 하는 모든 사람들에게, 제가 아직 묻지 않은 중요한 조언이 있다면 무엇인가요?

Jensen Huang: 제가 생각하는 가장 중요한 조언 중 하나는: 만약 제가 지금 학생이라면, 제가 해야 할 첫 번째 일은 AI를 전력으로 배우는 것입니다.

ChatGPT와 상호작용하는 방법은? Gemini Pro와 상호작용하는 방법은? Grok와 상호작용하는 방법은? AI와 상호작용하는 방법을 배우는 것은 본질적으로 매우 잘 질문하는 사람이 되는 것입니다. 예를 들어, 당신은 질문을 매우 잘하는 사람이며, AI에게 프롬프트를 작성하는 것과 매우 유사합니다. 당신은 무작위로 질문을 던져서는 안 되며, AI가 당신의 유능한 조수가 되도록 하려면 프롬프트의 기술과 예술을 익혀야 합니다.

그래서 만약 제가 오늘 학생이라면, 수학, 과학, 화학, 생물학을 배우고, 미래에 어떤 과학 분야에 진입하든지 어떤 직업을 가지든지, 저는 스스로에게 물어볼 것입니다: AI를 활용하여 어떻게 일을 더 잘할 수 있을까?

제가 변호사가 되고 싶다면, AI를 활용하여 더 뛰어난 변호사가 되는 방법은? 제가 의사가 되고 싶다면, AI를 활용하여 더 뛰어난 의사가 되는 방법은? 제가 화학자가 되고 싶다면, AI를 활용하여 더 뛰어난 화학자가 되는 방법은? 제가 생물학자가 되고 싶다면, AI를 활용하여 더 뛰어난 생물학자가 되는 방법은? 이 질문은 모든 사람의 사고에 관통해야 합니다.

마치 제가 성장했던 시대처럼, 우리는 컴퓨터를 이용해 일을 더 잘하는 방법을 고민해야 했던 첫 세대입니다. 그 이전 세대는 컴퓨터가 전혀 없었습니다. 제가 이 업계에 들어왔을 때는 Windows 95 이전이었고, 그때는 사무실에 컴퓨터가 하나도 없었습니다. 얼마 지나지 않아 컴퓨터가 보편화되었고, 우리는 컴퓨터를 어떻게 잘 활용할지를 스스로에게 물어야 했습니다. 다음 세대는 더 이상 이 질문을 할 필요가 없지만, 분명히 그들은 다음 과제에 직면해야 합니다: AI를 활용해 일을 더 잘하는 방법은 무엇인가? 이것이 모든 것의 시작과 끝입니다.

AI는 이해의 문턱, 지식의 문턱, 그리고 지능을 얻는 문턱을 완전히 낮추었습니다. 과거에는 한 번도 사용해본 적 없는 사람에게 컴퓨터를 놓아주면, 그들은 하루 안에 사용하는 법을 배울 수 없었습니다. 반드시 누군가가 손수 가르쳐야 했습니다. 그러나 ChatGPT를 마주하면, 사용법을 모른다면 "ChatGPT를 어떻게 사용하는지 모르겠습니다, 가르쳐 주세요"라고 입력하기만 하면 즉시 답변과 예시를 제공합니다. 지능의 가장 멋진 점은, 그것이 당신을 도와주며 과정 속에서 당신을 더욱 강하게 만들어 준다는 것입니다.

클레오 아브람: 좋습니다, 시간이 더 있다면 마지막 질문이 있습니다. 원래 계획했던 질문은 아니지만, 여기 오는 길에 사실 비행기가 무서워서 조금 두려웠습니다. 비행 중에 약간의 turbulence가 있었고, 매우 심했습니다. 심하게 흔들리는 기내에 앉아 있으면서, 사람들은 제 장례식에서 무엇을 말할까 생각하게 되었습니다.

젠슨 황: "그녀는 항상 좋은 질문을 던질 수 있었다!" 당신의 묘비명에 분명히 그렇게 적힐 것입니다.

클레오 아브람: 그렇게 되기를 바랍니다! 네. "남편과 친구, 가족을 사랑했다" 외에도, 사람들이 제가 추구했던 목표에 대해 이야기해주기를 바랍니다. 저는 당신이 매우 궁금합니다. 이 업계에서 오랜 시간 동안 깊이 파고들어 오셨고, 그려낸 비전이 매우 거대합니다. 사람들이 당신이 이루고자 했던 사업을 어떻게 평가하길 원하십니까?

젠슨 황: 매우 간단합니다: "그들은 비범한 영향을 만들었다(They made an extraordinary impact)."

우리는 매우 운이 좋습니다. 왜냐하면 우리는 오래 전에 몇 가지 핵심 신념을 확립했고, 그 신념을 항상 지켜왔으며, 그 기반 위에서 지속적으로 구축해왔기 때문에 오늘날 우리는 세계에서, 심지어 역사상 가장 중요하고 영향력 있는 기술 회사 중 하나가 되었습니다.

따라서 우리는 이 책임을 매우 진지하게 받아들입니다. 우리가 창출하는 능력이 대기업뿐만 아니라 모든 과학 분야의 독립 연구자와 개발자에게도 열려 있도록 최선을 다하고 있습니다. 수익 여부, 규모, 유명 여부에 관계없이 말입니다. 우리가 하는 일의 중대한 의미와 그것이 수많은 사람들에게 미칠 수 있는 깊은 영향을 깊이 이해하기 때문에, 우리는 이 능력을 가능한 한 모든 구석에 퍼뜨리고자 합니다.

저는 확신합니다. 몇 년 후 우리가 돌아보았을 때, 다음 세대가 이렇게 볼 수 있기를 바랍니다: 첫째, 그들은 우리가 만든 게임 기술 덕분에 우리를 알게 될 것입니다; 그러나 저는 돌아보았을 때 디지털 생물학과 생명 과학 분야가 완전히 재편되고, 재료 과학에 대한 우리의 인식이 완전히 뒤바뀌며, 로봇이 여러 분야에서 인간이 위험하고 번거로운 작업을 수행하는 데 도움을 주고 있을 것이라고 확신합니다. 운전하고 싶을 때는 스스로 운전하고, 운전하고 싶지 않을 때는 잠시 쉴 수 있으며, 자동차를 가정용 영화관으로 만들어 출퇴근하는 동안 마음을 가라앉히며 독서를 할 수 있습니다. 그때는 심지어 멀리 살고 싶어질 것입니다. 그렇게 하면 차 안에서 더 많은 시간을 즐길 수 있으니까요.

당신이 돌아보았을 때, 모든 이러한 변화의 중심에 있는 회사가 있었고, 그 회사가 바로 당신이 게임을 하며 성장했던 그 회사라는 것을 발견하게 될 것입니다. 저는 이것이 다음 세대가 인식하는 엔비디아가 되기를 바랍니다.

클레오 아브람: 귀중한 시간 내주셔서 정말 감사합니다. 매우 즐거운 대화였습니다.

젠슨 황: 감사합니다, 저도 매우 기쁩니다.