未來與現(xiàn)在，老黃 30 年的信念
編者按：本文來自微信公眾號 有新Newin（ID：NewinData），創(chuàng)業(yè)邦經(jīng)授權(quán)發(fā)布。
(資料圖片僅供參考)
英偉達(dá)在上周結(jié)束了發(fā)布會，上月更早的時候，硅谷的兩位知名投資人 Sarah Guo 和 Elad Gil 就與 Jensen Huang（黃仁勛）在英偉達(dá)圣克拉拉的總部辦公室展開了一次對話。
在對話中，Jensen Huang 討論了更廣泛的平臺轉(zhuǎn)變對開發(fā)者的意義，談到了NVIDIA對氣候和生物制藥等領(lǐng)域的長期投資，這些領(lǐng)域?qū)⑹芤嬗谌斯ぶ悄艿膭?chuàng)新應(yīng)用，上周發(fā)布的下一代芯片Hopper，以及英偉達(dá)為何以及如何選擇解決當(dāng)前無法解決的問題，并在對話末尾留了一個有趣的彩蛋～
這次對話分為 9 個話題，如下：
01 Nvidia 的起源Sarah Guo：
我們從一開始說起，你在創(chuàng)辦公司之前曾在 LSI（Large Scale Integration）和 AMD（Advanced Micro Devices）工作過，是什么樣的經(jīng)歷呢？
Jensen Huang：
他們給了我一份工作。我當(dāng)時在俄勒岡州立大學(xué)，參加了學(xué)校組織的公司招聘日，面試了很多公司。有兩家公司讓我印象深刻，我喜歡設(shè)計芯片和計算機(jī)，當(dāng)時我們計算機(jī)科學(xué)實驗室貼著一張 AMD 的 32 位 CPU 29000的海報，我一直覺得能夠設(shè)計那樣的芯片很酷，還有一家由硅谷的初創(chuàng)公司，他們使用軟件設(shè)計芯片，而不是手工設(shè)計，采用可編程邏輯，通過描述語言合成芯片。
我選擇去了 AMD ，在那里設(shè)計微處理器，而我的辦公室同事去了 LSI，她去了之后， LSI 團(tuán)隊告訴我他們也希望我來 LSI Logic 工作，在前同事的邀請下，我決定去 LSI ，因為那是電子設(shè)計自動化行業(yè)的起步階段，是用計算機(jī)設(shè)計芯片的開始，那可能是我經(jīng)歷過的最好的事情之一，也是每家公司都能夠自研芯片的開始。
那時候我有機(jī)會遇到一些優(yōu)秀的計算機(jī)架構(gòu)師，比如 Andy Bechtolsheim 是 Sun 的創(chuàng)始人，我也有幸與一些在Silicon Graphics 工作的杰出架構(gòu)師合作過，比如 John Rubenstein，他曾在 Dana Computer 工作，后來成為蘋果的副總裁。
所以在很小的時候，我就有機(jī)會與一些了不起的計算機(jī)架構(gòu)師一起工作，從中學(xué)到了很多關(guān)于使用芯片構(gòu)建計算機(jī)的知識，那是我早期的經(jīng)歷。
Sarah Guo：
你們什么時候意識到必須創(chuàng)辦一家公司呢？
Jensen Huang：
那不是我的主意，是 Chris 和 Curtis 的想法，他們想離開 Sun ，而我在 LSI Logic 工作得很好，我喜歡我的工作，我和 Lori 有兩個孩子，就像你一樣，他們不停地告訴我說他們想創(chuàng)辦一家公司，真的需要我加入，我當(dāng)時告訴他們我真的需要一份工作，無論如何，在創(chuàng)辦之前他們需要想清楚怎么做。
當(dāng)時，計算機(jī)設(shè)計的價值在通用計算和使用加速器之間存在差異，大約 99% 的人相信通用計算，只有約 1% 的人相信加速器，在過去的25年里，99% 的人是正確的，所以我們決定創(chuàng)辦一家加速計算的公司。
當(dāng)時，加速計算能做的事情主要是解決那些通用計算難以解決甚至無法解決的問題，我們的公司致力于解決那些普通計算機(jī)無法解決的問題。如果追溯這個使命的最終目標(biāo)，我們走向了無人駕駛汽車、機(jī)器人、氣候科學(xué)問題、數(shù)字生物學(xué)等領(lǐng)域。當(dāng)然，最著名的領(lǐng)域之一就是 AI 。
02 AI 優(yōu)勢與發(fā)展之道Sarah Guo：
所以在當(dāng)前 AI 熱潮之前，你們已經(jīng)在廣泛的應(yīng)用領(lǐng)域工作了。Nvidia 在 AI 方面最初的技術(shù)優(yōu)勢是什么？你們是什么時候開始意識到這將成為重要的應(yīng)用場景呢？
Jensen Huang：
我們擴(kuò)展了我們加速器的靈活性，使其更具通用性。我們發(fā)明了一種名為 CUDA 的新的計算模型。
Elad Gil：
這是非常令人興奮的新技術(shù)。
Jensen Huang：
我們需要一些加速計算，并希望我們的圖形處理器變得越來越通用。一開始的原因是我們需要進(jìn)行通用圖像處理和后期效果相關(guān)的工作，例如你渲染圖像然后進(jìn)行后期效果處理，當(dāng)然還有其他應(yīng)用，我們希望給場景帶來生機(jī)，所以我們必須進(jìn)行物理處理，進(jìn)行物理計算，有粒子物理、流體力學(xué)等等，因此我們擴(kuò)大了加速計算平臺的應(yīng)用范圍，使其變得越來越通用。
通用性的問題在于，你越通用，你在特定領(lǐng)域的加速效果就越低，所以必須非常小心地找到那條線，這是我們公司的一個天賦，找到在一方面每一代產(chǎn)品都能給應(yīng)用程序帶來巨大的加速效果，遠(yuǎn)遠(yuǎn)超過 CPU 的能力，但是如果變得過于通用，就像 CPU 一樣，如何用 CPU 來加速 CPU 呢？所以必須找到一種方法來平衡。
另一方面，如果不擴(kuò)大你所服務(wù)的應(yīng)用領(lǐng)域，能夠產(chǎn)生的研發(fā)資金就不足以趕上 CPU ，因為 CPU 是全球研發(fā)預(yù)算最大的芯片，想一下這個問題，實際上幾乎是不可能的，因為有一個規(guī)模較小的應(yīng)用市場，我們稱之為 10 億美元市場，在這個 10 億美元市場中，你每年投資 1.5 億美元，如何跟上幾千億美元規(guī)模的行業(yè)？這甚至是不合理的。
所以必須非常小心地找到那個非常細(xì)小的市場，使得 1.5 億美元能夠異常地和瘋狂地加速這個特定的應(yīng)用，然后隨著時間的推移，可以擴(kuò)大應(yīng)用范圍，使市場規(guī)模從 10 億美元增長到 50～100億美元，而不會掉進(jìn)那個懸崖，這是我們努力尋找的平衡點，所以我們不斷擴(kuò)大通用性，這讓我們進(jìn)入了分子動力學(xué)模擬領(lǐng)域，就像這張圖片看起來的樣子，地震處理是另一個行業(yè)，通過這樣一點一滴的努力，我們擴(kuò)大了應(yīng)用范圍。
我們做得不錯的一點是確保無論使用我們的平臺進(jìn)行通用計算還是加速計算，始終保持架構(gòu)的兼容性，原因是因為我們希望有一個能吸引開發(fā)者的平臺；如果全球每一款 Nvidia 芯片都不兼容，開發(fā)者怎么能選擇一款呢？即使他們了解到 CUDA 對他們來說很重要，他們該選擇哪個芯片來開發(fā)應(yīng)用呢？沒有人能夠弄清楚。
所以，如果我們相信這個架構(gòu)，如果我們希望它成為一個新的計算平臺，那就讓我們確保我們的每一款芯片的性能完全相同，就像 x86、ARM 或任何計算平臺一樣，所以在最開始的 5～10 年里，我們的 CUDA 客戶很少，但我們使每一款芯片都兼容 CUDA ，你可以回顧歷史，看看我們的毛利率，開始時很低，然后變得更低，因為我們處在一個競爭激烈的行業(yè)中，我們?nèi)栽谂γ魅绾巫龊梦覀兊墓ぷ鞑⒔ㄔ斐杀拘б娓叩漠a(chǎn)品，這本身就很具挑戰(zhàn)性，然后我們又把它疊加在 CUDA 架構(gòu)上，這個架構(gòu)沒有應(yīng)用，就沒有人為它買單。
Elad Gil：
這真是令人驚訝，因為現(xiàn)在當(dāng)我與 AI 界的人交談時，他們非常喜歡使用 Nvidia 的GPU，原因之一是因為 CUDA 和可擴(kuò)展互聯(lián)的能力，所以你可以高度并行化這些處理，這是其他方法或現(xiàn)有市場上的架構(gòu)無法做到的。
Jensen Huang：
這個計算平臺帶來了一些奇跡般的效果。我們將它通過 Geforce這張游戲卡帶給全世界，這是 Geoffrey Hinton 實驗室的第一款 GPU，想象一下，Jeff走進(jìn)來說：“這是幾張GPU，叫做 Geforce，你們應(yīng)該試著用它來進(jìn)行深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練”，但當(dāng)時它僅僅是一張游戲卡。
03 從游戲跨界 Crypto 與AIElad Gil：
你當(dāng)初有哪些應(yīng)用想法？因為從你的觀點來看，你從90年代開始創(chuàng)辦公司時，從非常受歡迎但游戲領(lǐng)域開始，然后我開始越來越多地聽到有關(guān) Nvidia GPU 的消息，無論是在加密貨幣和挖礦的背景下，還是在 AI 的背景下，似乎這是兩個市場，許多人都自然而然地選擇了你們的產(chǎn)品，是因為你們針對這些群體進(jìn)行市場營銷嗎？還是人們開始意識到他們需要的產(chǎn)品呢？
Jensen Huang：
這就是計算平臺的美妙之處，對吧？一開始你必須針對應(yīng)用進(jìn)行定位，我們做的第一個應(yīng)用之一是地震處理，它們都是那種粒子物理學(xué)的應(yīng)用；另一個是圖像處理以及逆物理學(xué)，在一個特定的領(lǐng)域，我們只是去找人進(jìn)行研究，我們?nèi)タ茖W(xué)計算中心，問他們有哪些超出他們能力范圍的問題？應(yīng)用領(lǐng)域的清單包括量子化學(xué)、量子物理等等。
Elad Gil：
那么你什么時候意識到，哇，這個 AI 的東西對我們來說真的很重要。
Jensen Huang：
我想大約是在 2012 年吧。同時，Andrew Ang 聯(lián)系了我們的首席科學(xué)家 Bill Daly，希望找到一種方法將他們正在研究的神經(jīng)網(wǎng)絡(luò)模型放入 GPU 中，這樣他們就可以用幾個 GPU 來進(jìn)行訓(xùn)練，而不是使用成千上萬臺 CPU 服務(wù)器。幾乎同時， Geoffrey Hinton 也聯(lián)系了我們，我們開始聽說這方面的事情，而且 Yann LeCun 在他的實驗室也發(fā)生了同樣的事情，所以在幾個不同的實驗室里，我們同時感受到了這種神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，這引起了我們的注意。
Elad Gil：
我想 2012 年也是 AlexNet 發(fā)布的一年，我覺得那真的是深度學(xué)習(xí)的一個轉(zhuǎn)折點，至少在我記憶中，我認(rèn)為那是一個令人激動的 AI 浪潮的開始，然后我覺得在接下來的 10 年里，創(chuàng)業(yè)公司并沒有真正發(fā)生什么，但很多老牌公司開始采用這種技術(shù)。
Jensen Huang：
我們在之前就開始感受到了，也聽說過了，有一張圖片吸引了我們所有人的注意力。
Sarah Guo：
你曾經(jīng)提到過早期的 AI 實驗室使用 Nvidia 的游戲卡，因為你們解決了其他人無法解決的問題，并提高了效率和規(guī)模，在 Nvidia 開始投資某個應(yīng)用程序時，他們是認(rèn)為這是一個不斷增長的應(yīng)用程序，還是更像是一個平臺，市場會接受它呢？
Jensen Huang：
不是的。每次一個應(yīng)用程序得到應(yīng)用時，我們都會問自己，如何讓它變得更好？這次是在深度學(xué)習(xí)方面，我們作出的重要觀察是，這不僅僅是一個用于計算機(jī)視覺的新算法，雖然它在一開始主要應(yīng)用在計算機(jī)視覺上，這對我們來說非常有幫助。如果僅僅是計算機(jī)視覺，我們可以將它用于各種有趣的應(yīng)用，比如自動駕駛汽車和機(jī)器人技術(shù)。
我們確實使用了它，但發(fā)現(xiàn)這可能是一種全新的軟件編寫方式，并且我們問自己，這對芯片設(shè)計、系統(tǒng)設(shè)計、互連、算法和系統(tǒng)軟件有什么影響，以便真正思考的不僅僅是這個領(lǐng)域為什么如此令人興奮，它為什么如此有效，這在本質(zhì)上是個奇跡，ImageNet 在沒有任何人為設(shè)計的特定算法的情況下，與 30 年的計算機(jī)視覺算法相比，一夜之間就達(dá)到了相當(dāng)高的準(zhǔn)確性，這是一次飛躍。
首先，我們要問的問題是它為什么如此有效？它是否可擴(kuò)展？如果它可擴(kuò)展，那對計算機(jī)科學(xué)的其他領(lǐng)域有什么影響？這個能解決高維度問題的通用函數(shù)，只需要足夠的數(shù)據(jù)進(jìn)行訓(xùn)練，當(dāng)時我們相信可以得到足夠的數(shù)據(jù)，以及將這個模型系統(tǒng)地逐層訓(xùn)練到一個良好的狀態(tài)。
04 更廣泛的計算機(jī)科學(xué)轉(zhuǎn)變Elad Gil：
你能更詳細(xì)地談?wù)勀闶侨绾慰创@種更廣泛的計算機(jī)科學(xué)轉(zhuǎn)變的嗎？比如頁面是如何生成和服務(wù)的，還有其他方面的變化，與 AI 的轉(zhuǎn)變相關(guān)的。
Jensen Huang：
現(xiàn)在快進(jìn) 10 年，前 5 年我們一直在思考整個計算機(jī)科學(xué)的影響。與此同時，我們開發(fā)了各種新模型，從卷積神經(jīng)網(wǎng)絡(luò)到循環(huán)神經(jīng)網(wǎng)絡(luò)，再到長短期記憶網(wǎng)絡(luò)，還有其他各種新模型，并且將它們擴(kuò)展得越來越大，在感知模型方面取得了很大進(jìn)展。當(dāng)然， Transformer 是一個重要的里程碑，BERT 也是一個重要的里程碑，你們都對這個故事非常了解。
Sarah Guo：
在 Transformer s和 BERT 等方面，你們是否看到了量的增長的變化？因為感覺這種具備注意力機(jī)制的架構(gòu)使得模型的規(guī)模化成為可能，這也是產(chǎn)業(yè)發(fā)展的推動力。
Jensen Huang：
嗯，你能夠從空間數(shù)據(jù)和順序數(shù)據(jù)中學(xué)習(xí)模式和關(guān)系，這一定是一種非常有效的架構(gòu)，所以我認(rèn)為從基本原理上來說，你可以想象 Transformer 會是一個重要的突破。此外，你可以并行訓(xùn)練它，真正將這個模型擴(kuò)展起來，這非常令人興奮。
我認(rèn)為當(dāng) Transformer 首次問世時，我們意識到它克服了循環(huán)神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)的局限性，我們現(xiàn)在可以以一種非常大規(guī)模的方式學(xué)習(xí)順序數(shù)據(jù)。這非常令人興奮，BERT 也非常令人興奮，我們自己訓(xùn)練了一些早期的語言模型，取得了非常好的結(jié)果，但直到結(jié)合了強(qiáng)化學(xué)習(xí)和人類反饋，以及與檢索模型、對話管理等方面的突破性工作結(jié)合起來，我們才真正看到了一些重大進(jìn)展。
直到各種要素開始融合，我們才意識到編程語言已經(jīng)完全改變了?，F(xiàn)在，在計算的歷史上，編程計算機(jī)的語言是人類的語言，可以是任何一種人類語言，而且甚至不需要語法正確，任何人都可以編寫計算機(jī)程序，這是一件了不起的事情。
這是個大問題，因為你以不同的方式編程，它會寫出不同的應(yīng)用程序，這種新的計算模型的影響有多大？顯然非常大，這也是為什么 ChatGPT 是歷史上發(fā)展最快的應(yīng)用程序的原因。
Sarah Guo：
我們在節(jié)目中還有 Alex gravely，他是聯(lián)合編寫者的首席架構(gòu)師，他最喜歡的用例是一些人告訴他他們以前不會編程，現(xiàn)在卻可以了，我認(rèn)為這種情況非常民主化。
Jensen Huang：
真是令人驚奇，你可以給 ChatGPT 提供一個問題，它會逐步推理，但最后得出了錯誤的答案；但另一方面，你可以讓它寫一個解決同樣問題的程序，它卻能完美地解決問題，這種應(yīng)用既可以推理解決問題，做得相當(dāng)不錯，已經(jīng)非常接近了；另一方面，它也可以完全寫出一個解決相同問題的程序，你必須真正思考一下這個意義。
Elad Gil：
將它看作未來世界的某種形式的機(jī)器感知。
Jensen Huang：
從技術(shù)上講，我不知道那個詞是什么意思，但我相信我們現(xiàn)在擁有一種軟件，它能夠推理和解決許多類型的問題，并且能夠持續(xù)不斷地提供解決方案或程序。
05 未來的開發(fā)者與專有模型Elad Gil：
那么，展望未來，你如何考慮 Nvidia 的業(yè)務(wù)發(fā)展方向？你過去提到過 Nvidia 在訓(xùn)練模型方面做了一些非常有趣的事情，這將是你未來主要關(guān)注的一部分嗎？還是主要關(guān)注芯片方面？你如何考慮推動研究并成為行業(yè)的基礎(chǔ)平臺的這種組合？
Jensen Huang：
我們是一家計算平臺公司，我們必須向上游發(fā)展，以滿足開發(fā)者的需求，問題聚焦在誰是開發(fā)者？起初，開發(fā)者是控制自己操作系統(tǒng)的人，所以在那些日子里，我們可能只需要到達(dá)設(shè)備驅(qū)動程序或稍微低一些的層面，以某種方式使開發(fā)者能夠使用。
對于科學(xué)計算和其他各種領(lǐng)域，開發(fā)者實際上正在使用某個求解器，他們需要將該領(lǐng)域的算法以某種方式表達(dá)出來，以便進(jìn)行加速，這就是為什么當(dāng)我們涉足多領(lǐng)域物理問題時，我們意識到我們必須開發(fā)算法本身，因為解決問題的算法與底層的計算機(jī)架構(gòu)相關(guān)。架構(gòu)的 CPU 通過以太網(wǎng)連接在一起，那個算法肯定與通過一個 GPU 內(nèi)部的網(wǎng)絡(luò)連接的數(shù)千個處理器以及數(shù)據(jù)中心內(nèi)的數(shù)千個 GPU 不同。
顯然，算法必須被重新構(gòu)建和重組。所以我們的公司在設(shè)計計算機(jī)算法方面非常擅長，可以是粒子物理學(xué)或流體力學(xué)的算法，當(dāng)然也包括深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)。CUDA 實際上是一種用于加速深度學(xué)習(xí)的領(lǐng)域?qū)Ｓ谜Z言，我們已經(jīng)為深度神經(jīng)網(wǎng)絡(luò)和光線追蹤等計算機(jī)圖形學(xué)做過這種工作，所有這些不同的領(lǐng)域庫實際上是為了理解科學(xué)領(lǐng)域并重新設(shè)計算法，使其運(yùn)行速度非?？?。
現(xiàn)在，未來的開發(fā)者是什么樣的呢？我認(rèn)為未來的開發(fā)者可能會使用大型語言模型或基礎(chǔ)模型。如果有人能夠通過微軟使用 ChatGPT 或 OpenAI 的模型，我非常鼓勵；如果有人能夠通過谷歌使用它，我也非常鼓勵。但是，如果有人需要為某個領(lǐng)域構(gòu)建一個專有模型，可能需要創(chuàng)建一個新的基礎(chǔ)模型，比如領(lǐng)域是蛋白質(zhì)，或者領(lǐng)域是化學(xué)，或者領(lǐng)域是氣候科學(xué)，或者是多物理學(xué)，那種基礎(chǔ)模型是相當(dāng)專業(yè)的，雖然它不是一個小市場，顯然，因為藥物發(fā)現(xiàn)領(lǐng)域很大，氣候科學(xué)領(lǐng)域也很大，氣候技術(shù)領(lǐng)域也很大。然而，它不太可能對每個人都有廣泛的用途。
因此，我們可能決定為 3D 圖形、虛擬世界建立一個基礎(chǔ)模型，因為它們對我們非常重要，我們可能決定為機(jī)器人技術(shù)建立一個基礎(chǔ)模型，因為它涉及到我們非常擅長的領(lǐng)域交叉；即使如此，我們也可能只做到必要的程度，而不再深入，我們并不試圖成為一個AI模型公司，我們試圖幫助行業(yè)創(chuàng)建AI模型。
Elad Gil：
非常有道理，基本上是跟隨客戶的需求。
Jensen Huang：
是的，然后在適當(dāng)?shù)臅r候?qū)⑵湟平唤o他們。
我試圖將這個原則與公司做出的一些非常長期的承諾相協(xié)調(diào)，比如 CUDA 是一個非常長期的賭注，我們10 年前見過面，當(dāng)時 Nvidia 的估值是現(xiàn)在的 1/ 100，并且面臨著激進(jìn)投資者等壓力；當(dāng)然，在那時做出長期賭注可能有些困難。
06 未來與現(xiàn)在，老黃 30 年的信念Elad Gil：
我想知道，你如何平衡作為一家大型上市公司的壓力和當(dāng)今的機(jī)會，以及架構(gòu)承諾或長期賭注，并對此進(jìn)行優(yōu)先排序。
Jensen Huang：
投資未來和現(xiàn)在的可持續(xù)性并不沖突。對于所有初創(chuàng)公司和所有公司的 CEO 來說，挑戰(zhàn)在于找到一種方法，能夠以自己所信仰的核心信念為基礎(chǔ)，并負(fù)擔(dān)得起這樣做，這就是公司的目的所在，所以這部分是信念，部分是技能。
賺錢不是信念的問題，賺錢是技能的問題。這是一種可學(xué)習(xí)的技能。我花了很長時間才學(xué)會它，我承認(rèn)這一點。我已經(jīng)從事這個工作30年了，在前面的 20 年中，我還在試圖弄清楚，但這是一種技能，學(xué)會賺錢和有效地管理公司這些都是技能，公司必須發(fā)展這些技能。
我認(rèn)為我們最終的做法是問自己，我們真的相信嗎？如果我們真的相信做某件事，那么這就是公司的目的，是企業(yè)的唯一目的去追求自己的信仰，其他方面都取決于公司的聰明才智，盡力做好工作，建立人們愿意購買的產(chǎn)品，并盡可能提高成本效益，使公司更高效。這些都是技能。
艱難的部分，事實證明，不是技能部分。我花了很長時間才學(xué)會它，但很多公司都知道如何賺錢。顯然，賺錢不是那么困難，其他人也可以做到，困難的是單一地推進(jìn)一種新的計算模型，我們稱之為加速計算。
我們相信，加速計算一方面可以幫助我們解決普通計算機(jī)無法解決的問題，另一方面它也為我們帶來了許多令人驚嘆的應(yīng)用，比如我今天對數(shù)字生物學(xué)非常興奮，比如我們對氣候變化興奮，對機(jī)器人技術(shù)和自動駕駛車輛也充滿激情。如果不是因為我們追求那些在普通計算機(jī)上不可能的應(yīng)用，我們?yōu)槭裁磿l(fā)現(xiàn)所有這些東西？我們?yōu)槭裁磿l(fā)現(xiàn) AI ？為什么我們成為大型語言模型的工作么？因為大型語言模型幾乎是不可能的。如果你在做一些幾乎不可能的事情，就給我們打電話吧。我們可以提供工具幫你解決這些問題的，我希望我們能夠發(fā)現(xiàn)這些未來的東西。
另一方面，我們深信，總有一天所有事物都會被加速，這是非常清楚的， CPU 將會達(dá)到極限，你無法無限地擴(kuò)展通用計算，而且你總是需要它，總是需要 CPU ，但在未來，加速計算將是最佳前進(jìn)方式。所以，從一開始，30年前，我們就堅信這一點，這也是我們創(chuàng)辦公司的原因，這是真正的信念。
Sarah Guo：
你對這個30年的信念得到了極大的證實，你肯定在公司經(jīng)營的 30 年中的某個時刻，對自己的信念產(chǎn)生了懷疑。你是否曾經(jīng)有過這樣的經(jīng)歷？
Jensen Huang：
你是說我不適合這份工作嗎？
Sarah Guo：
不，我是指你是否對加速計算以及它的重要性產(chǎn)生過懷疑。
Jensen Huang：
第二個問題的答案是肯定的。首先，我不認(rèn)為任何人應(yīng)該認(rèn)為他們適合這份工作，你幾乎每天都應(yīng)該審視自己，所以明確一點。
Sarah Guo：
這不是一個問題。
Jensen Huang：
但我非常樂意回答這個問題，我是否曾經(jīng)相信過自己是錯誤的？沒有，我相信加速計算是唯一解決不可能問題的方法，這是顯而易見的。
另一方面，如果你能解決今天不可能解決的問題，并且有一天你需要將該應(yīng)用程序推廣，加速計算是否是最佳途徑？答案是肯定的。
Elad Gil：
你認(rèn)為 CPU 何時達(dá)到極限？你提到，最終你認(rèn)為一切都會轉(zhuǎn)向加速計算，或者至少未來的很大一部分會轉(zhuǎn)向加速計算。這需要 5 年還是 10 年？
Jensen Huang：
對于某些應(yīng)用程序，這已經(jīng)在 12 年前發(fā)生了，對吧？Geoffrey Hinton 、Yann LeCun 和 Andrew Ng 等人在12年前就發(fā)現(xiàn)了這是唯一的前進(jìn)方向，而對于計算機(jī)圖形學(xué)來說這是唯一的前進(jìn)方向。
07 AI 對于組織形式追隨功能Elad Gil：
隨著 AI 變得越來越重要，你組織和管理公司的方式發(fā)生了變化嗎？你是否圍繞此進(jìn)行了業(yè)務(wù)方面的重新調(diào)整？或者你如何在這個環(huán)境中思考管理，因為事物變化得如此迅速，這個領(lǐng)域中有很多令人興奮的事情發(fā)生？
Jensen Huang：
你問了一個很好的問題。如果退一步，公司的架構(gòu)不應(yīng)該是通用的，世界上的每家公司都不應(yīng)該像美國軍隊一樣建設(shè)；事實上，如果你看看世界上每家公司的組織結(jié)構(gòu)，它們看起來都有點像美國軍隊，有個人在頂層，然后逐級下來，然而， CEO 的直接下屬很少，那些剛學(xué)會管理一級管理者的人的直接下屬很多，這與實際情況恰恰相反。
我的直接下屬很出色，他們非常有才華，非常擅長自己的工作，是優(yōu)秀的領(lǐng)導(dǎo)者。他們在商業(yè)方面有很好的眼光，有出色的遠(yuǎn)見，為什么呢？
Sarah Guo：
我猜這意味著你的管理層級可能不止是通常被接受的 6～7人之類的。
Jensen Huang：
我有大約 40 個直接下屬，沒有 1 對 1 的會議，也沒有職業(yè)指導(dǎo)，比如你希望用你的一生做什么？這些是你與新畢業(yè)生和早期職業(yè)者進(jìn)行的對話；我們當(dāng)然喜歡這些對話，幫助他們規(guī)劃職業(yè)生涯，指導(dǎo)他們，并為他們提供新的經(jīng)驗，但在高層管理團(tuán)隊，我們組織起來同時追求許多不同的事情。
作為一家軟件公司，你必須了解計算機(jī)架構(gòu)，而計算機(jī)架構(gòu)中最重要的一點是你只能承擔(dān)一個。世界上最大的公司只有兩個操作系統(tǒng)，地球上最大的公司只有兩個操作系統(tǒng)，為什么這么多公司有這么多不同的計算機(jī)架構(gòu)？它們保留了7～9 種指令集，我們只有 1 個指令集，我們只有一個計算機(jī)架構(gòu)，我們對此非常紀(jì)律嚴(yán)明。所以我們需要集中精力。
在高級別上，我們允許創(chuàng)新和發(fā)現(xiàn)，所以我認(rèn)為公司的組織結(jié)構(gòu)符合我們工作的性質(zhì)，這是最重要的事情，也可能是我在建設(shè)公司時學(xué)到的最重要的一點，沒有通用的組織結(jié)構(gòu)適用于每個公司，它應(yīng)該適應(yīng)公司的職能和目的，以及領(lǐng)導(dǎo)者的領(lǐng)導(dǎo)風(fēng)格。
Elad Gil：
我認(rèn)為這是一個非常重要的觀點，大多數(shù)人并沒有真正意識到公司幾乎應(yīng)該是一種定制的結(jié)構(gòu)，支持 CEO 、員工以及公司向客戶提供的服務(wù)，而不是總是相同的東西，完全正確，這被忽視了很多次。
Jensen Huang：
是的，除了某些特定的領(lǐng)導(dǎo)職位，你需要某個特定的首席，你需要某個特定的首席，但除此之外，你應(yīng)該從第一原則出發(fā)，構(gòu)建一個符合領(lǐng)導(dǎo)者和職能的結(jié)構(gòu)。
Elad Gil：
我在谷歌的時候，他們有著名的 80-20- 10 原則，80% 是核心，20% 是核心附加的新東西， 10 % 是超級實驗性的，你是否有任何框架或思考這方面的方式，在我們構(gòu)建的這個通用平臺上誕生創(chuàng)新案例？
Jensen Huang：
我們公司有幾個不同的部分，其中一個非常大的部分是設(shè)計和構(gòu)建復(fù)雜的計算機(jī)，這是我們的主要任務(wù)之一。我們還有一些“秘密實驗室”，因為我們試圖提前 10 年發(fā)明一些我們不確定能否成功的東西，在這個過程中，需要不斷調(diào)整和適應(yīng)。我們公司有兩種不同的工作方式：一種是靈活的，隨時變化的。如果某項投資不成功，我們會放棄并將資源用在其他地方，這就是我們的敏捷部分；另一部分則更加精細(xì)，這兩種工作方式必須并行運(yùn)作。
Sarah Guo：
能否分享下一代處理器架構(gòu)，以及其中最重要的創(chuàng)新和設(shè)計過程？
Jensen Huang：
對于 hopper 來說，重大突破是認(rèn)識到量化，數(shù)值格式方面有相當(dāng)多的創(chuàng)新和減少空間，通過將 64 位浮點數(shù)拆分成 8 位，可以將 AI 超級計算機(jī)的性能提升約 8 倍，所以這幾乎相當(dāng)于 10 倍的提升，另外一個重要的創(chuàng)新是 Transformer 。
Transformer 引擎非常通用和有用，我們設(shè)計了一個專門用于學(xué)習(xí)和推斷 Transformer 的流程，這兩個是最重要的創(chuàng)新；此外，Hopper 是世界上最大的芯片，速度也是最快的，超級節(jié)能，并且使用了世界上最快的存儲器，我們將許多這樣的芯片連接在一起，以實現(xiàn)快速和高效能，這些都是一些比較直接的暴力方法。但是，最重要的架構(gòu)思想是 FPA 和 Transformer 引擎。
Sarah Guo：
對于我們公司的精煉部分，你們正在研究的未來 10 年中可能重要的應(yīng)用有哪些？
Jensen Huang：
我們正在進(jìn)行一些目前還不可行的工作，但我對它們的成功充滿信心。例如，自動駕駛?cè)栽谌〉眠M(jìn)展，但我相信它最終會成功，我相信我們能夠發(fā)現(xiàn)一個基礎(chǔ)的機(jī)器人模型，通過使用人類語言表達(dá)自己，可以讓機(jī)器人學(xué)會如何彎曲和完成特定任務(wù)。
Sarah Guo：
那現(xiàn)在阻礙這些應(yīng)用的因素是什么？
Jensen Huang：
我不知道，但我可以告訴你我們必須一步步地探索，但我們知道的一件事是如何從結(jié)構(gòu)化和非結(jié)構(gòu)化的信息中學(xué)習(xí)結(jié)構(gòu)，當(dāng)然下一個大的發(fā)展方向是視頻，如果我們能夠觀看視頻并從中學(xué)習(xí)結(jié)構(gòu)，我們可能能夠?qū)W會如何彎曲和分解，并將其推廣為機(jī)器人的解構(gòu)系統(tǒng)，路標(biāo)似乎表明這些要素正在逐漸融合，但我不知道什么時候能夠?qū)崿F(xiàn)，我猜可能不到 10 年，可能大約 5 年，你會看到一些令人驚嘆的機(jī)器人。
Sarah Guo：
太令人興奮了。
Elad Gil：
還有一些類似的項目。最近Google推出的 PaLm 就是朝著這個方向邁出的一步，我猜那仍然是基于 Transformer 架構(gòu)的，你提到了將 Transformer 流程融入你們工作的其他新的 AI 架構(gòu)，你還關(guān)注其他一些新的架構(gòu)，你認(rèn)為它們將發(fā)展成非常有趣的東西嗎？
Jensen Huang：
嗯，有很多 Transformer 的派生架構(gòu)，它們通常被統(tǒng)稱為 Transformer ，但基本架構(gòu)在不斷完善和發(fā)展；另一方面，我們對一些非常令人興奮的工作也非常感興趣，我們從 Ian Goodfellow 在生成對抗網(wǎng)絡(luò)方面的工作開始，對圖像的風(fēng)格遷移和高分辨率處理進(jìn)行了一些重要工作，這導(dǎo)致了變分自編碼器等其他相關(guān)工作，進(jìn)一步發(fā)展成為擴(kuò)散模型的一種變體。
我們在這個過程中起到了很大的作用，在這些方面還將會有很多衍生的工作出現(xiàn)，但無論是從大量數(shù)據(jù)中學(xué)習(xí)結(jié)構(gòu)，還是從視頻或多模態(tài)學(xué)習(xí)，都將是非常重要的事情；另外一個方向是內(nèi)容生成，如果你可以生成圖像，生成2D 和 3D 圖像，為什么不能生成蛋白質(zhì)和化學(xué)物質(zhì)等各種東西呢？
08 信念，磨難，遺忘與繼續(xù)前進(jìn)Sarah Guo：
幾乎沒有其他創(chuàng)業(yè)者經(jīng)歷過從 3 個創(chuàng)始人到 CEO ，30年，7000 億市值的過程，你對聽節(jié)目的創(chuàng)業(yè)者有什么建議么？（PS：如今已經(jīng)接近萬億美元市值了）
Jensen Huang：
這是一份非常艱難的工作，我不僅指 CEO 的工作，創(chuàng)業(yè)本身就很難，你們兩位都與很多公司的成立有關(guān)，建立一家初創(chuàng)公司沒有什么容易的，我甚至不明白為什么有人會第二次創(chuàng)業(yè)，創(chuàng)業(yè)是一種磨難，我會試圖勸阻人們再次創(chuàng)業(yè)，因為我創(chuàng)辦了兩家公司，第二次創(chuàng)業(yè)時，我會問自己，你確定要這樣做嗎？不。毫無疑問，你不應(yīng)該這樣做，必須有一種遺忘的機(jī)制，就像你生孩子的時候忘記了產(chǎn)痛一樣，必須忘記它有多么艱難，我不知道我是如何做到的，我忘記了創(chuàng)業(yè)的痛苦和煎熬。
一旦你取得了一些成就，你就會繼續(xù)邁向下一個目標(biāo)。我喜歡我們公司的一件事就是我們不斷重塑自己，我們就像公司內(nèi)部的創(chuàng)業(yè)者一樣，我參加的所有會議都像創(chuàng)業(yè)會議一樣，都很痛苦，因為你從零開始，你沒有任何動力，基本上你是從 0 開始的，每一次都會讓我想起它有多么痛苦，但是當(dāng)你建立了一些東西，并且你為之付出努力的人們贊賞它，而且它確實產(chǎn)生了影響時，這也是如此令人滿足，然后你將這種能力與其他技能和能力結(jié)合起來，你就可以做得更大。
所以，一方面，我會告訴他們創(chuàng)立一家公司是非常有回報的，你能夠與很多人一起工作，這是真的；另一方面，創(chuàng)業(yè)的痛苦和煎熬是你無法想象的。所以，你是又脆弱的。
所以我不知道我給他們提供了什么智慧，如果你決心要做，就別等太久，在你失去無知之前去做。因此，你必須有足夠的決心堅持自己的信念；另一方面，你不能固執(zhí)己見，你必須具備靈活性，不斷學(xué)習(xí)，在這兩者的平衡中，我相信我所做的事情，同時我也相信自己可能是錯的，這是一種奇怪的狀態(tài)，你必須同樣堅信這兩者。
Sarah Guo：
我公司的名字叫 Conviction（信念），你可以保持靈活。
Elad Gil：
好的，我會把它作為一個糖果品牌開始（哈哈哈哈）。
Jensen Huang：
有些創(chuàng)業(yè)公司的 CEO 非常有才華，他們幾乎是正確的，但他們太過于執(zhí)著于自己的正確性，忘記了在路上學(xué)習(xí)、調(diào)整和適應(yīng)的靈活性，這是一方面；另一方面是韌性，這也與遺忘相關(guān)，你必須忘記痛苦，繼續(xù)前進(jìn)，就像教練說的，不要擔(dān)心上一個球，你剛剛被對手踢了臉，你錯過了1/4。
就像你提到加密貨幣時，我的手開始出汗，我知道我的心開始跳得更快，因為我記得錯過了那 1 季，當(dāng)我們在加密貨幣方面錯過 1 季時，我們錯過得很徹底，因為預(yù)測加密貨幣很困難，我們從沒有供應(yīng)到供應(yīng)過剩。誰會錯過 2 億美元的 1 個季度？我指的是一個很大的數(shù)字，通常你會聽到 CEO 錯過了 1500 萬美元，而不是 20 億美元。
09 今天的方向來自未來深耕科研基礎(chǔ)模型
Elad Gil：
我認(rèn)為 Sarah 提出了一個很好的觀點，你現(xiàn)在建立了一家在科技界具有重要地位的公司，正在推動可能是有史以來最重要的技術(shù)之一，即 AI 。從現(xiàn)在回顧到未來的 10 年、20年，有沒有什么具體的目標(biāo)，無論是通過公司還是更廣泛的方向，你希望實現(xiàn)的？從未來的 20 年回望，有沒有你真正希望實現(xiàn)的事情？
Jensen Huang：
這是一個很好的問題，實際上這是一種很好的思考方式，思考今天要做什么的最好方法是走到未來，回頭看，你們可能也是這樣做的，所以我會走出 10 年，回頭看看我當(dāng)時希望自己那時候能做到什么，然后現(xiàn)在去做，這就是答案。
所以我們相信我們可以對幾個行業(yè)做出貢獻(xiàn)，其中之一是醫(yī)療保健和藥物研發(fā)，這是一個計算上和數(shù)值上極其復(fù)雜的問題，其中的組合數(shù)量超過了宇宙中的原子數(shù)量，它是一個非常龐大的問題空間，我們最終可能有必要的工具來攻克它。，少現(xiàn)在有能力理解氨基酸、序列、蛋白質(zhì)和化學(xué)物質(zhì)的語言和意義，如果你能理解結(jié)構(gòu)、理解語言、理解問題空間的意義，你也許有機(jī)會解決它。
所以我對此非常興奮，真的希望我們能夠為多物理學(xué)和氣候科學(xué)創(chuàng)造一個基礎(chǔ)模型。這樣我們就可以問一個問題，如果有這些人為因素和這些人類驅(qū)動因素，我們產(chǎn)生這些影響，那么 10 年后，從現(xiàn)在起 30 年后地球會發(fā)生什么？
這是一個非常復(fù)雜的問題。從計算上來說，人們估計這個問題的計算量可能是目前全球最快超級計算機(jī)的 10 億倍到 1000億倍，這基本上意味著我們永遠(yuǎn)無法解決這個問題；另一方面，通過 AI ，我們可能有機(jī)會將這個計算量減少 10 億倍到 1000億倍，所以我希望我們有機(jī)會在我們這一代人中為這兩個領(lǐng)域作出巨大貢獻(xiàn)。因此，我們正在做的是地球 2 號和 Clara，地球 2 號是我們的氣候科學(xué)系統(tǒng)，Clara是我們的醫(yī)療保健系統(tǒng)，更好地了解如何在這個領(lǐng)域做出貢獻(xiàn)。
Sarah Guo：
令人興奮。我有一個最后一個問題，這個問題和攻擊世界上計算量最大的、最復(fù)雜的搜索空間，從而拯救人類和地球的重要性相當(dāng).......那就是你的皮夾克從哪里來的？
Jensen Huang：
我老婆和女兒總是在幫我找皮夾克，我必須承認(rèn)大多數(shù)夾克對我來說太時尚了，我穿不出去，這些是比較樸素的，但其中一些太酷了，只有真正酷的人才能穿，而且我不想顯得自己穿得不搭。
Reference：
https://www.youtube.com/watch?v=ZFtW3g1dbUU&t=629s
本文（含圖片）為合作媒體授權(quán)創(chuàng)業(yè)邦轉(zhuǎn)載，不代表創(chuàng)業(yè)邦立場，轉(zhuǎn)載請聯(lián)系原作者。如有任何疑問，請聯(lián)系editor@cyzone.cn。