【原】驚嘆！ChatGPT訓(xùn)練1次居然要燒掉這么多錢

武宗 2023-04-16 發(fā)布于北京

展開全文

墨算未來

墨科技演進，算未來氣象

隨著 ChatGPT技術(shù)的普及， OpenAI在世界上掀起了一股大規(guī)模數(shù)據(jù)建模的熱潮。但他們很快就意識到，這只是一個龐然大物的博弈，拼的就是能耗。

吳軍，一位著名的電腦專家，對此沒有任何夸大之處，他說：“ChatGPT每訓(xùn)練一次，就可以讓3000臺特斯拉的電動車跑20萬英里，也就是32.19萬公里?！币话愕募彝マI車平均每年大約能跑15,000公里，那么 ChatGPT每次訓(xùn)練所消耗的能量，等于3000臺特斯拉在一個月內(nèi)跑了21年。

哪怕是那些想要嘗試大模型，想要“帶資入組”的大佬們，也要好好考慮一下，自己口袋里的錢，能花多久？

去年，OpenAI總共花費了5.44億美金。GPT-3的單個訓(xùn)練費用估計為140萬美金，而某些較大的LLM （大型語言模型）則在2百萬到1200萬美金之間。

華為 AI首席專家日前在一次 AI大模型技術(shù)研討會上指出，“大模型的訓(xùn)練費用中，有60%是用電費用，這一點已經(jīng)刻不容緩。

OpenAI的 CEO山姆·奧特曼在一次公共訪談中說，GPT-3的參數(shù)量是1750億。與GTP-3相比，最新公布的GTP-4參數(shù)數(shù)目增加了20倍，計算量增加了10倍。GTP-5最早在2024年底推出，屆時參數(shù)量將會是GTP-3的100倍，而計算量也會增加到200-400倍。

據(jù)斯坦福大學(xué)人工智能研究院（Stanford Automatic Institute，簡稱 HAI）公布的《2023年人工智能指數(shù)報告》顯示，對類似于 OpenAI的GPT-3等 AI算法進行訓(xùn)練，所需要耗費的能源，足以支撐一個美國家庭幾百年的能耗。GPT-3是公認(rèn)的“電老虎”，耗電達(dá)到了1287兆瓦。

有數(shù)據(jù)表明，ChatGPT的運算能力總消耗在3640PF每天，這樣的計算能力將需要7-8個擁有30億運算能力的數(shù)據(jù)中心來支持。根據(jù)一家名為 Semi分析的半導(dǎo)體產(chǎn)業(yè)數(shù)據(jù)公司的估計，如果一個芯片 GPT想要完全承載谷歌的搜索流量，那么它將需要410萬張英偉達(dá)A100 GPU。

當(dāng)前，微軟公司已經(jīng)在超過60個Azure的數(shù)據(jù)中心上部署了數(shù)十萬個 GPU，這些 GPU將為 ChatGPT的計算提供強大的計算能力。微軟作為OpenAI的最大投資者，獲得了對云計算的獨家支持，并且已經(jīng)開始了對下一代人工智能的研發(fā)，而這一次，他們將會引入數(shù)萬張英偉達(dá)A100 GPU，以及新一代H100 GPU。

如此龐大的計算能力，讓業(yè)界的高手們都為之驚嘆，覺得這是何等的瘋狂。

而現(xiàn)在，即便是馬斯克這位曾經(jīng)提出過要叫停大型模研發(fā)計劃的人，此刻都已經(jīng)開始著手準(zhǔn)備，要打造一個“推特版的 ChatGPT”出來。

據(jù)美國《商業(yè)內(nèi)幕》雜志消息，馬斯克為 Twitter提供了1萬個 GPU，以增強 Twitter的搜索能力，同時也為它的廣告業(yè)務(wù)注入新的活力，這將是一個巨大的人工智能模型，以及海量的數(shù)據(jù)。