小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

王川:關(guān)于 chatGPT 的隨想 (一)

 非著名問天 2023-03-12 發(fā)布于內(nèi)蒙古

本文是   王川: 關(guān)于 GPT-3 的隨想 (一)   的續(xù)篇。

1/ 過去三個多月,大部分人都已經(jīng)聽到各種關(guān)于 chatGPT 的鋪天蓋地的消息了。如果你還不清楚,chatGPT 作為一種基于人工智能的用自然語言實現(xiàn)人機對話的工具,可以幫助你:

 一本正經(jīng)的寫詩,小說,劇本;幫助學(xué)生做作業(yè),寫論文;
 寫出一份看上去還不錯的商業(yè)計劃書;寫各種搗漿糊的軟文;
根據(jù)自然語言指示,直接生產(chǎn)高質(zhì)量的代碼, 用戶界面設(shè)計 ;
 通過了醫(yī)生和律師資格考試 ;
 翻譯上萬字的英文書籍到其它文字,據(jù)說翻譯質(zhì)量有些地方已經(jīng)超過人工。

衍生的應(yīng)用包括上傳 pdf 文檔后,自動讀取信息,幫你提供總結(jié),迅速回答關(guān)于此文的各種問題, 等等。

2/ 這個新工具的涌現(xiàn)是如此之快,以至于,不管現(xiàn)在的文章描繪什么樣的功能,估算什么樣的成本和費用, 再過幾個月,大概率會變得更好。

3/ 根據(jù)各方面信息的綜合, 從 Gpt-3 到 chatGPT 在技術(shù)上的改進(jìn),主要不在于訓(xùn)練參數(shù)的增加,而在于對其進(jìn)行對話方面的專門培訓(xùn)。這里有個概念叫做 “人工反饋增強學(xué)習(xí)” ( Reinforcement Learning from Human Feedback, 簡稱 RLHF ). 簡而言之,就是每次模型生成文本,用人工反饋作為性能衡量標(biāo)準(zhǔn),優(yōu)化模型。RLHF 實踐的第一個挑戰(zhàn)是人工反饋成本相對比較昂貴; 第二是不同的人對同樣的輸出可能會有不同的反饋,讓語言模型無所適從。正確使用社交媒體,也可以看成是對自己的 RLHF. 粉絲越多,獲取反饋的成本就越低,這樣培訓(xùn)自己的成本也越低,進(jìn)步也越快。( 當(dāng)然需要注意的是,迅速拉黑沒有任何價值的,不友好的反饋和抬杠. )

4/  AI 的算力成本主要分兩部分,一部分是訓(xùn)練成本,一部分是推理 (inferencing). 訓(xùn)練成本好比把一個小孩從生下來到 22歲大學(xué)畢業(yè)的教育成本。而推理成本好比要給大學(xué)畢業(yè)生支付工資,讓他來幫你做事。微軟 / Openai 對于 Chatgpt 之類模型的具體訓(xùn)練和推理成本采取了一個刻意模糊和語焉不詳?shù)膽B(tài)度,大概是不想讓競爭者知道太多實質(zhì)性細(xì)節(jié)。從公開信息里大概可以了解到微軟在 Openai 的計算上至少投入了一萬臺 GPU,和價值十億美元以上的算力成本。

5/ 二月九號網(wǎng)上有 Dylan Patel 為第一作者的文章 “Inference cost of search disruption - LLM cost analysis” 分析,基于日活用戶一千三百萬的分?jǐn)偝杀?,算?open-ai 提供的推理服務(wù)的硬件成本大約每天 $694000 (需要 28936 個 gpu), 每個搜索成本在 0.36美分左右。文章分析如果谷歌給普通用戶提供同質(zhì)的大語言模型的搜索服務(wù),每年將增加三百六十億美元的推理成本,這是它目前不愿意做的。

6/ 另一方面, openAI 三月一號推出的最新的對于 chatGPT API 調(diào)用的價格,每一千個詞的輸入處理只要 0.002 美元。反推的結(jié)論,就是目前其邊際成本應(yīng)當(dāng)是略低于這個價格。實際成本數(shù)據(jù)估計非常復(fù)雜。但有一點可以確定,單位邊際成本每個月都會下降。任何估算數(shù)字,你看到的時候,已經(jīng)過時,高于實際成本了。

7/ chatGPT 現(xiàn)在給普通用戶提供每個月 20 美元的付費服務(wù),稱之為 chatGpt plus. 但 openAI 的主要營收,應(yīng)當(dāng)是來自給開發(fā)者和企業(yè)提供的 chatGPT API 服務(wù)。早期的企業(yè)客戶包括 Snapchat, Instacart 和 Shopify. 著名對沖基金 Citadel 創(chuàng)始人幾天前宣布正在和 OpenAI 磋商購買整個企業(yè)內(nèi)部使用 chatGPT API 的軟件許可證。有超過一千萬日活用戶的即時通訊軟件 Slack, 也宣布已經(jīng)把 chatGPT 的功能整合到自己的軟件里了。 

8/ 推特上有一位網(wǎng)名叫 debarghya_das 的作者三月二號發(fā)布了一個計算 openAI 的收入和利潤的非常粗略的模型。算下來每小時的 A100 GPU 帶來的收入是其成本的至少 2.1倍,一萬張 GPU 一年帶來的收入超過兩億美元?,F(xiàn)階段,openai 的主要策略應(yīng)當(dāng)是不斷降價以吸引更多的開發(fā)者進(jìn)入其生態(tài)系統(tǒng),分?jǐn)偹懔Τ杀?,利潤多少相對次要?nbsp;

9/ 一個參考數(shù)據(jù):2022年 AWS 的云計算收入大約八百億美元 (2015年是八十億美元), 有機構(gòu)估算,全球云計算市場規(guī)模到 2029年預(yù)計達(dá) 1.7 萬億美元。openai 作為AI 市場領(lǐng)先者,來自 chatgpt API 的收入五年內(nèi)突破十億, 五十億美元,甚至更高的可能性存在。目前暫時看不到天花板。另外一個數(shù)據(jù)可以比較:微軟 2016 年以二百六十億美元的價格收購 LinkedIn. 后者被微軟收購后,在 2022 年的年收入就達(dá)到一百四十億美元 . OpenAI 被用戶追捧的熱度和產(chǎn)品發(fā)展的潛力,顯然遠(yuǎn)大于 LinkedIn.  有了微軟的銷售渠道,收入和利潤潛力的想象空間,自然大很多。這里還有兩個關(guān)鍵,最大的開發(fā)者社區(qū), 擁有一億活躍用戶的 Github (遠(yuǎn)超所有其它競爭者), 它的主人是微軟;而微軟的云服務(wù) Azure, 在全美市場份額占 23%, 僅次于 AWS. 在 Github 上開發(fā)人工智能應(yīng)用,調(diào)用 chatGpt 的API, 再順手部署到 azure 的云服務(wù)上,將成為大部分第三方開發(fā)者阻力最小的選擇。 

10/ OpenAI 積累了幾個季度的營收數(shù)據(jù)后,可能到 2024年的某個時段擇機上市。當(dāng)下的營收數(shù)據(jù)沒有那么重要,只要能夠顯示出強勁的市場需求和增長,只要有投行愿意畫大餅,勾勒出營收突破五十億美元的路線圖, 那么大概率有足夠多熱錢愿意為之買單,支持二十倍營收,也就是至少一千億美元的市值。

11/ openAI 如果成功上市,在 2015年的原始幾家風(fēng)險投資機構(gòu)的回報,可能達(dá)到 50 -100 倍以上。他們一定拿著這個業(yè)績?nèi)ニ奶幋祰u,向機構(gòu)投資者融資建立更大,幾十億,上百億美元級別的,專門投資人工智能和相關(guān)應(yīng)用的基金。

12/ 微軟是 openAI 的股東之一,和 openAI 有比較復(fù)雜的利潤分成協(xié)議,但基本上在 chatGPT 的問題上,可以把他們兩家看成是一體的。微軟會把此技術(shù)和其生態(tài)內(nèi)其它工具如 Bing, Edge 瀏覽器, Office,Github, Azure 等牢牢綁定,幫助建立用戶習(xí)慣和依賴性, 擴大生態(tài)圈的影響力。微軟有先發(fā)優(yōu)勢,規(guī)模成本優(yōu)勢和渠道優(yōu)勢。對于大多數(shù)用戶和軟件服務(wù)商而言,投入微軟的懷抱,將是阻力最小的演化方向。

13/ 除了微軟之外, 英偉達(dá)(Nvidia),臺積電 (TSMC)這兩家公司是這波浪潮的直接受益者。英偉達(dá) 2021 年在 GPU 市場的份額超過 80%, 并且有強大的 CUDA軟件開發(fā)生態(tài)。臺積電 2021 年在全球晶圓代工廠的市場份額超過 50%.

14/ chatGPT 語言模型的生成,微軟在 Openai 的計算上至少投入了一萬臺 GPU, 所以如果沒有上億美元的原始投資,外人不可能在算力上和 chatGpt 直接競爭. 這還不包括需要獲取海量的數(shù)據(jù)用于培訓(xùn),軟件工程師調(diào)算法模型等成本?!hatGpt 本身也在不斷進(jìn)步,創(chuàng)業(yè)公司要想另起爐灶和微軟展開軍備競賽,GPU 的投入是不能省錢的。Nvidia 的銷售人員也一定會給你足夠多的鼓勵。人工智能的風(fēng)投基金,最后相當(dāng)比例的錢一定會去購買 Nvidia 的 GPU ;這正如 web2 風(fēng)投的錢,相當(dāng)比例去谷歌臉書打廣告 ;web3 風(fēng)投的錢,相當(dāng)比例去以太坊上變成 gas 燒掉。

15/ 人工智能的本質(zhì),就是做大量的矩陣乘法計算,這是大學(xué)里線性代數(shù)的必修課。如果要把軍備競賽升級,那就要去做自己的專用人工智能芯片,做一些專門的優(yōu)化,以期待在算力成本上超越現(xiàn)有的 GPU.谷歌搞了自己的 TPU,特斯拉有 dojo.但要在單位算力成本上超越年收入兩百億美元的 Nvidia,一定要有巨大的生產(chǎn)規(guī)模,這是普通小公司無法參與的游戲。不管誰做自己的專用芯片,最后大概率會投入臺積電的懷抱。臺積電在亞利桑那州建造的晶圓代工廠,一定要忙死了。

16/ chatGPT 的主要收入來源是財大氣粗的企業(yè)用戶。微軟的 Azure 2022年下半年在云計算上的收入是四百一十億美元,在云計算的市場份額上大約是谷歌的兩倍。chatGPT 的很多功能可極大提高企業(yè)用戶的效率,openAI 已經(jīng)在和咨詢公司 Bain 合作,用 chatGPT 的技術(shù)幫助可口可樂提高市場營銷和運營的效率。這個趨勢只是剛剛開始。這一方面可以增加微軟的云計算的營收,另一方面可以分?jǐn)偹懔Φ某杀?,在單位算力成本上拉大對谷歌的?yōu)勢,并以此進(jìn)一步擴大其云計算的市場份額。微軟的另外一塊主要業(yè)務(wù),“Productivity and Business Process', 2022 年下半年的收入為三百三十億美元,包含 Office suite, ERP, LinkedIn 等服務(wù),這塊業(yè)務(wù)也同樣將大大受益于 chatGPT 的技術(shù),增加營收,幫其分?jǐn)偹懔Τ杀尽?/p>

17/ chatGPT 可能直接顛覆”搜索點擊廣告“的商業(yè)模式。谷歌的收入超過 80%來自搜索廣告業(yè)務(wù),如果直接用同樣的方式來迎接微軟的挑戰(zhàn),新增的算力成本會大幅度減少利潤。而微軟本來在搜索領(lǐng)域市場份額就很低,可以完全不考慮盈利來獲取搜索的市場份額。另一方面,隨著 chatGPT 的功能的持續(xù)進(jìn)步,網(wǎng)上用戶使用習(xí)慣可能會慢慢脫離”搜索為主“的模式,而最終將搜索的商業(yè)模式邊緣化。谷歌將處于一種 'Damned if I do, damned if i donot ' ( 伸頭也是一刀,縮頭也是一刀)的尷尬狀態(tài)。

18/ OpenAI 成功上市后會促進(jìn)大筆熱錢涌入,短期內(nèi)制造更多 AI 領(lǐng)域的需求,部分公司營收增速極快,推高估值,對整個行業(yè)造成一波又一波的水漲船高的效應(yīng),在某個時間段內(nèi)會產(chǎn)生“所有人都在發(fā)財,再不加入我就晚了”的錯覺。但大部分投資者最終都會在此領(lǐng)域虧錢,因為:一,所投的企業(yè)的競爭優(yōu)勢狹隘且短暫,很容易突然被新來的競爭者趕上并淘汰。二,所投企業(yè)的利潤來源本身就是風(fēng)投帶來的熱錢支持的企業(yè),一旦風(fēng)投資金增量減緩甚至萎縮,營收和利潤萎縮也很快。三,投資時往往企業(yè)的 PE 值已經(jīng)很高,把未來四五年的最樂觀的預(yù)期增長情況都算進(jìn)去了,一旦增速低于預(yù)期,市值很容易大幅下跌。

19/ 投資高科技不等于發(fā)大財,散財?shù)膸茁势鋵嵆^ 90%。只有在高科技可以讓極少數(shù)公司獲得全面的壟斷性時,這才可能發(fā)財。津津樂道高科技,而不討論它是否, 以及如何能帶來權(quán)力和壟斷,那就是 '連錯都談不上' ( not even wrong). 可以參考筆者的老文章
    王川: 從權(quán)力和壟斷的演化機制,看投資(一)

20/ 極少數(shù)核心競爭力不在 AI 領(lǐng)域之內(nèi),但五到十年內(nèi)不可能被 AI 所替代,可以利用 AI 大幅度提高效率,增收節(jié)支,強化其核心競爭力和壟斷性的企業(yè),也會是這波 AI 浪潮的贏家之一。九十年代后期互聯(lián)網(wǎng)興起時,一些傳統(tǒng)消費類的企業(yè)如 Proctor & Gamble, Walmart, Coca cola, 就是這樣的例子。這一次有哪些類似的贏家,需要慢慢觀察。

21/ 但chatGPT 的意義遠(yuǎn)不在此。很多需要高技能的行業(yè)人員 (從程序員到律師,到游戲設(shè)計, 翻譯等等) 反映使用此工具對效率的提高從 30%到 80% 不等。這還只是序曲。這個工具本身還在加速變得更好。各行各業(yè)的效率的提高還會不斷組合疊加。

22/ 可以比較的是,瓦特 1776年推出可商用的蒸汽機,到1804年英國首次出現(xiàn)蒸汽機推動的火車,間隔28年。按照沃頓商學(xué)院教授 Ethan Mollick 的說法,十九世紀(jì)初美國的各類小工廠采用蒸汽機后,效率普遍提高 25%. 1776年的美國人根本無法想象和理解,將近一百年后鐵路貫通美洲大陸對經(jīng)濟模式和社會結(jié)構(gòu)的革命性影響。1885年成立的斯坦福大學(xué), 其初期主要資金,就是來自鐵路大亨的財富。

23/ chatGPT 已經(jīng)開始對各行各業(yè)產(chǎn)生立竿見影的,比當(dāng)年蒸汽機還要更大的效率提升,這意味著 AI 對人類社會的巨大影響將注定遠(yuǎn)超蒸汽機在十九世紀(jì)的影響。AI 時代的“火車”的涌現(xiàn), 我們無需等待 28年,它將超越現(xiàn)在所有人最狂野的想象。

(未完待續(xù))

-------

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多