小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

從此世界上再也沒有 Google Brain

 e_shannon 2023-04-27 發(fā)布于上海

AI Labs 正在卷土重來,產(chǎn)業(yè)界比以往幾十年都更加重視 AI 研究。

短短半年前,AI Labs 還是一個幾乎被互聯(lián)網(wǎng)大廠和科技公司們放棄的組織。

除了發(fā)論文,給公關(guān)部提供 PR 業(yè)績,個別頂級學(xué)者加入帶動技術(shù)人才招聘等抽象務(wù)虛的收益以外,AI Lab 較少給企業(yè)帶來實際的利益,但是它的成本又高,高得離譜,企業(yè)給研究人員開的薪酬,往往會比學(xué)界高一個數(shù)量級。

在從激進狼性的卡蘭尼克手里接過 Uber 之后,新任 CEO Dara Khosrowshahi 立刻取消了 Uber AI Lab。類似的事件在過去幾年屢屢發(fā)生。

如果要列出一個 AI Lab 最成功的公司,那一定是 Google。

你沒有任何理由否認,AlphaGo、AlphaFold、TensorFlow、Transformer 等等這些 Google Brain 和 DeepMind 為科學(xué)和技術(shù)世界帶來的價值。并且,Google 自身的業(yè)務(wù)又比其他任何大公司都更能夠盡快與研究成果相結(jié)合。

但現(xiàn)在是 2023 年,spark of AGI 初現(xiàn)。曾經(jīng)領(lǐng)先的Google Brain 成為背景板之一。

OpenAI 最終帶來了引發(fā)世紀(jì)革命的大模型產(chǎn)品。一些篤信 AI 的人不求回報資助創(chuàng)立的研究機構(gòu)(謝謝難得當(dāng)韭菜的馬斯克的 1 億美元)——它最初就是為了對抗 Google 的 AI 霸權(quán)。

放在五年前都難以置信,它居然真的做到了?,F(xiàn)在微軟只花了動視暴雪 1/6 的成本,收割了這些想象空間無窮的技術(shù)成果。

回過頭看,曾經(jīng)在 AI 和深度學(xué)習(xí)領(lǐng)域風(fēng)光無限的 Google Brain 團隊,全世界 AI Lab 的榜樣,為什么會淪落到失去領(lǐng)先優(yōu)勢還被外部團隊兼并的境況呢?

合并

好事還是壞事?

當(dāng)?shù)貢r間 4 月 20 日,Google 宣布將 Google Brain 和 DeepMind 團隊合并,成為新的 Google DeepMind 部門,新部門將由 DeepMind 的聯(lián)合創(chuàng)始人& CEO Demis Hassabis 領(lǐng)導(dǎo),Jeff Dean 擔(dān)任 Google Research 和 Google DeepMind 的首席科學(xué)家。

圖片

新任領(lǐng)導(dǎo) Demis Hassabis

2011 年,Google Brain 因為一項斯坦福大學(xué)與 Google 的聯(lián)合研究項目而誕生;2014 年,Google 以大約 5 億美元的價格收購 DeepMind。

前 Google Brain 高級研究員李基薰對于這次架構(gòu)調(diào)整的看法:

  • Google 高層認為 DeepMind 的名聲超過 Google Brain 團隊,同時 Demis Hassabis 也完全不同意 Google 在合并后放棄 DeepMind 的名字。

  • 這樣的合并可能只是開始,未來我們或許能看到 Google 內(nèi)部研究團隊更大規(guī)模的架構(gòu)調(diào)整。

  • 這樣的合并也許并不是雙贏的,很多項目會取消、合并,人員會重新分配,自然也會帶來大量研究員和管理人員的離職。

  • 兩支團隊的組織文化也有區(qū)別,這會導(dǎo)致很多內(nèi)耗和動蕩,最終可能會影響整個 Google 研究團隊的效率。

前 Google 科學(xué)家、出門問問創(chuàng)始人李志飛是這么看這次架構(gòu)調(diào)整的:

  • 合并后的部分既做研究,也有產(chǎn)品部分,解決了以往各自為政、算力和人力浪費的問題,也會緩解研發(fā)和產(chǎn)品部門脫鉤的問題。
  • Jeff Dean 成為首席科學(xué)家,可以充分發(fā)揮工程余熱;Demis 還是創(chuàng)業(yè)者,更有 AGI 使命感,更有戰(zhàn)斗力。
  • 組織方式上,新的 DeepMind 更獨立,可以盡量遠離 Google 因自身的極度政治正確和機構(gòu)膨大帶來的效率低下。

完整分析參見:新的 Google DeepMind 成立,看好,祝 Google 在 AGI 時代重振雄風(fēng)

大公司的錢

科學(xué)家怎么賺?

企業(yè)會給從學(xué)校里走出來的研究者提供數(shù)倍于學(xué)校和機構(gòu)的收入。

Google Brain、OpenAI、Facebook 的 FAIR...... 他們會資助數(shù)以百計的機器學(xué)習(xí)研究人員,從事純粹的研究,至少在挖人時承諾只做純粹的研究。

但現(xiàn)在的情況是,研究人員最終還是要為了業(yè)務(wù)服務(wù),Google Brain 的團隊就要考慮推薦系統(tǒng)、廣告優(yōu)化和搜索排名等業(yè)務(wù)。

機器學(xué)習(xí)不一定會帶來直接的收益,但有時候它可能會大大縮減企業(yè)的成本,比如算力等,這反過來可以總結(jié)為研究團隊的 KPI。

最大的價值

是品牌影響力

對于 Google Brain 里從事學(xué)習(xí)的學(xué)者來說,Google 會支付高額的報酬。不過前提是你需要從事推薦系統(tǒng)、廣告優(yōu)化、搜索排名等工作,而不是純粹的研究。Brain 擁有眾多的研究人員和項目,其中許多是直接或間接盈利的。例如,許多研究人員專注于優(yōu)化器、架構(gòu)搜索和超參數(shù)搜索的改進。這些研究降低了一定的計算成本。

但與此同時,Google Brain(以及 DeepMind、OpenAI 等其他機構(gòu))會資助數(shù)百名機器學(xué)習(xí)研究人員從事純粹的研究,看似只是為了研究而研究,而仍然支付比學(xué)術(shù)界高一個數(shù)量級的報酬,Google 為什么會資助這些項目?

Brain 項目為 Google 帶來的首先是公司在學(xué)術(shù)界的品牌影響力,「Brain 與其他工業(yè)研究實驗室競標(biāo),聘請最優(yōu)秀的研究人員,以便成為最具聲望的研究團隊,這反過來又將幫助他們聘請最優(yōu)秀的研究人員」。畢竟,這就是美國學(xué)術(shù)界的運作方式:以資金、學(xué)生/博士后和首席研究員(PI)的三位一體為基礎(chǔ)。

原則上,資金應(yīng)該流向最有才華的 PI 和學(xué)生/博士后;學(xué)生/博士后會去有最有才華的 PI 和資金的地方;PI 會去他們能找到才華橫溢的學(xué)生/博士后和資金的的地方。大學(xué)對于這類的合作研究最有熱情,因為他們可以從所有研究資金中抽成,而一般公司的研究實驗室并不是這樣的機制,這些研究實驗室只會給研究院高薪用來留住他們。

學(xué)術(shù)行業(yè)的品牌影響力有兩個作用:消費領(lǐng)域好的品牌形象、以及更容易招聘到優(yōu)秀的學(xué)術(shù)人才。對于機器學(xué)習(xí)的技術(shù)人才來說,Google 顯然是比 Apple 更適合的公司,雖然 Apple 本身肯定也有類似的崗位。對于想要雇傭幾千名機器學(xué)習(xí)工程師的公司來說,資助一些頂級的機器學(xué)習(xí)研究人員顯然是一件性價比很高的投資,這也是一種被證實的招聘策略。

當(dāng)然,在當(dāng)下整個行業(yè)都在削減招聘預(yù)算,那么這一項的支出也會被減少了。

催化劑

無往不勝

Google Brain 有一項政 策格外引人注意,他們對于頂級學(xué)術(shù)會議、學(xué)術(shù)論文以及學(xué)術(shù)出版的不求回報的支持。

這種資源支持力度是其他公司很少見的,主要有以下原因:

1. 品牌影響力
2. 本身學(xué)術(shù)人員就可以隨時離職帶走這些學(xué)術(shù)成果

3. 這些學(xué)術(shù)成果可以成為公司科技實力進步的催化劑。

這里的催化劑理論是指:通過在與 Google 核心業(yè)務(wù)相關(guān)的關(guān)鍵研究領(lǐng)域發(fā)表學(xué)術(shù)文章,該研究方向?qū)⒊幸嬗?Google 的方向發(fā)展。例如,Google 一直對更好的 NLP 技術(shù)感興趣,而關(guān)鍵研究的發(fā)表,如 2014 年的 seq2seq 和 2017 年的 Transformers,催化了整個 NLP 領(lǐng)域的增長。Google 是少數(shù)幾家擁有消費者觸達能力和計算能力的公司之一,可以將 ML 部署擴展到十億用戶,因此 Google 受益于該領(lǐng)域的整體進步。

圖片
是科學(xué)家

還是打工人?

TensorFlow、TPU、Google 翻譯、Transformer 等等,這些 Google Brain 研究成果給 Google 帶來了難以衡量的商業(yè)價值,更不要說這些研究和產(chǎn)品本身對行業(yè)和學(xué)術(shù)界的貢獻——Transformer 最終導(dǎo)致了 LLM 的實現(xiàn)。

從這個角度看,Google Brain 是極具創(chuàng)新能力的,團隊自由開放,形成了自上而下以研究員為中心的組織文化,每個研究員都可以自由對外表達他們的想法,接受采訪,談?wù)摮晒?,沒有任何管理壓力,這是 Jeff Dean 作為領(lǐng)袖和負責(zé)人帶來的寬松環(huán)境。

圖片

Jeff Dean

可以想象,如果是一個商學(xué)院畢業(yè)的職業(yè)經(jīng)理人,一個 MBA 出身的高管接管了 Google Brain,團隊一定是另一番境況。

但是最近幾年,Google 內(nèi)部的經(jīng)管團隊越來越多地插手 Google Brain。

一方面,互聯(lián)網(wǎng)的大環(huán)境和 AI 研究的競爭壓力,逼迫 Google 意識到必須為 Google Brain 制定更加細節(jié)和具體的方向和目標(biāo)。

另一方面,行業(yè)內(nèi)逐漸認可了機器學(xué)習(xí)的價值,區(qū)別于數(shù)年前沒人知道機器學(xué)習(xí)能帶來怎樣的價值,越來越多的機器學(xué)習(xí)研究成果給產(chǎn)業(yè)帶來了實實在在的產(chǎn)品進步,管理產(chǎn)品的人們自然希望得到更多。相對的,這意味著研究團隊自由探索的空間收窄了。

曾經(jīng) Google 研究員的考核和晉升標(biāo)準(zhǔn)與研究的商業(yè)價值無關(guān),但現(xiàn)在,Google 會更加重視研究能夠帶來的商業(yè)化價值,對于曾經(jīng)被承諾自由探索的研究員們來說,自由正在離他們遠去,很快他們的學(xué)術(shù)價值,會慢慢變成為我們更加熟悉的「大廠打工人」的價值。

曾經(jīng)最強

可現(xiàn)在呢?

GPT-4 發(fā)布時,很多人調(diào)侃到人類遇到了「存在危機」。

「我們的存在是虛無、荒謬的,還是真的有什么價值?」

事實上,這樣的問題對于 Google Brain 團隊內(nèi)的研究員們來說,是一個更加現(xiàn)實的問題,LLM 的成功導(dǎo)致很多深度學(xué)習(xí)和 AI 的研究變得不再被重視。他們漫長無期的 AGI 理想,似乎在別人手里有了觸手可及的明確路徑。

不只是大語言模型。

Google 一度領(lǐng)先業(yè)界超過 10 年,TensorFlow 和 TPU 都是標(biāo)桿級別的產(chǎn)品,一度被認為是行業(yè)最大的希望。

圖片

但現(xiàn)在,PyTorch 和黃仁勛的 GPU,顯然擁有遠超 Google 的行業(yè)價值。

耗費大量資金成本,積累多年的深度學(xué)習(xí),它建立的領(lǐng)先優(yōu)勢正在迅速扁平化。

進擊的Google

守不住家了

這幾年,Google AI 研究的催化劑理論正在失效。

一方面,機器學(xué)習(xí)給產(chǎn)業(yè)帶來經(jīng)濟效益,是一件行業(yè)已有共識的事情。Google 不再像以前一樣,可以輕松進入一個新的領(lǐng)域,帶來革命性的效率迭代。

另一方面,微軟和 OpenAI 的聯(lián)盟,其他巨頭對 AI 和機器學(xué)習(xí)的重視,也意味著 Google 在橫向拓展時面臨著近乎紅海的競爭壓力。

在這樣的背景下,Google 已經(jīng)從過去的「進攻」轉(zhuǎn)為了「防守」。進攻性質(zhì)的原創(chuàng)研究被大量叫停,研究者被調(diào)派到防御性質(zhì)的項目上,維持核心領(lǐng)域的研究領(lǐng)先。

很多研究者因為這樣的調(diào)派,選擇離開 Google。

此時此刻 Google 全面轉(zhuǎn)向大模型研究,也許會導(dǎo)致同樣的問題。

不只是業(yè)務(wù)層面,人才方面也存在問題。

Google Brain 過去的研究項目包括:醫(yī)學(xué)影像、天氣建模、神經(jīng)成像、DNA 變異檢測、音樂藝術(shù)、蛋白質(zhì)等等,這些都是基于深度學(xué)習(xí)向其他領(lǐng)域探索的研究。

這些跨學(xué)科研究有一個前提,它們往往需要更懂專業(yè)領(lǐng)域的人,而不只是深度學(xué)習(xí)專家。其他領(lǐng)域卓越的研究者,掌握深度學(xué)習(xí)的成本相對較低,遠遠低于深度學(xué)習(xí)專家去學(xué)習(xí)生物/化學(xué)/醫(yī)學(xué)/氣象/藝術(shù)......

Google 的高管們很難理解這個問題,Google Brain 招聘了大量剛剛拿到博士學(xué)位的機器學(xué)習(xí)專家,但他們很難拓展 Google 的研究邊界。這導(dǎo)致了現(xiàn)在 Google Brain 研究在跨學(xué)科領(lǐng)域越來越難以取得突破。

同樣的道理,專業(yè)領(lǐng)域的公司尋找機器學(xué)習(xí)的高端人才,越來越不是一件難事,更何況 Google 早就教給他們機器學(xué)習(xí)的重要性。

幾個問題

不止針對 Google

  • AI Lab 在大企業(yè)中的定位到底是什么?
  • 既搞科研又落地產(chǎn)品(最好還能賺到錢)才是 AI Lab 的終極目標(biāo)?
  • 公司 CTO 與首席科學(xué)家應(yīng)該誰領(lǐng)導(dǎo)誰?
  • AI Lab 里的科學(xué)家最終出路在哪?
  • 離職創(chuàng)業(yè)成為下一個企業(yè)家,或者回歸學(xué)術(shù),或者還有更好的方向?

如果你是 AI 領(lǐng)域的科學(xué)研究人員,歡迎加入我們的 AGI 交流群,對這個問題進行深入探討(入群二維碼在文章底部)。

AGI 通用人工智能的到來,給所有行業(yè)都來了一些新機會和變革。

對于早已開始利用 AI 進行蛋白質(zhì)合成、新藥發(fā)現(xiàn)等研究的生命科學(xué)領(lǐng)域來說,有了大模型的助力,整個領(lǐng)域的技術(shù)發(fā)展突然被加速,生產(chǎn)力和生產(chǎn)關(guān)系迎來了新的變革。

大模型會如何推動新藥研發(fā)領(lǐng)域的技術(shù)進步?很多難以攻克的疾病是不是有了新的希望?生物大模型跟我們了解的通用大模型區(qū)別在哪里?中國會有自己的生物大模型嗎……

4 月 28 日,本周五晚 20:00,F(xiàn)ounder Park 直播間,極客公園創(chuàng)始人&總裁 張鵬,將與百圖生科聯(lián)合創(chuàng)始人& CEO 劉維、深勢科技創(chuàng)始人&CEO 孫偉杰,一起探討大模型會如何改變生命科學(xué)。


關(guān)注 Founder Park,我們將持續(xù)推出更全面更深度的大模型相關(guān)討論與報道。

如果你有投身大模型創(chuàng)業(yè)的想法,歡迎加入我們的大模型相關(guān)領(lǐng)域交流群,來一起探討大模型時代創(chuàng)業(yè)的共識和認知。

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多