IT 作為一門(mén)專(zhuān)業(yè)學(xué)科的存在歸功于尋求從信息中獲得競(jìng)爭(zhēng)優(yōu)勢(shì)的公司。今天，組織充斥著數(shù)據(jù)，但處理和分析數(shù)據(jù)的技術(shù)往往難以跟上每臺(tái)機(jī)器、應(yīng)用程序和傳感器發(fā)出的源源不斷的遙測(cè)數(shù)據(jù)的洪流。

事實(shí)證明，對(duì)于基于結(jié)構(gòu)化數(shù)據(jù)庫(kù)的傳統(tǒng)信息系統(tǒng)而言，非結(jié)構(gòu)化數(shù)據(jù)的爆炸式增長(zhǎng)尤其具有挑戰(zhàn)性，這引發(fā)了基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的新算法的開(kāi)發(fā)。這反過(guò)來(lái)又導(dǎo)致組織需要為機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能工作負(fù)載購(gòu)買(mǎi)或構(gòu)建系統(tǒng)和基礎(chǔ)設(shè)施。

在今天的文章中，讓我們概述能夠使用 AI/機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的基礎(chǔ)架構(gòu)電腦配置要求

背景概述

這是因?yàn)閹缀螖U(kuò)展的非結(jié)構(gòu)化數(shù)據(jù)集、機(jī)器學(xué)習(xí) (ML) 和深度學(xué)習(xí) (DL) 研究的激增以及旨在并行化和加速 ML 和 DL 工作負(fù)載的成倍強(qiáng)大的硬件之間的聯(lián)系激發(fā)了對(duì)企業(yè) AI 的興趣應(yīng)用程序。IDC 預(yù)測(cè)，到 2024 年 AI 將變得普遍，四分之三的組織都在使用 AI，其中 20% 的工作負(fù)載和 15% 的企業(yè)基礎(chǔ)設(shè)施將用于基于 AI 的應(yīng)用程序。

企業(yè)將在云上構(gòu)建許多此類(lèi)應(yīng)用程序。但是，訓(xùn)練和饋送此類(lèi)算法所需的大量數(shù)據(jù)、將數(shù)據(jù)移動(dòng)并存儲(chǔ)在云中的高昂成本以及對(duì)實(shí)時(shí)或近實(shí)時(shí)結(jié)果的需求，意味著許多企業(yè) AI 系統(tǒng)將部署在私有的專(zhuān)用系統(tǒng)上。

在為人工智能增強(qiáng)的未來(lái)做準(zhǔn)備時(shí)，IT 必須應(yīng)對(duì)許多架構(gòu)和部署選擇。其中最主要的是人工智能加速硬件集群的設(shè)計(jì)和規(guī)范。由于其密度、可擴(kuò)展性和靈活性，一種很有前景的選擇是超融合基礎(chǔ)設(shè)施 (HCI) 系統(tǒng)。雖然人工智能優(yōu)化硬件的許多元素都高度專(zhuān)業(yè)化，但整體設(shè)計(jì)與更普通的超融合硬件非常相似。

機(jī)器學(xué)習(xí)、人工智能用例的流行基礎(chǔ)設(shè)施

大多數(shù) AI 系統(tǒng)運(yùn)行在 Linux VM 上或作為 Docker 容器運(yùn)行。事實(shí)上，大多數(shù)流行的 AI 開(kāi)發(fā)框架和許多示例應(yīng)用程序都可以作為來(lái)自 Nvidia 和其他公司的預(yù)打包容器映像提供。

流行的應(yīng)用程序包括：

• 計(jì)算機(jī)視覺(jué)，例如圖像分類(lèi)、對(duì)象檢測(cè)（在圖像或視頻中）、圖像分割和圖像恢復(fù)；
• 語(yǔ)音和自然語(yǔ)言處理、語(yǔ)音識(shí)別和語(yǔ)言翻譯；
• 文本到語(yǔ)音合成；
• 基于先前的用戶活動(dòng)和參考提供評(píng)級(jí)和建議的個(gè)性化內(nèi)容或產(chǎn)品的推薦系統(tǒng)；
• 內(nèi)容分析、過(guò)濾和審核；和
• 模式識(shí)別和異常檢測(cè)。

這些在各種行業(yè)中都有應(yīng)用，例如：

• 金融服務(wù)公司的欺詐分析和自動(dòng)交易系統(tǒng)；
• 在線零售個(gè)性化和產(chǎn)品推薦；
• 物理安全公司的監(jiān)控系統(tǒng)；和
• 石油地質(zhì)分析，用于天然氣和采礦公司的資源開(kāi)采。

一些應(yīng)用程序，例如網(wǎng)絡(luò)安全和 IT 運(yùn)營(yíng)自動(dòng)化系統(tǒng) (AIOps) 的異常檢測(cè)，跨越多個(gè)行業(yè)，基于人工智能的功能被納入各種管理和監(jiān)控產(chǎn)品。

AI 應(yīng)用需要大量存儲(chǔ)

將有一個(gè)用于 AI 和 ML 模型訓(xùn)練的海量歷史數(shù)據(jù)存儲(chǔ)庫(kù)，以及用于模型推理和預(yù)測(cè)分析的高速傳入數(shù)據(jù)流。機(jī)器學(xué)習(xí)和人工智能的數(shù)據(jù)集可以達(dá)到數(shù)百 TB 到 PB，通常是非結(jié)構(gòu)化格式，如文本、圖像、音頻和視頻，但包括半結(jié)構(gòu)化內(nèi)容，如 Web 點(diǎn)擊流和系統(tǒng)日志。這使得這些數(shù)據(jù)集適用于對(duì)象存儲(chǔ)或 NAS 文件系統(tǒng)。

AI 要求和核心硬件元素

機(jī)器和深度學(xué)習(xí)算法以數(shù)據(jù)為基礎(chǔ)。數(shù)據(jù)選擇、收集和預(yù)處理，例如過(guò)濾、分類(lèi)和特征提取，是影響模型準(zhǔn)確性和預(yù)測(cè)價(jià)值的主要因素。因此，數(shù)據(jù)聚合（整合來(lái)自多個(gè)來(lái)源的數(shù)據(jù)）和存儲(chǔ)是影響硬件設(shè)計(jì)的 AI 應(yīng)用程序的重要元素。

數(shù)據(jù)存儲(chǔ)和 AI 計(jì)算所需的資源通常不會(huì)同步擴(kuò)展。因此，大多數(shù)系統(tǒng)設(shè)計(jì)將兩者解耦，在 AI 計(jì)算節(jié)點(diǎn)中使用本地存儲(chǔ)設(shè)計(jì)為足夠大且足夠快以提供算法。

機(jī)器和深度學(xué)習(xí)算法需要大量的矩陣乘法和累加浮點(diǎn)運(yùn)算。這些算法可以并行執(zhí)行矩陣計(jì)算，這使得 ML 和 DL 類(lèi)似于像素著色和光線跟蹤等圖形計(jì)算，這些計(jì)算由圖形處理器單元 (GPU)大大加速。

但是，與 CGI 圖形和圖像不同，ML 和 DL 計(jì)算通常不需要雙精度（64 位）甚至單精度（32 位）精度。這允許通過(guò)減少計(jì)算中使用的浮點(diǎn)位數(shù)來(lái)進(jìn)一步提高性能。因此，盡管近十年來(lái)早期的深度學(xué)習(xí)研究使用了現(xiàn)成的 GPU 加速卡，但領(lǐng)先的 GPU 制造商英偉達(dá)已經(jīng)建立了一條單獨(dú)的數(shù)據(jù)中心 GPU 產(chǎn)品線，專(zhuān)為科學(xué)和人工智能工作負(fù)載量身定制。

電腦配置要求和硬件

AI 工作負(fù)載的典型服務(wù)器設(shè)計(jì)

對(duì)AI性能最關(guān)鍵的電腦組件配置如下：

• 中央處理器： 負(fù)責(zé)操作 VM 或容器子系統(tǒng)，將代碼分派到 GPU 并處理 I/O。當(dāng)前產(chǎn)品使用第二代 Xeon Scalable Platinum 或 Gold 處理器，盡管使用第二代（羅馬）AMD Epyc CPU 的系統(tǒng)正變得越來(lái)越流行。當(dāng)前一代 CPU 增加了可顯著加速 ML 和 DL 推理操作的功能，使其適用于利用先前使用 GPU 訓(xùn)練的模型的生產(chǎn) AI 工作負(fù)載。
• 圖形處理器： 處理 ML 或 DL 訓(xùn)練和（通常）推理，這是基于學(xué)習(xí)自動(dòng)分類(lèi)數(shù)據(jù)的能力，通常使用 Nvidia P100（Pascal）、V100（Volta）或 A100（Ampere）GPU 進(jìn)行訓(xùn)練，以及 V100、A100或 T4（圖靈）進(jìn)行推理。AMD 的 Instinct (Vega) GPU 在系統(tǒng)供應(yīng)商中的滲透率并不高。然而，一些 OEM 現(xiàn)在提供 1U-4U 或 Open Compute Project 21 英寸外形的產(chǎn)品。
• 內(nèi)存： AI 操作從 GPU 內(nèi)存運(yùn)行，因此系統(tǒng)內(nèi)存通常不是瓶頸，服務(wù)器通常具有 128 到 512 GB 的 DRAM。當(dāng)前的 GPU 使用嵌入式高帶寬內(nèi)存 (HBM) 模塊（Nvidia V100 為 16 或 32 GB，A100 為 40 GB），它們比傳統(tǒng)的 DDR4 或 GDDR5 DRAM 快得多。因此，具有 8 個(gè) GPU 的系統(tǒng)可能具有總計(jì) 256 GB 或 320 GB 的 HBM 用于 AI 操作。
• 網(wǎng)絡(luò)： 由于 AI 系統(tǒng)通常聚集在一起以擴(kuò)展性能，因此系統(tǒng)具有多個(gè) 10 gbps 或更高的以太網(wǎng)接口。有些還包括用于集群內(nèi)通信的 InfiniBand 或?qū)Ｓ?GPU (NVLink) 接口。
• 存儲(chǔ) IOPS：在存儲(chǔ)和計(jì)算子系統(tǒng)之間移動(dòng)數(shù)據(jù)是 AI 工作負(fù)載的另一個(gè)性能瓶頸。所以大多數(shù)系統(tǒng)使用本地 NVMe 驅(qū)動(dòng)器而不是 SATA SSD。

總結(jié)

GPU 一直是大多數(shù) AI 工作負(fù)載的主力，英偉達(dá)通過(guò) Tensor Cores、多實(shí)例 GPU（并行運(yùn)行多個(gè)進(jìn)程和 NVLink GPU 互連）等功能顯著提高了它們的深度學(xué)習(xí)性能。然而，對(duì)速度和 效率的日益增長(zhǎng)的需求 催生了大量新的人工智能處理器，如谷歌的 TPU、英特爾 Habana 人工智能處理器、Tachyum 通用處理器、Wave AI SoC 或基于現(xiàn)場(chǎng)可編程門(mén)陣列 (FPGA) 的解決方案，如 Microsoft Brainwave、云中人工智能的深度學(xué)習(xí)平臺(tái)。

呆貓?jiān)谱烂娑嗫罡叨藱C(jī)型選擇，輕松暢享高配

企業(yè)可以通過(guò)選擇正確的配置和系統(tǒng)組件，將任何超融合基礎(chǔ)設(shè)施或高密度系統(tǒng)用于 AI。不過(guò)隨著深度學(xué)習(xí)以及人工智能對(duì)電腦的要求越來(lái)越高，還是推薦大家選擇呆貓?jiān)谱烂?/span>輕松解決電腦配置瓶頸，輕松辦公研究人工智能和深度學(xué)習(xí)。

呆貓?jiān)谱烂?/strong>后臺(tái)可配置的CPU機(jī)器數(shù)量上不封頂，同時(shí)針對(duì)GPU機(jī)型呆貓?jiān)O(shè)有天璇型、天璣型、天樞型三種選項(xiàng)，所有GPU機(jī)型皆配備N(xiāo)VIDIA專(zhuān)業(yè)級(jí)頂配顯卡。

呆貓?jiān)谱烂?/strong>在科學(xué)計(jì)算、渲染、游戲、辦公等應(yīng)用場(chǎng)景下的表現(xiàn)自不必說(shuō)，玩大型游戲更是小菜一碟，擁有呆貓相當(dāng)于把超級(jí)電腦放進(jìn)口袋，隨時(shí)隨地都可暢享高配，滿足移動(dòng)辦公、人工智能、三維建模、視覺(jué)設(shè)計(jì)、影視制作、教育培訓(xùn)、動(dòng)畫(huà)渲染、娛樂(lè)暢玩等多場(chǎng)景應(yīng)用。