|
本帖最后由 nighttob 于 2014-7-29 23:42 編輯 此帖為本人補檔，內(nèi)容經(jīng)過合并整理并修改，故與原帖不同。 這是我的“家庭服務器補完計劃”的硬件部分，本文里主要是談這塊板子，順帶提及一些服務器的事。 （軟件篇，完成篇） 這塊板子已經(jīng)被我覬覦了快2年了，最近才入手。遲疑這么久是因為一直有很多顧慮，事實證明這些顧慮都是現(xiàn)實的，而且還有些意想不到的問題。 因為剛入手沒幾天，所以在這里只是一個上手體驗。 一、主板概況 首先來個開箱照（都是手機照的），順便簡單介紹一下這塊板子。 Intel S1200BTL，標準ATX版型，C204芯片組，支持SNB/IVB這兩代Xeon E3系列、i3系列、奔騰和賽揚系列，僅支持非緩沖ECC內(nèi)存（最大內(nèi)存頻率取決于CPU），具備BMC和板載PCI顯卡（128MB專用內(nèi)存，其中8MB用于顯卡），支持TPM模塊（插針）。其他的下面配圖說。 盒子外面就不說了，服務器板子的包裝很素，側面有型號、序列號、部件號等等的貼紙。 打開盒子里面就是這些東西，當然內(nèi)存是賣家發(fā)貨時候一起塞里面的，買板子當然不可能送內(nèi)存。然后就是一塊擋板、一張管理工具盤、兩條SATA線（沒有鐵扣）、一張A2幅的快速安裝說明(QIG)、一份聲明清單還有一個貼在擋板上的不干膠貼紙標簽。值得一說的就是這塊擋板真是夠沉，這一塊的分量有我摸過其他消費級的至少5倍沉。QIG是全彩印刷的，但是上面沒寫前面板(FrontPanel)的插法，因為服務器主板是按照SSI標準設計的，有SSI標準化的前面板接口/插針，對拿到一般塔式機箱里用的來說就得翻說明書自己看詳細定義了，這個后面會說到。 下面一層放著主板，裝在防靜電袋里，由一張不干膠貼紙封著。 主板本體就長這樣，可以看到布局跟消費級主板還是有不少差異的，比如CPU和內(nèi)存槽方向、ATX24pin位置、電容電感用料、還有插針和跳線等等。不明白的話想想服務器都是機架式的，一排暴力扇從前吹到后就明白了。ATX24pin放在靠上的位置也是機架式考慮，因為電源就在旁邊，或者說是傳統(tǒng)ATX塔箱的電源上置，對于現(xiàn)在電源下置的機箱來說，走線距離就有點長了。至于電容電感這些嘛，服務器板子上見全固態(tài)是比較難的，本來這些用料就是足夠的，能在7x24的高密度環(huán)境運行3年的料肯定不會差，而且這玩意沒人會盯著看，不像消費級“上檔次”至少要裝點點門面啥的，沒個全固態(tài)連最起碼的噱頭都沒有。插針和跳線就很復雜了，很多都是服務器功能用到的，不看說明書很難能一眼就知道是做什么用的，而且我基本也用不到。 擴展方面，4條PCIe，從上到下實際帶寬分別是x8(CPU), x4(CPU), x4(CPU), x4(PCH)，前三條PCIe版本取決于CPU；1條原生PCI，5v 32bit 33MHz。跟桌面主板一樣2個SATA 6Gbps和4個3Gbps，在RST RAID模式下支持RAID 0/1/5/10，在ESRT2模式下支持RAID 0/1/10。5個4pin(PWM)風扇插口，其中一個為CPU風扇。1個RoC模組接口，用來插RAID模塊的，使用的是另外一組CPU來的x4 lans。還有USB插針、串口插針這些不說了。 背板也很簡單，一個串口、一個板載顯卡出來的VGA、四個USB2.0和兩個RJ-45。因為是雙網(wǎng)卡，左側那個口是82574L，是“獨立的”，連接著BMC；右邊的那個口是82579LM，是個PHY。在串口左側有一排共10個LED燈，用作狀態(tài)指示和debug用，最左邊兩個是狀態(tài)燈，中間兩組4個的就相當于消費級主板上的DEBUG LED，因為機架式服務器不可能讓你開機箱蓋看，因此就做在背板上了，這也是很巧妙的做法，當然在塔式機箱上就未必好用了。 沒有聲卡，服務器有蜂鳴器就OK了，不需要音頻輸出。 BMC芯片，左邊的是BMC專用內(nèi)存，128MB，其中8MB給集顯用。集顯完全沒有3D功能，支持最大分辨率1600 x 1200@52Hz 32bit色深。 主板的大概就說到這兒，這上面我不認識的芯片太多，原件用料我也不熟就略過了。 之前的描述不好理解的話，看框圖就明白了。 二、準備階段 然后說為什么選這塊板子。 第一，這是Intel的……不是因為我是I飯，主要是Intel原廠板子的兼容性更佳、擴展性強、功能豐富（能不能用到是另外一回事）。 有過折騰虛擬機，特別是ESXi經(jīng)驗的同學肯定都知道，消費級板子上各種“雜牌”（包括但不限于Realtek、Qualcomm Atheros）網(wǎng)卡驅(qū)動問題十分捉急，虛擬機方案都是推薦Intel和BCM網(wǎng)卡。當然我們可以插獨立網(wǎng)卡，但這要再買不是么，既然板子上有那就要利用起來。 因為日后可能會上硬RAID卡，所以這方面的兼容性也要考慮到。當然現(xiàn)今的硬卡并不太挑板子，除非是OEM型號。這也涉及到一個PCIe插槽夠不夠用的問題，也就是擴展性。S1200BTL這塊板子是x8+x4+x4+x4布局，還有另外一個x4是給RoC模塊準備的，也就是完整的CPU 16(20)lans+PCH 4lans。而消費級板子如果這么分配PCIe lans的話，價格就要高出不少了，而且對服務器來說，PCIe切換開關和PLX橋接是不必要的。在花多少錢干多少事這個衡量標準上，這塊板子顯然更優(yōu)。 既然是服務器板子，那么相應的管理功能都是具備的，就包括IPMI(Intelligent Platform Management Interface)。IPMI是一套獨立于系統(tǒng)硬件的管理設備，能在系統(tǒng)啟動前和系統(tǒng)運行中對系統(tǒng)進行監(jiān)控和管理，而且這個管理不限于本地，也是可以通過RJ-45進行遠程管理的，比如KVM和USB重定向功能。這在服務器上是常見或者必備功能，當然自己家用這方面的需求就小得多。除了IPMI，BIOS的項目也比一般消費級板子多，當然涉及到超頻的就沒有了。（IPMI部分內(nèi)容見后面補充） 第二，ECC內(nèi)存支持。 對服務器來說ECC內(nèi)存是必要的，但對個人用來說就未必了。對存儲的好處來說就是能最大程度避免寫入進盤的數(shù)據(jù)因為內(nèi)存錯誤導致數(shù)據(jù)損壞。這種數(shù)據(jù)損壞是靜默的，除非再次讀取檢查，否則很難直接發(fā)現(xiàn)。像我們超頻，特別是超內(nèi)存，如果不穩(wěn)定突然藍屏了，重啟以后進不去系統(tǒng)，就是內(nèi)存出錯，寫入進盤的數(shù)據(jù)損壞，然后系統(tǒng)崩了。當然默認用的話，內(nèi)存不太容易出錯，但內(nèi)存使用率高，開機時間長還是有可能出錯的。而服務器都是7x24長時間運行，這就需要ECC內(nèi)存做保障。對家用來說，ECC作用并不顯著，畢竟內(nèi)存出錯率是比較低的。至于糾結于此的人，我只能說如果你意識到這一層面，而且覺得有必要的話，那就上ECC，值與不值就看你對數(shù)據(jù)的重視程度了。 第三，現(xiàn)有資源最大化利用。 主板上最關鍵的東西就是CPU，因為手里有個E3-1230v2，配給服務器用更合適。本來想給E3這匹馬配的鞍就是這塊板子，因為顧慮一些問題所以換成了E3+Z77這樣一個“另類”配置，現(xiàn)在準備充足了就可以實現(xiàn)計劃了。 接著說說我之前的顧慮。 上面說過E3配普通主板是“另類”，但我為什么不一開始就選這塊板子呢？我是把前期工作盡量做足那種類型的，在選板子的時候我把幾個備選方案的說明書都看過了，各種配置和功能的情況都有了解。 最開始沒選擇這塊板子的原因： 1 沒有集成聲卡。服務器當然不會集成聲卡的。工作站主板會有集成，而且還會有核顯輸出，比如華碩P8B-WS。想解決聲卡這個問題也并不困難，買個PCI聲卡就完了，或者用獨顯HDMI直接輸出。但這塊板子的PCIe插槽總是有限的，而且并沒有x1的槽可以給這些低速設備用，全插x4上，那一共也沒法插幾個，何況性能級獨顯一個就要霸占兩條的位置。其實這也是服務器主板和桌面主板設計上的區(qū)別，服務器上很少有用PCIe x1的設備，想給日用主機配備服務器主板，在這方面就會受到限制。 2 BIOS設置上的陷阱。這是通過閱讀說明書發(fā)現(xiàn)的。消費級主板是從易用出發(fā)的，而服務器主板是從可靠可用出發(fā)的，兩者的設計思路不同，給最終用戶的使用就會帶來區(qū)別。最直觀的一點就是桌面主板絕大部分都是圖形化UEFI BIOS界面了，而服務器板子依然是藍底白字，當然這也是UEFI BIOS。由于有IPMI，所以有一部分功能的實現(xiàn)與消費級主板有較大差異。舉個例子就是，桌面主板上調(diào)風扇轉速可以直接在BIOS里面設置好，并且可以在圖形化BIOS里面看到，而在S1200BTL這塊板子上是沒有風扇轉速選項的，主板有自己的一套策略(FRU/SDR)，甚至限制在只有CPU風扇接通的情況下強制滿轉速，風扇轉速也需要通過IPMI的途徑獲得。 3 軟件上的限制。硬件只是平臺，要使硬件發(fā)揮作用還要靠運行的操作系統(tǒng)和軟件。服務器板子不會明確寫對客戶端系統(tǒng)（比如Win7、Win8這樣的）的支持，所有的配套軟件都寫支持Windows Server。雖然說即使是日常使用，用Windows Server也是完全沒問題的，需要自己進行設置和修改很多東西。但這明顯要多費不少勁，在不是當服務器用的情況下，我覺得并不合算。 綜合這些顧慮，2年前還是沒買這塊板子。 三、實裝階段 不得不說我買的這個時段很糟糕（1月20日下單），畢竟沒幾天就春節(jié)了，這也算是趕最后一班車。雖然有不少網(wǎng)購經(jīng)驗，但大家都知道臨近長假，如果貨一切正常那么都好說，如果被DOA光環(huán)籠罩，那真是可以郁悶一整個假期，我這回就算遇到了。 問題是什么呢，一條內(nèi)存是壞的。ECC內(nèi)存可以在運行中保證數(shù)據(jù)不出錯，但沒法辦保證自己不會壞。等我發(fā)現(xiàn)是內(nèi)存壞的時候，賣家都回老家了，但是已經(jīng)答應節(jié)后馬上給售后了。好在只是壞了一條內(nèi)存，只有一條也能用。（過完節(jié)，賣家也把DOA的內(nèi)存給換新了） 非緩沖ECC內(nèi)存條比普通內(nèi)存條多了一個顆粒，這個顆粒就是用來做校驗用。非緩沖ECC內(nèi)存條可以在桌面主板上用，但普通內(nèi)存條不一定能在要求使用ECC內(nèi)存的主板上用。圖中下面那條內(nèi)存是壞的那條。 這次升級服務器一共買了4樣東西，S1200BTL這塊主板、兩條4G ECC內(nèi)存、一塊亮機卡 HD6450、還有一條PCIe延長線。為什么要有亮機卡，這是因為我需要服務器有3D能力，而BMC里面的集顯是不行的。更重要的是主板上沒有聲卡，要靠亮機卡的HDMI輸出提供聲音。正好接服務器用的顯示器是有HDMI輸入的，而且有內(nèi)置喇叭，這樣一條HDMI就解決全部問題了。至于說延長線，這也是給亮機卡準備的。顯然對于亮機卡來說占用x16的槽位十分浪費，不如留給陣列卡用，另外也附帶測試接口和帶寬兼容性，測試表明顯卡和陣列卡在x8和x4模式下都能正常工作，陣列卡跑在x4模式下也并沒有損失性能。所以目前就是沒用延長線，兩張卡都直接插在插槽里。 還是要說一下亮機卡，因為是做了要用延長線的準備，而且不能讓顯卡占用太多空間，所以就選擇了一個半高單槽的卡，正好有很多6450很合適，就隨便挑了一張。顯卡的性能并不是主要訴求，最重要的功能是HDMI視頻和音頻輸出，所以并沒有選擇更高端的，也用不到更高端的。 HD 6450亮機卡，另外要了一套半高用的擋板。其實還可以選擇更低端一點的。 裝機過程就跟通常一樣，除了某些接口的位置不同，需要重新走線以外。這里需要說的一點就是前面板的接法，之前說過服務器主板遵循SSI標準，但QIG上并不告訴你哪個pin是怎么定義的，這就要查說明書了。 稍微解釋一下，因為文字表達跟咱們通常見的桌面主板并不一樣。pin11和pin 15比較容易認，一個是開機鍵，一個是重啟鍵，旁邊pin13/17是它們的GND。然后pin5和pin9就是電源指示燈和硬盤活動指示燈（的負極），旁邊兩個P3V3是它們的正極。如果細心的話會發(fā)現(xiàn)，咱們手里機箱的前面板插頭只有電源指示燈是兩個分開的，原因就在這里，隔過了一個未連接(N/C)作為防呆設計，它的正極在pin1，而pin7是給硬盤活動指示燈做正極的。其余的針腳就不用管了，一般的塔式機箱也沒有那么多引線，這些就是給服務器前面板用的了，看文字說明也能看出大概意思。 四、試運行 在有IPMI的板子上，只要ATX電源接通，IPMI就開始工作了，這時候就可以看到背板上的LED有活動。如果IPMI發(fā)現(xiàn)有早期故障，比如輸入電壓偏離過大，就會亮燈指示，并阻止開機。 冷啟動狀態(tài)下，按下電源按鈕，首先進行的也是IPMI的自檢，要等大概15秒才會轉到BIOS的POST過程。在這15秒內(nèi)是沒有任何顯示輸出的，在我不知道是內(nèi)存問題的時候，只能看到一直沒有顯示輸出，同時蜂鳴器一聲長，ID狀態(tài)燈是橘色閃爍，DEBUG燈顯示41。但是Intel的說明書并沒說41這個代碼代表什么，橘色燈閃爍的意思是非關鍵故障，比如電壓偏離或者CPU過熱等，因此我甚至把CPU重新拆裝了一下才想到換內(nèi)存，結果拆下一條就果斷好了。緊接著就是風扇轉速的問題，近4000轉的風扇全速轉的噪音是無法接受的，在不能立即找到解決方案的情況下只能先用i3自帶的原裝風扇了，這個扇子即使全速聲音也不大。但因為換風扇時候硅脂沒涂好，中途還過熱保護了一回，這還是第一次看到CPU頻率200MHz，然后直接斷電了。 最開始試用時裝的操作系統(tǒng)是Win8.1，發(fā)現(xiàn)了幾個問題。一個是雙網(wǎng)卡其中的82574L沒有Intel的Win8.1官方驅(qū)動，只能用系統(tǒng)自帶的，另外一個82579LM是沒問題。這一點倒是并不影響使用，不能裝Intel驅(qū)動就是沒有分組和鏈路管理這些高級功能，正常的TCP/IP收發(fā)還是完全沒問題的。另一個是IPMI管理軟件ASC裝不上，雖然要求禁用UAC，但依然是安裝過程中卡進度條，所以放棄了。 后來換成Windows Server 2012 /R2，結果沒有顯卡驅(qū)動，確切地說是A卡的CCC控制臺功能不全，導致無法進行HDMI縮放（過掃描、欠掃描）?？偭粢粋€大黑邊是嚴重影響桌面使用的，所以接著就換了Win8用。 Win8用的就比較久了，大約三個月。 宿主系統(tǒng)的Win8只作為存儲用，除了必要的RAID管理軟件和硬盤監(jiān)控軟件以外就是VMware Workstation。開三個虛擬機，一個作為下載用，下載目標盤在從宿主機映射過去的一個共享文件夾里；另一個作為父母的游戲機，直接在另外一個賬戶上開機自動啟動VMware Player并全屏，用起來就跟單獨一臺物理機一樣；再一個用來壓片的虛擬機（直接在宿主機上壓可能導致虛擬機資源不足）。宿主系統(tǒng)和下載機系統(tǒng)都通過遠程桌面管理，板載的其中一塊網(wǎng)卡直接橋接給下載機，這樣不用VNC協(xié)議也能在LAN內(nèi)直接遠程到，而且不會受到NAT帶來的轉發(fā)影響。在此期間還把主板的BIOS、BMC固件、ME固件、FRU和SDR固件全升級到最新版了，順便更新了FRU/SDR信息。如果在FRU/SDR里面不確認風扇連接，在IPMI里就看不到相應的風扇轉速。 現(xiàn)在是換成ESXi環(huán)境了，詳細的說明見軟件篇和完成篇。 五、總結 這個帖子也就是從我新上手的角度去記述一塊千元內(nèi)的服務器主板。就跟我之前說過的RAID作為存儲方案一樣，提供一點經(jīng)驗給有類似需求（或者糾結）的人。對我個人來說折騰的意義還是大于實際意義的，當然真正用起來還是踏實放心不少。 可能很多人覺得自己家用并不需要IPMI，頂多有個ECC內(nèi)存支持，寬PCIe槽多點，而且最好還能是小板子就行了，那么可以推薦S1200BTS。受限于規(guī)格，大部分擴展都要比S1200BTL少那么一點，但大部分功能與S1200BTL是相通的。 如果想深入了解一下這兩塊板子的話，還是自己看說明書好了。 關于IPMI。 如前文所說，IPMI是給服務器平臺用的管理和監(jiān)控機制。關于這個，專業(yè)的介紹有很多，我這里只就S1200BTL這塊板子來說。 有三個途徑可以訪問到IPMI或者說BMC——網(wǎng)絡，Intel Active System Console（ASC）軟件，以及像AIDA64這樣能看到IPMI信息的軟件。一個一個來說。 網(wǎng)絡是最常用的途徑，可用性也是最高的。配合獨立的RMM4遠程管理端口不僅可以實現(xiàn)基本的遠程管理和監(jiān)控功能，還可以提供KVM和USB重定向等功能。RMM4卡和模塊是要單獨購買的，我這里沒有這個需要，這方面也就不多說了。 類似于我們做軟路由、DIY NAS或者ESXi那樣，要打開網(wǎng)絡遠程管理功能都需要在本地進行一些基本設置，然后就是完全遠程操作了。這里就是要在BIOS里面給BMC的LAN端口指定IP地址和訪問賬戶，這個在說明書第85頁有介紹。注意的是，遠程訪問BMC的功能不可能被禁用，只能可以使之無效化，比如不給分配IP、禁用管理賬戶或者干脆不插網(wǎng)線，但IPMI的功能都是一直運作著的。 如圖所示，要想遠程管理IPMI就是要設置一下IP和賬戶。因為我沒有RMM4卡，所以RMM4那一塊不用理會，但這個地方默認是有信息的。需要手動設置的是上面的'Baseboard LAN configuation'，一般只要把靜態(tài)IP改成動態(tài)IP就可以，讓路由的DHCP自動給LAN口分配地址就行。之前說過，BMC會使用82574L那個LAN口（背板左側那個），所以這個口要有網(wǎng)線連到路由上。如果只是實現(xiàn)基本的管理功能，對路由或者交換機并沒有特殊要求，只要確保連線暢通，能讓BMC或得到IP就行。可能有人還會問BMC用了82574L這個網(wǎng)卡，那么這個網(wǎng)卡是不是就是給BMC專用了呢？答案是否定的，這個網(wǎng)卡，或者說左側這個LAN口，同時作為板載的一顆獨立網(wǎng)卡及BMC的PHY存在，也就是說這個LAN口有兩個IP地址，一個是網(wǎng)卡的，一個是BMC的。設置好BMC LAN設置并重啟以后，就能在這里看到DHCP分配的IP地址，當然也可以手動指定一個。 如圖所示，在NC-SI（BMC側）那一路和PCI-E這一路之間是有一個交換機制的，所以可以同時用兩邊。 別忘了啟用一個管理員賬戶，只是個人用的話，使用'root'賬戶，具備管理員權限，再設置一個登陸密碼并確認。 保存并重啟以后就能從任何本地LAN內(nèi)的設備通過瀏覽器訪問到BMC了，就跟我們訪問路由管理頁面一樣。 使用設置好的賬戶名和密碼就可以登陸進去。 主頁只有基本信息，告訴你電源狀態(tài)、BMC版本、ME版本等。（功能頁面我不會每個都說） FRU這一頁主要說的是機箱。因為我這里用的既不是標準服務器機箱，也不是Intel的原廠1U服務器系統(tǒng)，所以這里大部分信息是空著的。在更新FRU信息的時候，可以自己定義部分內(nèi)容，但這不影響使用。 這里可以看到插了幾條內(nèi)存。 傳感器數(shù)據(jù)，可以在這里看到BMC芯片溫度、各處風扇轉速，還有各個輸入電壓等。這里還會報告CPU和內(nèi)存溫度，但表達方式并不是一般的溫度顯示，而是相對于溫度上限的值，是一個負數(shù)。CPU的溫度可以用CPU的Tj.max=105℃換算一下，內(nèi)存的溫度上限大約是80℃。下一頁事件查看器里面會列出自上次清除以來的所有事件，因為我這不是完全的服務器系統(tǒng)，因此會報告很多關鍵或者非關鍵事項。 電源控制，可以遠程開關機、重啟。上一頁“控制重定向”頁面就需要RMM4卡才能使用了。 在沒有RMM4卡的情況下，IPMI的遠程管理功能十分有限，實用的也就是開關機重啟這個了，還有錯誤事件郵件報告這些功能（我用不到）。另外就是在AIDA64等軟件上看不見的風扇轉速也可以在這里看到，但這里反而沒有CPU溫度的報告。 然后是服務器本地的ASC軟件。之前這個軟件無法在Win8.1上安裝，到了Win8和Server 2012上就沒問題，看來NT內(nèi)核即使0.1的更新，也能干掉不少東西。也有可能未來Intel更新了軟件版本也就能在NT6.3上用了。 這個軟件很像我用這的HighPoint RAID Management Web GUI管理軟件，都是以Web GUI形式存在的。軟件安裝完成以后會讓你設置初始用戶名和密碼，并不強制強密碼，但弱密碼會給你警告。 需要管理員權限，瀏覽器打開以后會告訴你證書錯誤……反正是本地的，繼續(xù)吧。然后就是跟大部分Web GUI差不多，用戶名密碼登錄。 之后就是總的儀表板，可以點進各個頁面去看具體的。畫叉的那個就是有錯誤信息提示，嚴重的錯誤提示會在下面時間的框上滾動，有錯誤提示還是因為不是服務器兼容系統(tǒng)的緣故。 ASC里面提供的信息大體上跟IPMI遠程管理的一致，但更細致也更好看一些……因為大部分重復，就不上圖了。還要說的就是，ASC也會犯烏龍，比如這個也就只能眼不見心不煩了…… 最后就是我們都非常熟悉且喜歡的工具——AIDA64。 由于BMC的存在，AIDA并不能支持讀取到ACPI給的主板風扇信息，只能通過IPMI取得。而一般的主板沒有BMC，也就不會有IPMI信息，所以這個地方通常是空白的，但在具備BMC的服務器主板上就會有信息了。 傳感器數(shù)據(jù)。 事件查看器。 IPMI這兩頁跟BMC遠程管理和ASC里面提供的一樣，但AIDA64并不可能像前兩者那樣提供管理功能，只能做到讀取監(jiān)控數(shù)據(jù)而已。如果只是想知道CPU風扇現(xiàn)在轉多塊，用AIDA64是正合適，因為前兩者反而不能提供CPU溫度數(shù)據(jù)。 BMC，或者說IPMI就先簡單介紹到這兒。更多高級功能需要配合額外的硬件才能實現(xiàn)，在我這里就沒有必要了。 補檔備考 1. 將原帖補充的內(nèi)容整合進主貼。增強了同軟件篇和完成篇之間的關聯(lián)度。 2. 部分圖片重新截取。但IPMI介紹部分只保留了縮略圖，所以效果不好。 |
|
|
