生活分享

AI 伺服器怎麼組成：晶片、記憶體、封裝、組裝、散熱與電力

AI 伺服器怎麼組成？由內而外拆解：加速器晶片、高頻寬記憶體（HBM）、先進封裝、主機板與整機、網路、散熱與供電。依國際能源總署（IEA）、電機電子工程師學會（IEEE）與美國冷凍空調工程師學會（ASHRAE）等公開文件，說明每一層在做什麼、高密度機櫃為什麼改用液冷、供電為什麼朝 800 伏特直流發展，以及全球資料中心用電的最新估計。

閱讀時間約 7 分鐘

米色底上，左邊一座深色機櫃排著八層伺服器，機櫃左側有兩條藍色冷卻水管，底部的橘色電線接到閃電符號；其中一層被橘框圈出，用虛線放大到右邊的圓圈，圈裡是一顆青綠色晶片、兩側各一疊藍色記憶體，晶片上方接著冷卻管；圓圈下方寫著「從晶片到機櫃」
圖片：Mokaair (© Mokaair)

一台 AI 伺服器由內而外分成七層：加速器晶片負責運算，高頻寬記憶體與先進封裝決定資料送得多快，主機板、整機與網路把大量晶片連成一體，散熱與供電決定能不能長時間滿載。

以下逐層說明每層在做什麼、新聞常見的名詞是什麼意思，最後看 IEA 對資料中心用電的估計。

由內而外的七層

最裡面是加速器（accelerator），例如圖形處理器（GPU）與特定用途積體電路（ASIC）；旁邊緊貼著記憶體，一起裝進封裝，再和中央處理器（CPU）、網路卡組成伺服器，多台伺服器裝進機櫃。

結構圖：中間一層包一層，由內而外是加速器晶片與兩側的 HBM、先進封裝、主機板與整機、機櫃與網路交換器；左邊是由電網送到晶片的供電路徑，右邊是由晶片帶熱到機房的散熱路徑
中間的方框由內往外讀；供電從左邊往內送，熱從右邊往外帶。 · 圖片：Mokaair (© Mokaair)
七層的分工與限制，查證於 2026 年 10 月。
層做什麼常見名詞目前的限制
加速器大量平行計算GPU、ASIC單顆晶片功率越來越高
高頻寬記憶體把資料即時送進加速器HBM、堆疊層數IEA 預期短缺至少到 2027 年底
先進封裝把運算晶片和 HBM 放在一起中介層、2.5D、3D、小晶片2025 年高階封裝產能不足
主機板與整機組成一台伺服器主機板、大型機櫃機櫃更重，承重要求更高
網路讓大量晶片一起算縱向擴展、橫向擴展資料搬移的耗電占比上升
散熱把熱帶離晶片與機櫃氣冷、冷板液冷、浸沒式高密度機櫃逐漸超出氣冷能力
供電從電網降壓送到晶片不斷電系統、電池、800 伏特直流負載在一秒內大幅擺動

加速器與 HBM：運算常卡在記憶體

加速器越快，越需要把資料即時送進去。高頻寬記憶體（High Bandwidth Memory，HBM）把多層記憶體晶片垂直疊起來，用很寬的介面連接，資料傳輸率遠高於一般記憶體模組。HBM 的標準由微電子產業標準組織 JEDEC（固態技術協會）制定，每一代的介面寬度、頻寬與可疊層數，以官方公告為準。

需求成長得比產能快。IEA 引用的產業估計，領先的 GPU 系統記憶體從 2023 年不到 150 GB，到 2027 年將超過 1,000 GB；而同樣的容量，HBM 要用掉一般記憶體三倍的晶圓產能。2025 年下半年起，高階記憶體也成了 AI 伺服器生產速度的限制。

先進封裝：把運算晶片和記憶體放在一起

封裝是晶片製造的最後一步，把晶粒包起來，並提供供電與散熱的路徑。先進封裝（advanced packaging）把運算晶片和 HBM 放進同一個封裝：並排放在一片中介層（interposer）上稱為 2.5D，直接疊在運算晶片上方稱為 3D。

HBM 的連線很寬，並排擺放較容易做到；疊在上方線路更短，但要克服散熱與大量導通孔的難題。連線越短，資料搬移越快也越省電。同一個封裝裡也可以放幾顆功能不同的小晶片（chiplet）。

封裝也是產能限制，IEA 把 2025 年高階晶片的封裝產能列為資料中心建置的限制之一。

主機板、整機與網路：讓很多顆晶片像一台電腦

伺服器把多顆加速器、中央處理器、儲存與網路卡裝在一起。晶片越集中在同一個機櫃，延遲與電力損耗越小，但機櫃也越重：美國冷凍空調工程師學會（ASHRAE）2026 年的技術簡報提到，高效能運算的趨勢是改用 800 或 1,200 公釐的大型機櫃，地板與天花板的承重要求也較高。

網路分兩種。縱向擴展（scale-up）把同一個運算叢集（pod）裡的加速器直接連起來，讓它們讀寫彼此的記憶體；開放標準 UALink（超加速器連結，Ultra Accelerator Link）1.0 版每條通道 200G，最多連 1,024 顆加速器，走銅線，不加中繼器時距離只有幾公尺。橫向擴展（scale-out）再把這些叢集連成整座資料中心，超乙太網路聯盟（Ultra Ethernet Consortium）以乙太網路為基礎制定這一層的標準。

IEA 指出，資料搬移與晶片互連占 AI 系統耗電的比例越來越高；把光學元件和交換器晶片封裝在一起的共同封裝光學（co-packaged optics），已開始初步量產，用在機櫃之間的交換器。

散熱：高密度機櫃從氣冷走向液冷

熱來自功率密度。IEA 以一家 GPU 廠商的機櫃為例：2020 年的架構每櫃 32 顆晶片，約 13 kW；目前的架構每顆 1,000 W、每櫃 72 顆，約 130 kW；已宣布的下一代約 600 kW。到 2027 年，一個冰箱大小的機櫃，峰值用電可能相當於約 65 戶家庭。

氣冷靠風扇，ASHRAE 2021 年的白皮書指出，部分高密度伺服器的風扇用電占 10% 到 20% 並不少見，照這個比例，50 kW 的機櫃光是風扇就至少 5 kW。液冷用液體帶走熱，目前快速普及的是直接對晶片（direct-to-chip）液冷：晶片貼上冷板（cold plate），冷卻液經冷卻液分配單元（CDU）把熱交給機房的冷卻水。另一種是浸沒式冷卻，把設備整個泡進冷卻液槽。

冷卻占多少電，差距很大：IEA 估計從高效率超大型資料中心的約 7%，到效率較差的企業機房超過 30%。常用的指標是電力使用效率（Power Usage Effectiveness，PUE），即機房總用電除以資訊設備用電，數值越低越有效率：頂尖的超大型資料中心約 1.1 到 1.2，較舊或企業自營的約 1.5 到 1.7。

供電：從電網降壓好幾次才到晶片

電從電網進來，經過變壓器、不斷電系統（UPS）與電池分配到機櫃，再一路降壓到晶片用的低電壓。IEA 整理的方向是把配電電壓從常見的 400 伏特提高到 800 伏特，並從交流改為直流：電壓加倍，傳送同樣功率的銅線可縮小為四分之一，改用直流也能減少轉換次數。

AI 的用電還會劇烈擺動。大量 GPU 同步運算，用電也跟著同步起伏，曾有 AI 資料中心在不到一秒內擺動數十百萬瓦（MW），約為額定容量的一半；機房因此搭配電容吸收毫秒級的變化、電池處理較長的時間，機櫃上也開始裝備援電池。

資料中心用多少電：IEA 的估計

IEA 估計全球資料中心用電 2024 年約 415 TWh；2025 年成長超過 15%，約 485 TWh，略高於全球用電的 1.5%。基準情境下，2030 年約 950 TWh、約占 3%，其中以 AI 為主的資料中心，用電會變成原來的三倍以上。1 TWh 是 10 億度電。

平均而言，伺服器約占資料中心用電 60%、儲存約 5%、網路設備最多 5%，其餘是冷卻、不斷電設備與照明等設施。在許多地區，資料中心等待併網可能長達五到十年。

同主題延伸閱讀

  • 生活分享

    主題型 ETF 怎麼讀：AI 與半導體指數的編製規則、集中度與費用

    主題型 ETF（指數股票型基金）買什麼、各買多少，由它追蹤的指數編製規則決定：成分股從哪個範圍挑、用什麼條件篩、權重有沒有上限、多久重新審核。以 AI（人工智慧）與半導體主題指數的常見寫法為例拆解這些規則，再整理內扣費用、追蹤差距與持股明細在公開說明書、投信投顧公會與證交所網站的查法。

  • 生活分享

    賣 AI 做的數位商品：圖庫投稿、模板與 GPTs 的平台規則

    想把 AI 做的圖、模板或 GPT 拿去賣，先看平台收不收：Adobe Stock 收生成式 AI 投稿但要勾選標示，Shutterstock 與 iStock 不收；Gumroad 直接銷售抽 10% + 0.50 美元，Etsy 暫時不讓台灣開新店；ChatGPT 企業版的自訂 GPT 正在退場、轉成外掛。附抽成算法、授權寫法與上架前檢查清單。

  • 生活分享

    翻譯與字幕接案搭配 AI：譯後編修流程、品質檢查與計價

    用 AI 接翻譯與字幕案，交付的是經過譯後編修（MTPE）的成品，不是機器翻譯原稿。整理 ISO 18587 對完整與輕度譯後編修的定義，Netflix 繁體中文字幕每行 16 字、最多兩行、成人節目每秒最多 9 字等規範，附交付前的品質檢查清單、按字與按分鐘計價的算法（數字為假設），以及怎麼向客戶說明用了機器翻譯。

  • 生活分享

    「AI 選股」「AI 交易機器人」的宣傳怎麼看：回測、績效宣稱與合法業者

    「AI 選股」「AI 交易機器人」的廣告常拿回測報酬和勝率當賣點。說明回測與實際交易的落差（過度配適、存活者偏差、交易成本），證券投資信託及顧問法對未經許可提供個股建議、販售選股軟體與投資廣告的規定，在投信投顧公會與證期局名冊查合法業者的步驟，以及合法服務與 AI 投資詐騙的分界。

資料來源

生活分享