價格暴跌 70%：AI 算力租賃泡沫是如何破滅的？

作者：Eugene Cheah 編譯：J1N，Techub News

AI 算力成本下降，將激發(fā)初創(chuàng)公司利用低成本資源進(jìn)行創(chuàng)新的熱潮。

去年由于 AI 算力供應(yīng)緊張，H100 的租賃價格高達(dá)每小時 8 美元，但現(xiàn)在市場上算力供應(yīng)過剩，價格降到了每小時 2 美元以下。這是由于一些公司在早期簽署了算力租賃合同，為了不讓過剩的算力浪費，于是開始轉(zhuǎn)售其預(yù)留的計算資源，而市場大多選擇使用開源模型，導(dǎo)致新模型的需求減少?，F(xiàn)在，市場上 H100 的供應(yīng)量遠(yuǎn)超需求，因此租用 H100 比購買更劃算，投資購買新的 H100 已不再具有收益。

AI 競賽簡史

GPU 算力市場的價格一路飆升，H100 最初的租金約為每小時 4.70 美元，漲到最高超過 8 美元。這是由于項目創(chuàng)始人為了實現(xiàn)下一輪融資，并說服投資者，必須抓緊時間訓(xùn)練他們的 AI 模型。

ChatGPT 于 2022 年 11 月推出，使用的是 A100 系列的 GPU。到了 2023 年 3 月，NVIDIA 推出了新的 H100 系列 GPU，在其宣傳中提到 H100 的性能比 A100 強 3 倍，但價格卻只比 A100 高 2 倍。

這對 AI 初創(chuàng)公司來說是一個巨大的吸引力。因為 GPU 的性能直接決定了他們可以開發(fā)的 AI 模型的速度和規(guī)模。H100 的強大性能意味著這些公司能夠開發(fā)出比以前更快、更大、更高效的 AI 模型，甚至有可能追趕或超過像 OpenAI 這樣的行業(yè)領(lǐng)導(dǎo)者。當(dāng)然，這一切的前提是他們擁有足夠的資本來購買或租用大量的 H100。

由于 H100 的性能大大提升，再加上 AI 領(lǐng)域的激烈競爭，很多初創(chuàng)公司都投入了巨額資金來搶購 H100，用它來加速他們的模型訓(xùn)練。這種需求的激增導(dǎo)致 H100 的租賃價格暴漲，最初每小時 4.70 美元，但后來漲到超過 8 美元。

這些初創(chuàng)公司之所以愿意支付高昂的租金，是因為他們急于快速訓(xùn)練模型，以便在下一輪融資中吸引投資者的注意，爭取到數(shù)億美元的資金來繼續(xù)擴(kuò)展他們的業(yè)務(wù)。

對于擁有大量 H100 GPU 的算力中心（農(nóng)場）來說，租賃 GPU 的需求非常高，這就像是「送上門來的錢」。原因是這些 AI 初創(chuàng)公司急于租用 H100 來訓(xùn)練他們的模型，甚至愿意預(yù)付租金。這意味著 GPU 農(nóng)場可以以長期的每小時 4.70 美元（或更高）租出他們的 GPU。

根據(jù)計算，如果他們能以這種價格持續(xù)出租 GPU，那么他們投資購買 H100 的回報周期（即收回購買成本的時間）將不到 1.5 年?；貓笃诮Y(jié)束后，之后每臺 GPU 每年能帶來超過 10 萬美元的凈現(xiàn)金流收入。

由于對 H100 和其他高性能 GPU 的需求持續(xù)高漲，GPU 農(nóng)場的投資者看到了巨大的利潤空間，因此他們不僅同意了這種商業(yè)模式，甚至還追加了更大的投資，購買更多 GPU 以賺取更多利潤。

《郁金香的愚蠢》：創(chuàng)作于有記載的歷史上第一次投機(jī)泡沫之后，郁金香價格在 1634 年持續(xù)攀升，并于 1637 年 2 月崩盤

隨著人工智能和大數(shù)據(jù)處理需求的增長，企業(yè)對高性能 GPU（尤其是 NVIDIA 的 H100）的需求激增，為了支持這些計算密集型任務(wù)，全球企業(yè)在硬件和基礎(chǔ)設(shè)施上初期已投入約 6000 億美元，用于購買 GPU、建設(shè)數(shù)據(jù)中心等，以提升計算能力。然而，由于供應(yīng)鏈的延遲，H100 的價格在 2023 年大部分時間里居高不下，甚至超過每小時 4.70 美元，除非買家愿意預(yù)付大額定金。到了 2024 年初，隨著更多的供應(yīng)商進(jìn)入市場，H100 的租賃價格降至約 2.85 美元，但我開始收到各類推銷郵件，反映了市場供應(yīng)增加后競爭加劇的情況。

雖然最初 H100 GPU 的租賃價格在每小時 8 至 16 美元之間，但到了 2024 年 8 月，拍賣式租賃價格已降至每小時 1 到 2 美元。市場價格每年預(yù)計會下降 40% 或更多，遠(yuǎn)超 NVIDIA 預(yù)測的 4 年內(nèi)維持每小時 4 美元的預(yù)期。這種迅速的價格下滑給那些剛購買高價新 GPU 的人帶來了財務(wù)風(fēng)險，因為他們可能無法通過租賃回收成本。

投資 5 萬美元購買一張 H100 的資本回報率是多少？

在不考慮電力和冷卻成本的前提下，H100 的購買成本大約為 5 萬美元，預(yù)計使用壽命為 5 年。租賃通常有兩種模式：短期按需租賃和長期預(yù)訂。短期租賃價格較高，但靈活性強，長期預(yù)訂則價格較低但穩(wěn)定。接下來，文章會通過分析這兩種模式的收益，來計算投資者在 5 年內(nèi)能否收回成本并獲得盈利。

短期按需租賃

租賃價格以及對應(yīng)的收益：

>$2.85 : 超越股市 IRR，實現(xiàn)盈利。

<$2.85 : 收益低于投資股市收益。

<$1.65 : 預(yù)計投資損失。

通過「混合價格」模型預(yù)測，未來 5 年內(nèi)租金可能下降到當(dāng)前價格的 50%。如果租賃價格保持在每小時 4.50 美元，投資回報率（IRR）超過 20%，則有利可圖；但當(dāng)價格降至 2.85 美元 / 小時時，IRR 僅有 10%，回報顯著降低。如果價格跌破 2.85 美元，投資回報甚至可能低于股市收益，而當(dāng)價格低于 1.65 美元時，投資者將面臨嚴(yán)重的虧損風(fēng)險，特別是對于近期購買 H100 服務(wù)器的人。

注：「混合價格」是一個假設(shè)，認(rèn)為 H100 的租賃價格在未來 5 年內(nèi)逐漸下降到當(dāng)前價格的一半。這種估計被認(rèn)為是樂觀的，因為當(dāng)前市場價格每年下降超過 40%，所以考慮價格下降是合理的。

長期預(yù)訂租約（3 年以上）

在 AI 熱潮期間，許多老牌基礎(chǔ)設(shè)施提供商基于過去的經(jīng)驗，尤其是在加密貨幣早期以太坊 PoW 時代經(jīng)歷過 GPU 租金價格暴漲暴跌的周期，因此在 2023 年，他們推出了 3-5 年的高價預(yù)付款租賃合同，以鎖定利潤。這些合同通常要求客戶支付高于每小時 4 美元的價格，甚至預(yù)付 50% 到 100% 的租金。隨著 AI 需求激增，尤其是在圖像生成領(lǐng)域的基礎(chǔ)模型公司為了搶占市場先機(jī)、率先使用最新的 GPU 集群，盡管這些合同價格高昂，但他們不得不簽訂，以快速完成目標(biāo)模型，提升競爭力。然而，當(dāng)模型訓(xùn)練完成后，這些公司不再需要這些 GPU 資源，但由于合同鎖定的關(guān)系，他們無法輕易退出，為了減少損失，他們選擇將這些租賃的 GPU 資源轉(zhuǎn)售，以回收部分成本。這導(dǎo)致市場上出現(xiàn)了大量轉(zhuǎn)售的 GPU 資源，供應(yīng)增加，影響了市場的租賃價格和供需關(guān)系。

當(dāng)前的 H100 價值鏈

注：價值鏈（Value chain），又名價值鏈分析、價值鏈模型等。由邁克爾?波特在 1985 年，于《競爭優(yōu)勢》一書中提出的。波特指出企業(yè)要發(fā)展獨特的競爭優(yōu)勢，要為其商品及服務(wù)創(chuàng)造更高附加價值，商業(yè)策略是結(jié)構(gòu)企業(yè)的經(jīng)營模式，成為一系列的增值過程，而此一連串的增值流程，就是「價值鏈」。

H100 價值鏈從硬件到 AI 推理模型，其中的參與部份可以大致分為以下幾類

• 與 Nvidia 合作的硬件供應(yīng)商?

• 數(shù)據(jù)中心基礎(chǔ)設(shè)施提供商和合作伙伴?

• 風(fēng)險投資基金、大型公司和初創(chuàng)公司：計劃建立基礎(chǔ)模型（或已經(jīng)完成模型建立）

• 容量經(jīng)銷商：Runpod、SFCompute、Together.ai、Vast.ai、GPUlist.ai 等。

當(dāng)前的 H100 價值鏈包括從硬件供應(yīng)商到數(shù)據(jù)中心提供商、AI 模型開發(fā)公司、容量經(jīng)銷商和 AI 推理服務(wù)提供商等多個環(huán)節(jié)。市場的主要壓力來自于未使用的 H100 容量經(jīng)銷商不斷轉(zhuǎn)售或出租閑置資源，以及「足夠好」的開源模型（如 Llama 3）的廣泛使用，導(dǎo)致對 H100 的需求下降。這兩大因素共同導(dǎo)致了 H100 供應(yīng)過剩，進(jìn)而對市場價格造成下行壓力。

市場趨勢：開源權(quán)重模型的興起

開源權(quán)重模型指的是那些盡管沒有正式的開源許可證，但其權(quán)重已被公開免費分發(fā)，并且被廣泛應(yīng)用于商業(yè)領(lǐng)域。

這些模型的使用需求主要受到兩大因素推動：一是類似 GPT-4 規(guī)模的大型開源模型（如 LLaMA3 和 DeepSeek-v2）的出現(xiàn)，二是小型（80 億參數(shù)）和中型（700 億參數(shù)）微調(diào)模型的成熟和廣泛采用。

由于這些開源模型的成熟度越來越高，企業(yè)能夠輕松獲取并使用它們來滿足大多數(shù) AI 應(yīng)用的需求，尤其是在推理和微調(diào)方面。盡管這些模型在某些基準(zhǔn)測試中可能略微遜色于專有模型，但它們的性能已經(jīng)足夠好，可以應(yīng)對大多數(shù)商業(yè)用例。因此，隨著開源權(quán)重模型的普及，市場對推理和微調(diào)的需求正在快速增長。

開源權(quán)重模型還具有三個關(guān)鍵優(yōu)勢：

首先，開源模型具有很高的靈活性，允許用戶根據(jù)特定領(lǐng)域或任務(wù)對模型進(jìn)行微調(diào)，從而更好地適應(yīng)不同的應(yīng)用場景。其次，開源模型提供了可靠性，因為模型權(quán)重不會像某些專有模型那樣在未通知的情況下更新，避免出現(xiàn)一些因更新而導(dǎo)致的開發(fā)問題，增加了用戶對模型的信任。最后，它還確保了安全性和隱私，企業(yè)可以確保其提示和客戶數(shù)據(jù)不會通過第三方 API 端點被泄露，降低了數(shù)據(jù)隱私風(fēng)險。正是這些優(yōu)勢促使開源模型的持續(xù)增長和廣泛采用，特別是在推理和微調(diào)方面。

中小型模型創(chuàng)作者需求轉(zhuǎn)向

中小型模型創(chuàng)建者是指那些沒有能力或計劃從頭訓(xùn)練大型基礎(chǔ)模型（如 70B 參數(shù)模型）的企業(yè)或初創(chuàng)公司。隨著開源模型的興起，許多公司意識到，對現(xiàn)有開源模型進(jìn)行微調(diào)，比自己從頭訓(xùn)練一個新模型更加經(jīng)濟(jì)高效。因此，越來越多的公司選擇微調(diào)，而非自行訓(xùn)練模型。這大大減少了對 H100 等計算資源的需求。

微調(diào)比從頭訓(xùn)練便宜得多。微調(diào)現(xiàn)有模型所需的計算資源遠(yuǎn)遠(yuǎn)少于從頭訓(xùn)練一個基礎(chǔ)模型。大型基礎(chǔ)模型的訓(xùn)練通常需要 16 個或更多 H100 節(jié)點，而微調(diào)通常只需要 1 到 4 個節(jié)點。這種行業(yè)的轉(zhuǎn)變削減了小型和中型公司對大規(guī)模集群的需求，直接減少了對 H100 計算能力的依賴。

此外，基礎(chǔ)模型創(chuàng)建的投資減少。在 2023 年，許多中小型公司嘗試創(chuàng)建新的基礎(chǔ)模型，但如今，除非他們能夠帶來創(chuàng)新（如更好的架構(gòu)或?qū)?shù)百種語言的支持），否則幾乎不會再有新的基礎(chǔ)模型創(chuàng)建項目。這是因為市場上已經(jīng)有足夠強大的開源模型，如 Llama 3，讓小型公司很難證明創(chuàng)建新模型的合理性。投資者的興趣和資金也轉(zhuǎn)向了微調(diào)，而非從頭訓(xùn)練模型，進(jìn)一步減少了對 H100 資源的需求。

最后，預(yù)留節(jié)點的過剩容量也是一個問題。許多公司在 2023 年高峰期長期預(yù)定了 H100 資源，但由于轉(zhuǎn)向微調(diào)，他們發(fā)現(xiàn)這些預(yù)留的節(jié)點已經(jīng)不再需要，甚至有些硬件到貨時已經(jīng)過時。這些未使用的 H100 節(jié)點現(xiàn)在被轉(zhuǎn)售或出租，進(jìn)一步增加了市場的供應(yīng)，導(dǎo)致 H100 資源供過于求。

總體來看，隨著模型微調(diào)的普及、中小型基礎(chǔ)模型創(chuàng)建的減少，以及預(yù)留節(jié)點的過剩，H100 市場需求明顯下降，供過于求的情況加劇。

導(dǎo)致 GPU 算力供應(yīng)增加和需求減少的其他因素

大型模型創(chuàng)建者脫離開源云平臺

?大型 AI 模型創(chuàng)建者如 Facebook、X.AI 和 OpenAI 正在逐步從公共云平臺轉(zhuǎn)向自建私有計算集群的原因。首先，現(xiàn)有的公共云資源（如 1000 個節(jié)點的集群）已無法滿足他們訓(xùn)練更大模型的需求。其次，從財務(wù)角度來看，自建集群更有利，因為購買數(shù)據(jù)中心、服務(wù)器等資產(chǎn)可以增加公司估值，而租賃公共云只是費用支出，無法提升資產(chǎn)。此外，這些公司擁有足夠的資源和專業(yè)團(tuán)隊，甚至可以收購小型數(shù)據(jù)中心公司來幫助他們構(gòu)建和管理這些系統(tǒng)。因此，他們不再依賴公共云。隨著這些公司脫離公共云平臺，市場對計算資源的需求減少，可能導(dǎo)致未使用的資源重新進(jìn)入市場，增加供應(yīng)。

Vast.ai 本質(zhì)上是一個自由市場體系，來自世界各地的供應(yīng)商相互競爭

?閑置與延遲出貨的 H100 同時上線

由于閑置與延遲出貨的 H100 GPU 同時上線，促使市場供應(yīng)量增加，導(dǎo)致價格下降。Vast.ai 等平臺采用自由市場模式，全球供應(yīng)商在這里相互競爭價格。2023 年，由于 H100 出貨延遲，許多資源未能及時上線，現(xiàn)在這些延遲的 H100 資源開始進(jìn)入市場，連同新的 H200 和 B200 設(shè)備，以及初創(chuàng)公司和企業(yè)閑置的計算資源一起供應(yīng)。小型和中型集群的所有者通常擁有 8 到 64 個節(jié)點，但由于利用率低且資金已經(jīng)耗盡，他們的目標(biāo)是通過低價出租資源來盡快收回成本。為此，他們選擇通過固定利率、拍賣系統(tǒng)或自由市場定價的方式來競爭客戶，尤其是拍賣和自由市場模式，使得供應(yīng)商為確保資源被租用而競相降價，最終導(dǎo)致整個市場的價格大幅下降。

?更便宜的 GPU 替代品?

另一個主要因素是，一旦算力成本超出了預(yù)算，那么 AI 推理基礎(chǔ)設(shè)施便有很多替代方案，特別是如果你運行的是較小的模型。就不需要為使用 H100 的 Infiniband ?支付額外費用。

Nvidia 市場細(xì)分

H100 GPU 的 AI 推理任務(wù)中更便宜替代品的出現(xiàn)，這會直接影響市場對 H100 的需求。首先，雖然 H100 在 AI 模型的訓(xùn)練和微調(diào)上非常出色，但在推理（即運行模型）領(lǐng)域，很多更便宜的 GPU 能夠滿足需求，尤其是針對較小的模型。因為推理任務(wù)不需要 H100 的高端功能（如 Infiniband 網(wǎng)絡(luò)），用戶可以選擇更經(jīng)濟(jì)的替代方案，節(jié)省成本。

Nvidia 自己也在推理市場中提供了替代產(chǎn)品，如 L40S，這是一款專門用于推理的 GPU，性能大約是 H100 的三分之一，但價格只有五分之一。雖然 L40S 在多節(jié)點訓(xùn)練方面效果不如 H100，但對于單節(jié)點推理和小型集群的微調(diào)，已經(jīng)足夠強大，這為用戶提供了一個更具性價比的選擇。

H100 Infiniband 集群性能配置表（2024 年 8 月）

AMD 和 Intel 替代供應(yīng)商

另外，AMD 和 Intel 也推出了價格更低的 GPU，例如 AMD 的 MX300 和 Intel 的 Gaudi 3。這些 GPU 在推理和單節(jié)點任務(wù)中表現(xiàn)優(yōu)異，價格比 H100 更便宜，同時還擁有更多的內(nèi)存和計算能力。盡管它們在大型多節(jié)點集群訓(xùn)練中還未得到完全驗證，但在推理任務(wù)中已經(jīng)足夠成熟，成為 H100 的有力替代品。

這些更便宜的 GPU 已經(jīng)被證明能夠處理大多數(shù)推理任務(wù)，尤其是常見模型架構(gòu)（如 LLaMA 3）上的推理和微調(diào)任務(wù)。因此，用戶在解決兼容性問題后，可以選擇這些替代 GPU，以降低成本?？偨Y(jié)來說，推理領(lǐng)域中的這些替代品正逐漸取代 H100，特別是在小規(guī)模推理和微調(diào)任務(wù)中，這進(jìn)一步降低了對 H100 的需求。

Web3 領(lǐng)域 GPU 使用率下降

由于加密貨幣市場變化，GPU 在加密挖礦中的使用率下降，大量 GPU 因此流入云市場。盡管這些 GPU 由于硬件限制無法勝任復(fù)雜的 AI 訓(xùn)練任務(wù)，但它們在較簡單的 AI 推理工作中表現(xiàn)良好，特別是對于預(yù)算有限的用戶，處理較小模型（如 10B 參數(shù)以下）的任務(wù)時，這些 GPU 成為性價比很高的選擇。經(jīng)過優(yōu)化，這些 GPU 甚至可以運行大型模型，成本比使用 H100 節(jié)點更低。

AI 算力租賃泡沫后，現(xiàn)在的市場如何？

現(xiàn)在入場面臨的問題：新公共云 H100 集群進(jìn)入市場較晚，可能無法盈利，一些投資者可能會損失慘重。

新進(jìn)入市場的 H100 公共云集群面臨的盈利挑戰(zhàn)。如果租賃價格設(shè)定過低（低于 2.25 美元），可能無法覆蓋運營成本，導(dǎo)致虧損；如果定價過高（3 美元或以上），則可能失去客戶，導(dǎo)致產(chǎn)能閑置。此外，較晚進(jìn)入市場的集群因為錯過了早期的高價（4 美元 / 小時），難以回收成本，投資者面臨無法盈利的風(fēng)險。這使得集群投資變得非常困難，甚至可能導(dǎo)致投資者遭受重大損失。

早期入場者的收益情況：早期簽署了長期租賃合同的中型或大型模型創(chuàng)建者，已經(jīng)收回成本并實現(xiàn)盈利

中型和大型模型創(chuàng)建者通過長期租賃 H100 計算資源已經(jīng)獲得了價值，這些資源的成本在融資時已被涵蓋。雖然部分計算資源未完全利用，但這些公司通過融資市場將這些集群用于當(dāng)前和未來的模型培訓(xùn)，并從中提取了價值。即使有未使用的資源，他們也能通過轉(zhuǎn)售或租賃獲得額外收入，這降低了市場價格，減少了負(fù)面影響，整體上對生態(tài)系統(tǒng)產(chǎn)生了積極影響。

泡沫破滅后，：價格低廉的 H100 可以加速開源式 AI 的采用浪潮

?低價 H100 GPU 的出現(xiàn)將推動開源式 AI 的發(fā)展。隨著 H100 價格下降，AI 開發(fā)者和業(yè)余愛好者可以更便宜地運行和微調(diào)開源權(quán)重模型，使這些模型的采用更廣泛。如果未來閉源模型（如 GPT5++）沒有實現(xiàn)重大技術(shù)突破，開源模型與閉源模型的差距將縮小，推動 AI 應(yīng)用的發(fā)展。隨著 AI 推理和微調(diào)成本降低，可能引發(fā)新的 AI 應(yīng)用浪潮，加速市場的整體進(jìn)步。

結(jié)論：不要購買全新的 H100

如果現(xiàn)在投資購買全新的 H100 GPU 大概率會虧損。不過只有在特殊情況下，比如項目能夠購買到打折的 H100、廉價的電力成本，或在其 AI 產(chǎn)品在市場上擁有足夠競爭力時，再去投資才可能合理。如果你正在考慮投資，建議將資金投入其他領(lǐng)域或股票市場，以獲得更好的回報率。