Variant：為什么更好的AI需要Crypto

作者：Daniel Barabander，Variant Fund總法律顧問兼合伙人；編譯：0xjs@金色財經(jīng)

本文要點

• 目前，基礎(chǔ)AI開發(fā)由少數(shù)科技公司主導(dǎo)，處于封閉和反競爭的狀態(tài)。

• 開源軟件開發(fā)是另一種選擇，但基礎(chǔ)AI無法作為傳統(tǒng)的開源軟件項目（例如 Linux）進行開發(fā)，因為它存在“資源問題”，開源貢獻者還被要求捐獻超出個人能力范圍的計算和數(shù)據(jù)成本。

• 加密通過所有權(quán)激勵資源提供者為基礎(chǔ)開源 AI 項目做出貢獻，從而解決資源問題。

• 開源AI與加密相結(jié)合，可以支持更大的模型并推動更多創(chuàng)新，從而帶來更好的AI。?

引言

皮尤研究中心2024 年的一項民意調(diào)查顯示，64% 的美國人認(rèn)為社交媒體對美國產(chǎn)生了負面而非正面的影響，78% 的人表示社交媒體公司在當(dāng)今政治中擁有過大的權(quán)力和影響力，83% 的人表示這些平臺很可能或很有可能故意審查他們不同意的政治觀點。對社交媒體平臺的厭惡是少數(shù)幾個能團結(jié)美國人的問題之一。

回顧過去 20 年社交媒體實驗的進展，我們似乎不可避免地會落得如此境地。你們都知道這個故事。少數(shù)幾家大型科技公司最初吸引了人們的注意，最重要的是，他們獲得了用戶數(shù)據(jù)。雖然最初人們希望這些數(shù)據(jù)能夠公開，但這些公司在利用這些數(shù)據(jù)建立牢不可破的網(wǎng)絡(luò)效應(yīng)后，很快就改變了方向，關(guān)閉了訪問權(quán)限。這基本上導(dǎo)致了目前的狀況，不到十家大型科技社交媒體公司在寡頭壟斷下像小封建領(lǐng)地一樣存在，沒有動力去改變，因為現(xiàn)狀利潤極高。它是封閉的，反競爭的。

看看AI實驗?zāi)壳暗倪M展，我感覺自己就像在重復(fù)看同一部電影，但這一次涉及的更多。少數(shù)幾家大型科技公司已經(jīng)積累了 GPU 和數(shù)據(jù)來構(gòu)建基礎(chǔ)AI模型，并封鎖了對這些模型的訪問。對于新進入者（沒有籌集數(shù)十億美元）來說，已經(jīng)不可能構(gòu)建出競爭版本，因為進入門檻太高了——僅預(yù)訓(xùn)練一個基礎(chǔ)模型的計算資本支出就高達數(shù)十億美元，而從上一次技術(shù)繁榮中獲益的社交媒體公司正在利用他們對專有用戶數(shù)據(jù)的控制來構(gòu)建競爭對手無法做到的模型。我們正全力以赴地在AI領(lǐng)域重現(xiàn)我們在社交媒體上所做的事情：封閉和反競爭。如果我們繼續(xù)沿著這條封閉AI的道路前進，少數(shù)科技公司將對信息和機會的訪問擁有不受限制的控制。?

開源AI與“資源問題”

如果我們不想要一個封閉的AI世界，我們的替代方案是什么？答案顯而易見，那就是將基礎(chǔ)模型構(gòu)建為開源軟件項目。我們有無數(shù)開源項目的例子，它們構(gòu)建了我們每天依賴的基礎(chǔ)軟件。如果 Linux 表明像操作系統(tǒng)這樣基本的東西也可以開源構(gòu)建，那么 LLM 又有什么不同呢？

不幸的是，基礎(chǔ)AI模型存在一些限制，使它們不同于傳統(tǒng)軟件，這嚴(yán)重阻礙了它們作為傳統(tǒng)開源軟件項目的可行性。具體來說，基礎(chǔ)AI模型本身就需要超出任何個人能力的計算和數(shù)據(jù)資源。結(jié)果是，與依賴人們捐獻時間的傳統(tǒng)開源軟件項目（這已經(jīng)是一個具有挑戰(zhàn)性的問題）不同，開源AI還需要人們以計算和數(shù)據(jù)的形式捐獻資源。這就是開源AI的“資源問題”?。

為了更好地理解資源問題，讓我們來看看 Meta 的 LLaMa 模型。Meta 與其競爭對手（OpenAI、Google 等）的不同之處在于，它不會將模型隱藏在付費 API 后面，而是公開提供 LLaMa 的權(quán)重供任何人免費使用（有一些限制）。這些權(quán)重代表了模型從 Meta 的訓(xùn)練過程中學(xué)到的東西，是運行模型所必需的。有了權(quán)重，任何人都可以對模型進行微調(diào)，或者將模型的輸出用作新模型的輸入。

雖然 Meta 公布了 LLaMa 的權(quán)重值得稱贊，但它并不是一個真正的開源軟件項目。Meta 在私下使用自己的計算、數(shù)據(jù)和決策來訓(xùn)練模型，并單方面決定何時向全世界開放該模型。Meta 不邀請獨立研究人員 / 開發(fā)人員參與社區(qū)，因為單個社區(qū)成員無法負擔(dān)訓(xùn)練或重新訓(xùn)練模型所需的計算或數(shù)據(jù)資源——數(shù)以萬計的高內(nèi)存 GPU、容納它們的數(shù)據(jù)中心、大量冷卻基礎(chǔ)設(shè)施，以及數(shù)萬億的訓(xùn)練數(shù)據(jù)代幣。正如斯坦福大學(xué) 2024 年AI指數(shù)報告所述，“培訓(xùn)費用的不斷上漲實際上已經(jīng)將大學(xué)（傳統(tǒng)上是AI研究中心）排除在開發(fā)自己的前沿基礎(chǔ)模型之外?！睘榱肆私獬杀?，Sam Altman 提到 GPT-4 的培訓(xùn)成本為 1 億美元，而且可能還不包括資本支出；Meta的資本支出同比增長 21 億美元（2024 年第二季度 vs. 2023 年第二季度），主要來自對與訓(xùn)練 AI 模型相關(guān)的服務(wù)器、數(shù)據(jù)中心和網(wǎng)絡(luò)基礎(chǔ)設(shè)施的投資。因此，雖然 LLaMa 的社區(qū)貢獻者可能具有在基本模型架構(gòu)上做出貢獻和迭代的技術(shù)能力，但他們?nèi)匀蝗狈@樣做的手段。

總而言之，與傳統(tǒng)的開源軟件項目不同，開源軟件項目僅要求貢獻者貢獻時間，而開源 AI 項目的貢獻者則被要求以計算和數(shù)據(jù)的形式貢獻時間和大量成本。依靠善意和志愿服務(wù)來激勵足夠多的各方提供這些資源是不現(xiàn)實的。他們需要進一步的激勵。176B 參數(shù)開源 LLM?BLOOM的成功可能是善意和志愿服務(wù)對開發(fā)開源 AI 的優(yōu)點的最佳反例，它涉及來自 70 多個國家和 250 多個機構(gòu)的 1000 名志愿研究人員。雖然這無疑是一項令人印象深刻的成就（我完全支持），但協(xié)調(diào)一次訓(xùn)練運行花了一年時間，并從法國研究機構(gòu)獲得了 300 萬歐元的資助（而且這筆費用不包括用于訓(xùn)練模型的超級計算機的資本支出，其中一個法國機構(gòu)已經(jīng)可以使用它）。協(xié)調(diào)和依靠新?lián)芸顏淼?BLOOM 的過程過于繁瑣和官僚主義，無法與大型科技實驗室的步伐相媲美。雖然 BLOOM 發(fā)布已有兩年多時間，但我不知道這個集體是否制作了任何后續(xù)模型。?

為了使開源AI成為可能，我們需要激勵資源提供者貢獻他們的計算和數(shù)據(jù)，而無需開源貢獻者承擔(dān)費用。

為什么Crypto可以解決開源AI的資源問題

Crypto 的突破在于利用所有權(quán)使資源成本較高的開源軟件項目成為可能。Crypto 通過激勵具有網(wǎng)絡(luò)潛在上升空間的投機資源提供者，而不是要求開源貢獻者預(yù)先支付成本來提供這些資源，從而解決了開源 AI 固有的資源問題。

要證明這一點，只需看看最初的加密項目比特幣。比特幣是一個開源軟件項目；運行它的代碼是完全開放的，從項目開始的那一天起就一直如此。但代碼本身并不是秘密武器；下載并運行比特幣節(jié)點軟件來創(chuàng)建僅存在于本地計算機上的區(qū)塊鏈并沒有多大用處。只有當(dāng)計算挖掘區(qū)塊的數(shù)量足夠超過任何單個貢獻者的計算能力時，該軟件才有用。只有這樣，軟件的增值才能實現(xiàn)：維護一個無人控制的賬本。與基金會開源 AI 一樣，比特幣也代表了一個開源軟件項目，它需要超出任何單個貢獻者能力的資源。他們可能出于不同的原因需要這種計算——比特幣是為了使網(wǎng)絡(luò)防篡改，而基金會 AI 是為了迭代模型——但更廣泛的一點是，它們都需要超出任何單個貢獻者需求的資源才能作為可行的開源軟件項目發(fā)揮作用。

比特幣，或者說任何加密網(wǎng)絡(luò)，用來激勵參與者為開源軟件項目提供資源的魔術(shù)技巧是以代幣形式提供網(wǎng)絡(luò)所有權(quán)。正如 Jesse早在 2020 年為 Variant 撰寫的創(chuàng)始論文中所寫的那樣，所有權(quán)激勵資源提供者為項目貢獻資源，以換取網(wǎng)絡(luò)的潛在上行空間。這類似于如何利用汗水股權(quán)來啟動一家剛剛起步的公司——通過主要通過對企業(yè)的所有權(quán)來支付早期員工（例如創(chuàng)始人）的工資，初創(chuàng)公司可以通過獲得原本無法負擔(dān)的勞動力來克服啟動問題。加密將汗水股權(quán)的概念擴展到資源提供者，而不僅僅是那些奉獻時間的人。因此，Variant 專注于投資利用所有權(quán)建立網(wǎng)絡(luò)效應(yīng)的項目，例如 Uniswap、Morpho 和 World。

如果我們想讓開源 AI 成為可能，那么通過crypto實現(xiàn)所有權(quán)就是解決其面臨的資源問題的辦法。研究人員可以自由地將他們的模型設(shè)計想法貢獻給開源項目，因為實現(xiàn)他們的想法所需的資源將由計算和數(shù)據(jù)提供商提供，以換取他們對項目的所有權(quán)，而不是要求這些研究人員支付高昂的前期成本。所有權(quán)在開源 AI 中可以采取多種不同的形式，但我最興奮的是模型本身的所有權(quán)，就像Pluralis提出的方法一樣。

Pluralis 將這種方法稱為協(xié)議模型，其中計算提供商可以貢獻計算資源來訓(xùn)練特定的開源模型，并獲得該模型未來推理收入的所有權(quán)。由于所有權(quán)屬于特定模型，并且所有權(quán)的價值基于推理收入，因此計算提供商有動力選擇最佳模型，而不是欺騙訓(xùn)練（因為提供無用的訓(xùn)練會降低未來推理收入的預(yù)期價值）。那么問題就變成了：如果需要將權(quán)重發(fā)送給計算提供商進行訓(xùn)練，如何在 Pluralis 上強制執(zhí)行所有權(quán)？答案是模型并行性用于在工作者之間分配模型分片，從而允許利用神經(jīng)網(wǎng)絡(luò)的一個關(guān)鍵屬性：可以為訓(xùn)練更大的模型做出貢獻，同時只能看到總權(quán)重的一小部分，從而確保完整的權(quán)重集仍然不可提取。而且由于在 Pluralis 上訓(xùn)練了許多不同的模型，訓(xùn)練者將擁有許多不同的權(quán)重集，這使得重新創(chuàng)建模型變得極其困難。這是協(xié)議模型的核心概念：它們是可訓(xùn)練的，可以使用，但無法從協(xié)議中提取（不使用比從頭訓(xùn)練模型所需的更多的計算能力）。這解決了開源AI批評者經(jīng)常提出的一個擔(dān)憂，即封閉的AI競爭對手將占用開放項目的勞動成果。?

為什么Crypto+開源=更好的AI

我在這篇文章的開頭描述了大科技公司控制的問題，以從規(guī)范的角度說明為什么封閉式AI是壞的。但在一個我們的在線體驗帶有宿命論色彩的世界里，我擔(dān)心這對大多數(shù)讀者來說可能毫無意義。所以最后我想給出兩個理由，即由加密支持的開源AI實際上將帶來更好的人工智能。

首先，Crypto和開源 AI 的結(jié)合將使我們能夠達到下一層基礎(chǔ)模型，因為它將比封閉式 AI 協(xié)調(diào)更多的資源。我們目前的研究表明，以計算和數(shù)據(jù)形式存在的更多資源意味著更好的模型，這就是基礎(chǔ)模型通常會變得越來越大的原因。比特幣向我們展示了開源軟件加上加密在計算能力方面所釋放的東西。它是世界上最大、最強大的計算網(wǎng)絡(luò)，比大型科技公司的云大幾個數(shù)量級。加密將孤立的競爭變成了合作競爭。資源提供者被激勵貢獻他們的資源來解決集體問題，而不是囤積他們的資源來單獨（和冗余地）解決該問題。使用加密的開源 AI 將能夠利用世界集體計算和數(shù)據(jù)來構(gòu)建遠遠超出封閉式 AI 可能的模型大小。像Hyperbolic這樣的公司已經(jīng)展示了利用集體計算資源的力量，任何人都可以以更低的價格在他們的開放市場上出租 GPU。

其次，將Crypto和開源 AI 結(jié)合起來將推動更多創(chuàng)新。這是因為，如果我們能夠克服資源問題，我們就可以回歸機器學(xué)習(xí)研究的高度迭代和創(chuàng)新的開源性質(zhì)。在最近推出基礎(chǔ) LLM 之前，機器學(xué)習(xí)研究人員幾十年來一直公開發(fā)布他們的模型和復(fù)制模型的藍圖。這些模型通常使用更有限的開放數(shù)據(jù)集，并且具有可管理的計算要求，這意味著任何人都可以對它們進行迭代。正是通過這種迭代，我們在序列建模方面取得了進展，例如 RNN、LSTM 和注意力機制，這使得當(dāng)前基礎(chǔ) LLM 所依賴的“Transformer”模型架構(gòu)成為可能。但隨著 GPT-3 的推出（它逆轉(zhuǎn)了 GPT-2 開源的趨勢）和 ChatGPT 的巨大成功，這一切都發(fā)生了變化。這是因為 OpenAI 證明，如果你在海量模型上投入足夠的計算和數(shù)據(jù)，你就可以構(gòu)建似乎能理解人類語言的 LLM。這造成了資源問題，導(dǎo)致學(xué)術(shù)界無法負擔(dān)高昂的價格，并導(dǎo)致大型科技公司實驗室基本停止公開發(fā)布其模型架構(gòu)以保持競爭優(yōu)勢。目前主要依賴個別實驗室的狀態(tài)將限制我們突破最先進技術(shù)界限的能力。通過加密技術(shù)實現(xiàn)的開源 AI 將意味著研究人員將再次能夠在尖端模型上繼續(xù)這一迭代過程，以發(fā)現(xiàn)“下一個transformer”。