Gensyn測試網(wǎng)上線，如何讓AI訓練更高效、更去中心化？

作者：Zen，PANews

AI是如今加密行業(yè)最受關注的細分賽道，其中a16z 領投、總?cè)谫Y規(guī)模達 5000 萬美元的分布式 AI 計算網(wǎng)絡 Gensyn 無疑是個具有競爭力的項目。近日，Gensyn正式上線測試網(wǎng)，雖然比原計劃時間晚了一年多，但隨著測試網(wǎng)上線終于進入新的階段。

作為一款專為機器學習打造的 定制化 Ethereum Rollup，Gensyn 測試網(wǎng)集成了 鏈下執(zhí)行、驗證和通信框架，旨在為去中心化 AI 系統(tǒng)提供 持久身份、參與追蹤、歸屬維護、支付、遠程執(zhí)行協(xié)調(diào)、去信任驗證、訓練過程記錄以及大規(guī)模訓練任務眾籌 等關鍵功能。

測試網(wǎng)的第一階段重點關注在 RL Swarm 內(nèi)追蹤參與情況。RL Swarm 是一個用于協(xié)作式強化學習后訓練的應用，其節(jié)點可與鏈上身份綁定，從而確保每個參與節(jié)點的貢獻得到準確記錄。

RL Swarm：核心功能與協(xié)同訓練

在Gensyn 測試網(wǎng)中，作為核心應用的 RL Swarm 是一個基于去中心化網(wǎng)絡構(gòu)建的模型協(xié)同訓練系統(tǒng)。與傳統(tǒng)單一模型獨立訓練不同，RL Swarm 讓多個模型在網(wǎng)絡中相互交流、批評和改進，從而共同提升整體性能。其核心理念在于“群體智慧”，即通過各節(jié)點模型之間的協(xié)作和反饋，實現(xiàn)更高效的訓練效果。

可以簡單理解為，DeepSeek-R1等模型進行推理訓練時，能夠通過自我批評來迭代提升推理表現(xiàn)，而 RL Swarm 則將這種機制擴展到了多模型的群體中，實現(xiàn)了“眾人拾柴火焰高”的效果。

基于RL Swarm系統(tǒng)，模型不僅依賴自身反饋，還通過觀察和評價其他模型的表現(xiàn)，識別出自身的不足并進行優(yōu)化。每一個加入 Swarm 的模型節(jié)點都在參與一個三階段的過程：首先獨立完成問題并輸出思路與答案，然后查看其他節(jié)點的答案并提供反饋，最終模型投票選出最優(yōu)解，并據(jù)此修正自己的輸出。這種協(xié)同機制不僅提高了每個模型的表現(xiàn)，也推動了整個群體模型的進化。加入 Swarm 的模型在離開后仍能保留改進后的本地權(quán)重，獲得實際收益。

此外，Gensyn對RL Swarm 的代碼進行了開源，任何人都可以運行節(jié)點，啟動或加入現(xiàn)有 Swarm，無需許可。Swarm 的底層通信使用了 Hivemind 提供的 gossip 協(xié)議，支持模型間的去中心化消息傳遞與學習信號共享。不論是家用筆記本，還是在云端 GPU 上都可以通過加入 RL Swarm 節(jié)點參與到協(xié)同訓練中來。

基礎設施三大支柱：執(zhí)行、通信與驗證

目前RL Swarm 仍然只是一個實驗性演示，它展示了一種大規(guī)模、可擴展的機器學習方法，而非最終的產(chǎn)品形態(tài)。在過去四年，Gensyn的核心工作實際上是構(gòu)建底層基礎設施，在發(fā)布測試網(wǎng)后便進入了v0.1階段，已經(jīng)可以實際運行。根據(jù)官方介紹，Gensyn 的整體架構(gòu)分為執(zhí)行、通信和驗證三個部分。

執(zhí)行（Execution）：一致性與分布式算力

Gensyn 認為，未來的機器學習不再局限于傳統(tǒng)的單體模型，而是由分布在全球各個設備上的碎片化參數(shù)組成。為了實現(xiàn)這一目標，Gensyn團隊開發(fā)了能夠確?？缭O備一致性的底層執(zhí)行架構(gòu)。其中的關鍵技術包括：

• 分布式參數(shù)存儲與訓練：通過將大規(guī)模模型分割成多個參數(shù)塊并分布于不同設備上，Gensyn 實現(xiàn)了模型的碎片化部署，降低了單個節(jié)點對內(nèi)存的要求。
• 強化學習后訓練（RL Post-Training）：研究表明，當模型以群體方式協(xié)同訓練、互相溝通并批判彼此的答案時，整體學習效率會顯著提升。Gensyn 利用 RL Swarm 演示了這一概念，讓模型在集體討論中快速進步，進一步驗證了分布式執(zhí)行的有效性。
• 可復現(xiàn)算子（RepOps）：為了確保不同硬件（如 Nvidia A100 與 H100）能夠得出完全一致的計算結(jié)果，Gensyn 開發(fā)了 RepOps 庫，通過固定浮點運算的執(zhí)行順序，實現(xiàn)了跨平臺的逐位復現(xiàn)。

通信（Communication）：高效信息交互

在大規(guī)模分布式訓練場景中，各節(jié)點間的高效通信至關重要。傳統(tǒng)的數(shù)據(jù)并行方法雖然能在一定程度上降低通信開銷，但由于要求每個節(jié)點存儲完整模型，其擴展性受到內(nèi)存限制。為此，Gensyn 提出了全新的解決方案：

• SkipPipe – 動態(tài)跳躍管道并行：SkipPipe 技術通過動態(tài)選擇微批次（microbatch）經(jīng)過的計算層，將傳統(tǒng)流水線中的部分階段跳過，從而減少不必要的等待時間。其創(chuàng)新的調(diào)度算法能夠?qū)崟r評估各路徑的可用性，既降低了節(jié)點空閑時間，又大幅縮短了整體訓練時長。據(jù)測試數(shù)據(jù)顯示，在去中心化環(huán)境中，SkipPipe 可將訓練時間減少約 55%，且在部分節(jié)點故障的情況下，模型性能僅降低 7% 左右。
• 通信標準與跨節(jié)點協(xié)作 Gensyn 構(gòu)建了一套類似于 TCP/IP 的通信協(xié)議，使得全球各地參與者無論使用何種設備，都能高效、無縫地進行數(shù)據(jù)傳輸和信息交互。這種開放標準為分布式協(xié)同訓練提供了堅實的網(wǎng)絡基礎。

驗證（Verification）：確保信任與安全

在一個無需信任的分布式網(wǎng)絡中，如何確認各參與方提交的計算結(jié)果真實有效，是一大挑戰(zhàn)。Gensyn 為此引入了專門的驗證協(xié)議，旨在通過低成本、高效的機制確保所有算力供應商提供正確的工作結(jié)果：

• Verde 驗證協(xié)議：Verde 是首個專為現(xiàn)代機器學習設計的驗證系統(tǒng)。其核心在于利用輕量級爭議解決機制，快速定位出訓練過程中模型與驗證者之間產(chǎn)生分歧的那一步驟。與傳統(tǒng)需要重新運行整個任務的驗證方式不同，Verde 只需對爭議操作重新計算，從而大幅降低了驗證開銷。
• refereed delegation（裁決式委托）：采用這種方法后，若某個供應商的輸出存在問題，驗證者便能通過高效的爭議解決游戲說服中立仲裁方，確保至少有一位誠實節(jié)點存在時，整個計算結(jié)果的正確性得以保障。
• 存儲與哈希中間狀態(tài)：為了支持上述驗證過程，參與者只需存儲并哈希部分中間訓練檢查點，而非全量數(shù)據(jù)，這既降低了資源占用，也提升了系統(tǒng)的擴展性和實時性。