10:19人工智慧重要

愛好者用5美元樹莓派Pico解鎖輝達受限礦卡80GB

11月10日釋出的一種電壓故障注入方法,可將輝達8GB CMP 170HX礦卡變為A100級80GB圖形處理器;一名愛好者稱用樹莓派Pico做到了這一點。

Close-up of a graphics card's circuit board edge
Close-up of a graphics card's circuit board edge. Photo: Malachi Brooks, via Unsplash
80GBCMP 170HX已解鎖視訊記憶體
8GB應用方法前CMP 170HX的視訊記憶體

已證實

  • 11月10日公佈的電壓毛刺方法可解鎖輝達CMP 170HX礦卡的全部80GB視訊記憶體
  • CMP 170HX與輝達A100採用相同的GA100晶片
  • 應用該方法前,輝達CMP 170HX礦卡為8GB

尚不清楚

  • 未經證實:$5的樹莓派Pico能否復現電壓毛刺方法
  • 樹莓派Pico復現該說法能否得到獨立驗證

已知情況

一名業餘愛好者用一塊樹莓派Pico、幾根細如髮絲的導線和一種名為電壓毛刺的技術,把一塊8GB的輝達礦卡改造成了80GB的AI加速器。該方法於11月10日由一位安全研究員釋出。五天後,Reddit的LocalLLaMA論壇上的一名使用者釋出了一張截圖,顯示一塊CMP 170HX報告擁有81920MiB視訊記憶體。

CMP 170HX是在加密貨幣熱潮期間作為專用礦卡出售的。其散熱器下是與輝達A100相同的那顆GA100晶片,而A100是訓練了一代AI模型的資料中心GPU。根據該研究員的文章,8GB版本在封裝上帶有約80GB的HBM視訊記憶體,但只有8GB被啟用。該卡還只執行70個計算單元(SM),而零售版A100執行108個,其PCIe鏈路也被降速。

這些鎖定由電子熔絲(eFuse)設定,這是輝達在工廠燒斷的晶片內部微小的一次性開關。晶片製造商用它們以不同價格出售同一塊矽片,並關閉未通過測試的部分。HBM堆疊鍵合在晶片上,無法拆除,因此一塊視訊記憶體有缺陷的GA100仍可作為礦卡出售。該卡釋出時,以太坊挖礦只需要約4GB;如果不是以太坊在2022年轉向權益證明,這一上限本會讓它在2027年3月左右因挖礦而被淘汰。

毛刺攻擊的工作原理。 通常,燒斷的熔絲只會讓晶片受到更多限制。但輝達的某些熔絲設定是通過寫入新行覆蓋舊行來生效,因此後一次寫入可以解除限制。一項安全設定會阻止生產卡上的這些寫入。該攻擊會移除GPU與其電源控制器之間的一顆微小電阻,監測核心電壓,並在啟動約一秒後發出三次各約2毫秒的電壓下探。時機命中時,安全設定會被讀為關閉,新的熔絲行便可重新啟用被停用的視訊記憶體和計算單元。

這需要反覆試驗:一次成功解鎖需要1到48小時的反覆嘗試,具體取決於晶片。熔絲寫入是永久性的,每張卡都需要自己的寫入內容,並匹配該晶片的真實缺陷。該研究員表示,他們在釋出前已向輝達產品安全團隊披露了這一漏洞,並且另一位研究員獨立發現了它。

結果很可觀。十張8GB卡中有九張解鎖出完整的80GB,並通過了視訊記憶體檢查以及vLLM和SGLang推理伺服器測試。可用計算單元從70個升至約120至126個,一項FP16基準測試達到85.9 TFLOP/s,比零售版A100的72.5高出18%。經過額外的板卡修復後,這些卡還能執行PCIe Gen4 x16和NVLink。該卡的10GB版本則不同:它帶有約40GB,帖文稱,關於其可達80GB的說法主要是快取假象。

用Pico耗時十五小時。 這名Reddit使用者把研究員的定製毛刺板換成了樹莓派Pico 2,這是一種售價約5美元的微控制器。照片顯示,漆包銅線從Pico連線到該卡電源電路附近的小型元件。該使用者說,他們在工作了近15個小時後完成,讓一個AI助手編寫了熔絲寫入步驟的指令碼,並計劃再解鎖第二張卡。其標註日期為11月15日的截圖顯示,輝達的nvidia-smi工具將該卡列為81920MiB,相當於一塊完整A100 80GB的容量。同一螢幕上的一個設定服務報告失敗,因此該帖尚未展示這張卡執行模型。Global Eye 24尚未核實這一結果。

「AI寫了指令碼,解鎖更多視訊記憶體來執行更多AI。迴圈閉合了。」最高贊回覆寫道,獲得近300個贊。

為何重要。 視訊記憶體是在家中執行大型AI模型的瓶頸,而單卡80GB在資料中心之外十分罕見。一次成功的解鎖將把過剩的礦機硬體變成用於本地AI的A100級機器;一位評論者說,這些卡目前的售價已接近其最初超過4000美元的價格。風險真實存在:熔絲寫入無法撤銷,寫錯可能讓一張卡報廢,而且操作需要在價值數千美元的板卡上進行精細焊接。在該研究員的樣本中,約每十張卡就有一張因故障視訊記憶體過多而無法獲得任何收益。輝達尚未置評。

輝達股價
$141.33 −32.4% · 3 mo
$141.33$192.12$242.9026年8月24日26年10月7日26年11月20日本文
日K線(UTC). Source: CoinGecko.

Global Eye 24 編輯部,藉助人工智慧撰寫。譯自英文,隨事態發展更新。發現錯誤?請寫信至 corrections@globaleye24.com.