人工智能重要

爱好者用5美元树莓派Pico解锁英伟达受限矿卡80GB

11月10日发布的一种电压故障注入方法,可将英伟达8GB CMP 170HX矿卡变为A100级80GB图形处理器;一名爱好者称用树莓派Pico做到了这一点。

Close-up of a graphics card's circuit board edge
Close-up of a graphics card's circuit board edge. Photo: Malachi Brooks, via Unsplash
80GBCMP 170HX已解锁显存
8GB应用方法前CMP 170HX的显存

已证实

  • 11月10日公布的电压毛刺方法可解锁英伟达CMP 170HX矿卡的全部80GB显存
  • CMP 170HX与英伟达A100采用相同的GA100芯片
  • 应用该方法前,英伟达CMP 170HX矿卡为8GB

尚不清楚

  • 未经证实:$5的树莓派Pico能否复现电压毛刺方法
  • 树莓派Pico复现该说法能否得到独立验证

已知情况

一名业余爱好者用一块树莓派Pico、几根细如发丝的导线和一种名为电压毛刺的技术,把一块8GB的英伟达矿卡改造成了80GB的AI加速器。该方法于11月10日由一位安全研究员发布。五天后,Reddit的LocalLLaMA论坛上的一名用户发布了一张截图,显示一块CMP 170HX报告拥有81920MiB显存。

CMP 170HX是在加密货币热潮期间作为专用矿卡出售的。其散热器下是与英伟达A100相同的那颗GA100芯片,而A100是训练了一代AI模型的数据中心GPU。根据该研究员的文章,8GB版本在封装上带有约80GB的HBM显存,但只有8GB被启用。该卡还只运行70个计算单元(SM),而零售版A100运行108个,其PCIe链路也被降速。

这些锁定由电子熔丝(eFuse)设置,这是英伟达在工厂烧断的芯片内部微小的一次性开关。芯片制造商用它们以不同价格出售同一块硅片,并关闭未通过测试的部分。HBM堆栈键合在芯片上,无法拆除,因此一块显存有缺陷的GA100仍可作为矿卡出售。该卡发布时,以太坊挖矿只需要约4GB;如果不是以太坊在2022年转向权益证明,这一上限本会让它在2027年3月左右因挖矿而被淘汰。

毛刺攻击的工作原理。 通常,烧断的熔丝只会让芯片受到更多限制。但英伟达的某些熔丝设置是通过写入新行覆盖旧行来生效,因此后一次写入可以解除限制。一项安全设置会阻止生产卡上的这些写入。该攻击会移除GPU与其电源控制器之间的一颗微小电阻,监测核心电压,并在启动约一秒后发出三次各约2毫秒的电压下探。时机命中时,安全设置会被读为关闭,新的熔丝行便可重新启用被禁用的显存和计算单元。

这需要反复试验:一次成功解锁需要1到48小时的反复尝试,具体取决于芯片。熔丝写入是永久性的,每张卡都需要自己的写入内容,并匹配该芯片的真实缺陷。该研究员表示,他们在发布前已向英伟达产品安全团队披露了这一漏洞,并且另一位研究员独立发现了它。

结果很可观。十张8GB卡中有九张解锁出完整的80GB,并通过了显存检查以及vLLM和SGLang推理服务器测试。可用计算单元从70个升至约120至126个,一项FP16基准测试达到85.9 TFLOP/s,比零售版A100的72.5高出18%。经过额外的板卡修复后,这些卡还能运行PCIe Gen4 x16和NVLink。该卡的10GB版本则不同:它带有约40GB,帖文称,关于其可达80GB的说法主要是缓存假象。

用Pico耗时十五小时。 这名Reddit用户把研究员的定制毛刺板换成了树莓派Pico 2,这是一种售价约5美元的单片机。照片显示,漆包铜线从Pico连接到该卡电源电路附近的小型元件。该用户说,他们在工作了近15个小时后完成,让一个AI助手编写了熔丝写入步骤的脚本,并计划再解锁第二张卡。其标注日期为11月15日的截图显示,英伟达的nvidia-smi工具将该卡列为81920MiB,相当于一块完整A100 80GB的容量。同一屏幕上的一个设置服务报告失败,因此该帖尚未展示这张卡运行模型。Global Eye 24尚未核实这一结果。

“AI写了脚本,解锁更多显存来运行更多AI。循环闭合了。”最高赞回复写道,获得近300个赞。

为何重要。 显存是在家中运行大型AI模型的瓶颈,而单卡80GB在数据中心之外十分罕见。一次成功的解锁将把过剩的矿机硬件变成用于本地AI的A100级机器;一位评论者说,这些卡目前的售价已接近其最初超过4000美元的价格。风险真实存在:熔丝写入无法撤销,写错可能让一张卡报废,而且操作需要在价值数千美元的板卡上进行精细焊接。在该研究员的样本中,约每十张卡就有一张因故障显存过多而无法获得任何收益。英伟达尚未置评。

英伟达股价
$159.70 −27.1% · 3个月
$156.63$199.77$242.9026年8月18日26年10月1日26年11月16日本文
日K线(UTC). Source: CoinGecko.

Global Eye 24 编辑部,借助人工智能撰写。译自英文,随事态发展更新。发现错误?请写信至 corrections@globaleye24.com.