闲置 GPU 变 API，先算共享账

这想法很像把家里空车位拿出来出租。车位确实空着，但一旦对外开放，问题就变了，谁来划线、谁来收钱，剐蹭赔付和物业管理也要有人管。闲置 GPU 卖 token 也一样，难的地方在于能不能把它变成可调度、可计费，还要能验收的公共资源。

我最近看算力基建，也跟团队聊过几次推理成本。这个方向值得投入，但投入之前，得先把组织账算清楚。很多人把闲置 GPU 当成纯技术问题，装个代理，暴露端口，跑个推理服务，就能卖 token。平台工程里不能这么算。资源一旦共享出去，就从个人资产变成线上服务。个人可以接受偶尔断线，客户不能接受。

AI 行业讲算力，经常先讲买卡。我带平台团队时，买卡只是开始。后面最难的是怎么把一堆异构机器用起来。显存、驱动、网络带宽、模型版本和散热条件都不一样，稳定服务就会受影响。云厂商和调度平台都在解决利用率问题，NVIDIA Run:ai 这类产品强调动态分配 GPU 资源，减少 idle time。原因很简单，大集群里，闲置会浪费一整个排队系统。

个人闲置 GPU 也面临同样问题，只是规模更小，噪声更大。一台家用电脑可能白天被主人跑游戏，晚上被系统更新打断，网络是 NAT，IP 会变，磁盘是 consumer grade，电源未必稳。对训练来说，这些都能忍。对推理 API 来说，这些都会变成客户投诉。

我这边看下来，闲置算力能不能卖，关键看它能不能被组织起来。能不能排队和抢占，监控、回滚、失败切换这些能力也得跟上。没有这些能力，卖 token 就只是把个人电脑变成不稳定节点。

讨论里有个细节挺有意思。有人说做本地 AI 服务，聊天体验至少要 5 tokens/s 才勉强可用；也有人拿老一点的 T2000 配 i7 跑到大约 20 tokens/s。这个信息有参考价值，但别被数字带偏。速度只是用户能感知的一部分。真实业务里，首 token 延迟、并发稳定性、长上下文吞吐、模型加载时间、断流重连都会影响最终体验。

更麻烦的是成本。个人觉得电脑反正开着，顺便赚点钱。公司算账不能这么算。电费、带宽、折旧、运维、安全、合规、客服、故障赔付，这些都要摊进单位成本。ROI 算过没有？没算过，共享经济就容易变成用爱发电。

维度	内部算力池	个人闲置 GPU 网络
资产状态	统一采购，配置相对可控	设备分散，状态不可控
调度目标	利用率、优先级、SLA、成本	有空就跑，掉线就掉
成本模型	机柜、电费、运维、研发分摊	电费和带宽容易算，故障难算
适合任务	训练、核心推理、合规业务	试验、离线、低风险请求

表格只是粗略拆分。落地时，我会先看三件事，单卡有效利用率、每千 token 成本、失败恢复时间。前两个决定能不能卖，后一个决定敢不敢卖。

从组织角度看，闲置 GPU 共享最有价值的地方，是把分散算力变成可观测资源。可观测之后，才知道哪些任务可以放上去，哪些任务必须留在内部。比如个人开发者跑一个小模型 demo，没问题。企业客服系统调用推理服务，模型答错、超时、数据泄露，责任就很难拆。

我倾向于先小范围验证，再扩大。先在公司内部把闲置 GPU 做成一个资源池，不急着接外部流量。内部共享有几个好处，网络边界和安全策略能统一，任务优先级也能人工干预，出问题能追责。等内部跑顺了，再考虑把部分低风险容量开放给外部。

这跟测试流水线这几天在试的感觉有点像。自动化最怕跑出来的结果没人信。闲置 GPU 网络也一样，卖 token 最怕没人知道这个 token 是从哪台机器、哪个模型版本、什么安全条件下出来的。隐性知识不显性化，规模越大，事故越多。

所以我的看法比较直接，这个 idea 可以做成基础设施，但不应被理解成人人有 GPU，人人都该去卖算力。这里需要的是调度、计量、隔离、审计、故障恢复、成本分摊。觉得只要把端口打开，需求就会自然来，只是市场幻觉。

成熟的共享网络，可能要先让个人节点通过基准测试，拿到可用等级。调度器按任务类型选择节点，计费系统按有效 token 和延迟结果付费，安全层限制数据出域，失败节点自动下线。这里面每一环都是工程，也是组织。

如果未来有人把闲置 GPU 做成公共推理网络，更可能先由大平台把闲置算力池化，再开放一部分给生态。个人节点大概率还会停留在偶尔跑跑、顺便赚点电费的阶段。

---

📌 本文编译自 Hacker News，原文：https://news.ycombinator.com/item?id=49681314

版权归原作者所有，本文为基于公开报道的编译与独立分析。