令人难以置信的是,我们现在能够在自己的硬件上运行所有这些强大的AI模型。从DeepSeek的精简版到gpt-oss-20b,各种类型的计算机都有很多选择。但说实话,它们都远远落后于可以租用的尖端模型,因此对大多数开发者来说,充其量只是一种新奇的尝试。
这丝毫不会减损这项技术成就。这也不否认小型模型正在不断改进,或许有一天它们真的会好到足以让开发者在日常工作中依赖它们。
但那一天并非今天。
因此,我觉得开发者们以电脑运行本地模型的能力来评估下一台电脑的性能是荒谬的。因为所有电脑的本地模型都烂透了!一个比另一个稍微好一点根本无关紧要。一旦你意识到这一点,你就会发现,你大部分的工作还是得用租用的模型。
这其实是个好消息!这意味着你真的不需要在桌面上放一台配备 128GB 显存的电脑。鉴于内存价格飞涨,这无疑是个好消息,而内存价格上涨正是因为人工智能对资源的需求永无止境。如今大多数开发者只需要很少的内存就能满足需求,尤其是在使用 Linux 系统的情况下。
所以,为了做个实验,我暂时把价值 2000 美元的 Framework Desktop闲置了一段时间。它确实是一台很棒的机器,但在日常使用中,我发现它和Beelink (或Minisforum )的 500 美元迷你电脑相比,几乎没有区别。
我敢肯定,你实际需要的量可能比你想象的要少得多。