Slashdot 读者 yeokm1 是一位来自新加坡的嵌入式安全研究人员，他的业余项目包括在 1993 年的 PC 上安装 Linux 以及为 MS-DOS 构建 ChatGPT 客户端。他现在正在分享他的最新项目——在 DOS 上安装 Llama 2：传统观点认为，在本地运行 LLM 需要具有高性能规格的计算机，尤其是具有大量 VRAM 的 GPU。但这真的是真的吗？感谢开源 llama2.c 项目 [最初由 Andrej Karpathy 创建]，我将其移植到工作中，以便运行 DOS 的老式机器实际上可以使用 Llama 2 LLM 模型进行推理。当然，存在严格的限制，但结果会让您感到惊讶。根据博客文章，“一切都是开源的，可执行文件在这里可用”。 （他们甚至解决了 DOS 文件名限制为八个字符的早期“问题”。）“正如预期的那样，系统越现代，推理速度就越快……”它补充道。 “尽管如此，我仍对老式系统能够完成的事情感到惊讶。”
在 Slashdot 上阅读这个故事的更多内容。