Microsoft 最新的 Phi4 LLM 有 140 亿个参数，需要大约 11 GB 的存储空间。你能在树莓派上运行它吗？认真点吧。然而， Phi4-迷你推理模型是一个精简版本，“仅”有 38 亿个参数，需要 3.2 GB。这更现实，在最近的视频中，[Gary 解释] 告诉您如何将此 LLM 添加到您的 Raspberry Pi 武器库中。
[Gary] 使用的版本具有四位量化，并且正如您所期望的那样，性能不会很出色。如果您精通所有 LLM 术语，那么量化就是存储权重的方式，而且一般来说，模型使用的参数越多，它能计算出的东西就越多。
作为基准，[加里]喜欢使用他所谓的“爱丽丝问题”。换句话说，他要求回答这个问题：“爱丽丝有五个兄弟，她还有三个姐妹。爱丽丝的哥哥有多少个姐妹？”虽然您可能花了一秒钟的时间来思考，但您几乎肯定会想出正确的答案。有了这个模型，Raspberry Pi 也可以回答这个问题。
第一次运行看起来相当快，但它是在带有 GPU 的 PC 上运行的。他指出，同样的问题在 4 核和 8GB RAM 的 Raspberry Pi 5 上大约需要 10 分钟才会出现。
我们不确定你会用一个非常慢的法学硕士做什么，但它确实有效。如果有的话，请在评论中告诉我们您会用它做什么。
原文： https://hackaday.com/2025/05/10/an-llm-for-the-raspberry-pi/