Meta 的 Llama 4 模型登陆 Ollama！

Posted on 2025-05-05

介绍

人工智能社区的激动人心的消息！ Meta 最新一代强大的开放权重大型语言模型Llama 4已经推出，现在可以通过 Ollama 访问。这意味着您可以直接在本地硬件上运行这些尖端的多模式模型。这篇文章将引导您了解 Ollama 上提供的 Llama 4 型号，并向您展示如何开始使用。

骆驼 4

Llama 4 标志着开放人工智能模型的重大进步，融合了多项关键创新：

  • 专家混合 (MoE) 架构： Llama 4 采用 MoE 设计。虽然参数总数可能很大（Maverick 高达 400B！），但对于任何给定任务，只有一小部分参数（最相关的“专家”，大约 17B）被激活。与类似规模的传统“密集”模型相比，这可以显着提高推理效率，并可能加快响应时间。
  • 原生多模态：与可能附加视觉功能的模型不同，Llama 4 是从头开始设计的，可以无缝处理和理解文本和图像输入。
  • 扩展的多语言功能： Llama 4 经过包含多种语言的庞大数据集的训练，在发布时正式支持 12 种语言，包括英语、阿拉伯语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语、泰语、越南语等。
  • 非常大的上下文窗口：这些模型拥有巨大的上下文窗口。例如，Llama 4 Scout 支持多达 1000 万个令牌，允许进行令人难以置信的长时间对话、大型文档分析或对大量代码库进行推理。 （注意：Ollama 等平台上的初始实现可能支持此最大上下文的一部分）。

Ollama 上有售 Llama 4 型号

Ollama 目前提供对 Meta 发布的两个主要指令调整 Llama 4 模型的访问：

  • 骆驼 4 侦察兵 ( llama4:scout )

    • 参数：总参数1090亿个|约 170 亿个活动参数（16 位专家）。
    • 大小：大约 67GB（这可能因量化而异）。
    • 优点：设计为一个功能强大且高效的模型。它旨在为一般文本和图像理解任务提供强大的性能，并且通常可以在单个高端 GPU（例如 NVIDIA H100 或同等产品）上运行。
    • 上下文：最多 1000 万个代币。
    • 主要用途：非常适合助理式聊天、可视化问答、总结多个文档、一般知识查询。

  • 骆驼 4 Maverick ( llama4:maverick )

    • 参数： 4000亿总参数|约 170 亿个活跃参数（128 位专家）。
    • 大小：大约 243GB（明显更大，需要大量资源）。
    • 优势：与 Scout 相比，Maverick 拥有更多的专家库，在复杂推理、编码和专业知识任务方面可能更强。
    • 上下文：报告最多 100 万个代币。
    • 主要用途：适合高级推理、复杂的代码生成和分析、具有挑战性的视觉解释任务。

（资源说明：运行这些模型，尤其是 Maverick，需要大量 RAM，并且为了获得最佳性能，还需要具有充足 VRAM 的强大 GPU。）

如何使用 Ollama 运行 Llama 4

使用 Ollama 在本地运行 Llama 4 很简单：

  1. 安装或更新 Ollama：确保您拥有最新版本的 Ollama。如果您尚未安装，请从Ollama 网站下载。

  2. 从终端运行：打开终端或命令提示符。使用ollama run命令，后跟模型标签。 Ollama 自动处理下载和设置。

    • 运行 Llama 4 Scout：
     ollama run llama4:scout
    • 运行 Llama 4 Maverick：
     ollama run llama4:maverick

    （提醒：运行此命令之前，请确保您的系统满足 Maverick 的高资源要求。）

  3. 开始交互：出现>>>提示后，模型已加载，您可以直接输入文本提示！

    • 使用图像：对于多模式输入（与文本一起发送图像），您通常需要通过 Ollama REST API 进行交互或使用支持多模式请求的 GUI 客户端。基本的ollama run命令是纯文本的。检查Ollama GitHub 存储库以获取 API 文档和示例。

进一步探索

除了官方 Meta 版本之外，Ollama 社区还经常提供流行模型的量化版本（例如q4_K_M 、 q5_K_M 、 q6_K ）。这些可以减少文件大小并降低 RAM/VRAM 要求，从而使功能强大的模型可以在功能较弱的硬件上访问，尽管可能会在准确性方面做出一些牺牲。您可以直接在Ollama 模型库上搜索这些社区版本。例如，搜索llama4可能会显示量化版本，例如ingu627/llama4-scout-q4 。

结论

Llama 4 在 Ollama 上的推出让开发者和爱好者能够接触到最先进的、开放的、多模式的 AI 功能。 MoE 架构的效率与本地多模式理解和广阔的上下文窗口相结合，开启了令人兴奋的可能性。无论您选择敏捷的 Scout 还是强大的 Maverick，Ollama 都提供了一个探索下一代人工智能的简单途径。今天就尝试一下吧！

原文： https://atlassc.net/2025/05/03/meta-s-llama-4-models-land-on-ollama