放大(图片来源:Benj Edwards / Ars Technica)
周五,Meta 宣布了一种名为 LLaMA-13B 的新型人工智能大型语言模型(LLM),它声称尽管“小了 10 倍”,但它的性能优于 OpenAI 的GPT-3模型。较小尺寸的 AI 模型可能会导致在 PC 和智能手机等设备上本地运行 ChatGPT 风格的语言助手。它是称为“大型语言模型元 AI”或简称 LLAMA 的新语言模型家族的一部分。
LLaMA 语言模型集合的参数大小从 70 亿到 650 亿不等。相比之下,OpenAI 的 GPT-3 模型——ChatGPT背后的基础模型——有 1750 亿个参数。
Meta 使用公开可用的数据集(例如Common Crawl 、Wikipedia 和C4)训练其 LLaMA 模型,这意味着该公司有可能发布模型和权重开源。在这个行业中,这是一个戏剧性的新发展,到目前为止,AI 竞赛中的大型科技公司一直将他们最强大的 AI 技术留给自己。