放大(图片来源:Databricks)
周三,Databricks 发布了 Dolly 2.0,据报道这是第一个用于商业用途的开源指令遵循大型语言模型 (LLM),它已经在人工生成的数据集上进行了微调。它可以作为自制 ChatGPT 竞争对手的一个引人注目的起点。
Databricks 是一家美国企业软件公司,由Apache Spark的创建者于 2013 年创立。它们提供了一个基于 Web 的平台,用于使用 Spark 进行大数据和机器学习。根据 Dolly 发布博客文章,通过发布 Dolly,Databricks 希望允许组织创建和定制 LLM,“无需支付 API 访问费用或与第三方共享数据”。
Dolly 2.0 是其新的 120 亿参数模型,它基于EleutherAI 的 pythia模型系列,并专门针对从 Databricks 员工众包的训练数据(称为“databricks-dolly-15k”)进行微调。这种校准使它的能力更符合 OpenAI 的 ChatGPT,与未经微调的原始 LLM 相比,它更擅长作为聊天机器人回答问题和参与对话。