我刚刚发布了LLM的 0.19 版本，这是我的 Python 库和 CLI 实用程序，用于处理大型语言模型。
几周前我发布了 0.18，添加了对从 Python asyncio代码调用模型的支持。 0.19 对此进行了改进，并且还为模型添加了报告其令牌使用情况的新机制。
LLM 可以将这些使用数字记录到 SQLite 数据库中，或者可供自定义 Python 代码使用。
我对这些功能的最终目标是将令牌会计作为 Datasette 插件实现，这样我就可以在我的 SaaS 平台中提供 AI 功能，而不必担心客户花费无限的 LLM 令牌。
0.19 完整发行说明：
- 对于默认 OpenAI 模型和实现此功能的其他插件的模型，响应使用的令牌现在记录到新的
input_tokens和output_tokens整数列以及token_detailsJSON 字符串列。第610章llm prompt现在采用-u/--usage标志来在响应末尾显示令牌使用情况。llm logs -u/--usage显示记录的响应的令牌使用信息。llm prompt ... --async响应现在已记录到数据库中。第641章llm.get_models()和llm.get_async_models()函数，记录在此处。第640章response.usage()和异步响应await response.usage()方法，返回Usage(input=2, output=1, details=None)数据类。第644章response.on_done(callback)和await response.on_done(callback)方法用于指定响应完成时要执行的回调，记录在此处。第653章- 修复了在 Windows 11 上运行
llm chat错误。谢谢Sukhbinder Singh 。第495章
我还发布了三个新的插件版本，增加了对新使用情况跟踪功能的支持： llm-gemini 0.5 、 llm-claude-3 0.10和llm-mistral 0.9 。
标签： llm 、发行说明、生成人工智能、项目、人工智能、 llms
原文： https://simonwillison.net/2024/Dec/1/llm-019/#atom-everything