Skip to content

搞英语 → 看世界

翻译英文优质信息和名人推特

Menu
  • 首页
  • 作者列表
  • 独立博客
  • 专业媒体
  • 名人推特
  • 邮件列表
  • 关于本站
Menu

饥饿的人工智能模型

Posted on 2025-07-09

当你查询 AI 时,它会收集相关信息来回答你。

但是,模型需要多少信息?

反比.png

与从业者的对话揭示了他们的直觉:输入比输出大约大约 20 倍。

但是我使用Gemini 工具命令行界面进行实验,输出详细的令牌统计信息,结果显示其值要高得多。

平均 300 倍,最高可达 4000 倍。

这就是为什么这种高投入产出比对于任何使用人工智能进行构建的人来说都很重要:

截图 2025-07-08 上午 8:42:03\u202fAM.png

成本管理的关键在于输入。由于 API 调用按令牌计费,300:1 的比例意味着成本取决于具体情况,而非答案。这种定价机制适用于所有主流模型。

在OpenAI 的定价页面上,GPT-4.1 的输出代币价格是输入代币的 4 倍。但当输入量增加 300 倍时,输入成本仍然占总费用的 98%。

延迟是上下文大小的函数。决定用户等待答案时间的一个重要因素是模型处理输入所需的时间。

它重新定义了工程挑战。这一观察证明了,利用法学硕士进行构建的核心挑战不仅仅是提示,而是情境工程。

关键任务是构建高效的数据检索和上下文 – 制作可以找到最佳信息并将其提炼为尽可能最小的令牌占用空间的管道。

请求与缓存.png

缓存成为关键任务。如果 99% 的 token 都包含在输入中,那么为频繁检索的文档或常见查询上下文构建一个健壮的缓存层,就从“锦上添花”变成了构建经济高效且可扩展产品的核心架构要求。

截图 2025-07-08 上午 8:33:51\u202fAM.png

对于开发人员来说,这意味着专注于输入优化是控制成本、减少延迟以及最终构建成功的人工智能产品的关键杠杆。

原文: https://www.tomtunguz.com/input-output-ratio/

本站文章系自动翻译,站长会周期检查,如果有不当内容,请点此留言,非常感谢。
  • Abhinav
  • Abigail Pain
  • Adam Fortuna
  • Alberto Gallego
  • Alex Wlchan
  • Answer.AI
  • Arne Bahlo
  • Ben Carlson
  • Ben Kuhn
  • Bert Hubert
  • Bits about Money
  • Brian Krebs
  • ByteByteGo
  • Chip Huyen
  • Chips and Cheese
  • Christopher Butler
  • Colin Percival
  • Cool Infographics
  • Dan Sinker
  • David Walsh
  • Dmitry Dolzhenko
  • Dustin Curtis
  • eighty twenty
  • Elad Gil
  • Ellie Huxtable
  • Ethan Dalool
  • Ethan Marcotte
  • Exponential View
  • FAIL Blog
  • Founder Weekly
  • Geoffrey Huntley
  • Geoffrey Litt
  • Greg Mankiw
  • Henrique Dias
  • Hypercritical
  • IEEE Spectrum
  • Investment Talk
  • Jaz
  • Jeff Geerling
  • Jonas Hietala
  • Josh Comeau
  • Lenny Rachitsky
  • Li Haoyi
  • Liz Danzico
  • Lou Plummer
  • Luke Wroblewski
  • Matt Baer
  • Matt Stoller
  • Matthias Endler
  • Mert Bulan
  • Mind Matters
  • Mostly metrics
  • Naval Ravikant
  • News Letter
  • NextDraft
  • Non_Interactive
  • Not Boring
  • One Useful Thing
  • Phil Eaton
  • Product Market Fit
  • Readwise
  • ReedyBear
  • Robert Heaton
  • Rohit Patel
  • Ruben Schade
  • Sage Economics
  • Sam Altman
  • Sam Rose
  • selfh.st
  • Shtetl-Optimized
  • Simon schreibt
  • Slashdot
  • Small Good Things
  • Steve Blank
  • Taylor Troesh
  • Telegram Blog
  • The Macro Compass
  • The Pomp Letter
  • thesephist
  • Thinking Deep & Wide
  • Tim Kellogg
  • Understanding AI
  • Wes Kao
  • 英文媒体
  • 英文推特
  • 英文独立博客
©2025 搞英语 → 看世界 | Design: Newspaperly WordPress Theme