Skip to content

搞英语 → 看世界

翻译英文优质信息和名人推特

Menu
  • 首页
  • 作者列表
  • 独立博客
  • 专业媒体
  • 名人推特
  • 邮件列表
  • 关于本站
Menu

价格指数可以澄清人工智能 GPU 租赁成本的不透明性

Posted on 2025-05-29

黑色背景上蓝色阴影线图

如果要问阻碍人工智能行业发展的因素是什么(如果有的话),你得到的答案很大程度上取决于你与谁交谈。我问过彭博社前首席数据管理员Carmen Li ,她的回答是“价格透明度”。

李飞飞表示,大多数小型人工智能公司无法预测租用GPU训练模型所需的成本,这导致他们的业务难以预测,也使得人工智能公司的融资成本过高。她创办了初创公司Silicon Data,旨在打造一个解决方案:首个全球GPU租赁价格指数。

该租赁价格指数名为SDH100RT ,于今日发布。该指数每天将处理来自全球 30 多个来源的 350 万个数据点,以得出使用Nvidia H100 GPU 一小时的平均现货租赁价格。(“现货价格”是指可立即交付的商品的当前售价。)

“我坚信,未来几年,计算将成为人类最大的资源,”李飞飞说道,“如果我的论点正确,那么它将需要更复杂的风险管理。”

李飞飞表示,这样的指数将带来更便宜的人工智能工具,并为更广泛的参与者提供更多参与人工智能行业的机会。如何从指数走向这一切?Silicon Data 的起源故事有助于解释这一点。

1.04 美元:美国东海岸相对于西海岸的 Nvidia H100 GPU 租赁价格优势。

直到去年年初,李彦宏还在彭博社负责全球数据整合工作。在那个职位上,她接触了几家试图提供人工智能数据产品的小公司,其中许多公司都面临着同样的问题。他们只能以固定价格提供产品,但所需的 GPU 时间成本却难以预测。因此,他们的利润率也难以预测。

对于能源等典型大宗商品,企业可以通过了解历史趋势并使用期货合约等金融产品进行对冲来应对这些波动。但对于人工智能的主要商品——GPU 运行时间,企业却无法做到这一点。因此,李彦宏着手为这些产品奠定基础,最终成果就是 SDH100RT 价格指数。

她选择对 Nvidia H100 进行价格指数化,因为它是部署最广泛的 GPU,并且用于训练新的 AI 模型。然而,针对 Nvidia A100(用于处理大量推理任务)的价格指数也在筹备中。此外,她还开发了一种方法,可以确定何时对其他 AI 芯片(例如AMD和Nvidia 的 Blackwell系列)进行价格指数化才是合理的。

Carmen Li 的专业肖像。 Carmen Li 在彭博社工作一段时间后创立了 Silicon Data。Silicon Data

有了这些数据,初创企业和其他开发新人工智能产品的公司将能够更好地了解其潜在成本,从而能够以有利可图的价格提供服务。而那些建设新人工智能基础设施的公司将能够为自己的收入设定基准。但在李彦宏看来,同样重要的是,新的资本来源可以进入人工智能领域。

李教授指出,例如,银行是相对廉价的资金供应方。但由于银行的风险控制严格,而且缺乏足够的 GPU 价格数据,它们目前还无法为 AI 项目提供资金。李教授希望 SDH100RT 能够让银行向更广泛的 AI 行业参与者提供贷款,并帮助他们开发出降低现有参与者风险的金融产品。

数据中的见解和奇闻

尽管 Silicon Data 刚刚发布,但它已经追踪 GPU 租赁价格数月之久。正如你所料,了解 AI 训练的价格揭示了一些有趣的见解。以下是李飞飞的一些发现。(她自去年 9 月以来一直在定期发布这些分析。)

东海岸称霸!西海岸却垂涎欲滴: H100 的租赁价格在美国非常稳定,但东海岸始终占据优势。三月份,在东海岸,你只需花费 5.76 美元就能租用一台 H100 工作一小时。但在西海岸,同样的一小时却要花费 6.80 美元。

超大规模芯片助力:亚马逊网络服务 (AWS)进军自主设计芯片和服务器领域,降低了这家云巨头客户的价格。据 Silicon Data 称,AWS Trainium2 的 GPU 平均单价约为每小时 4.80 美元,不到 Nvidia H100 价格的一半。其第一代芯片 Inferentia 和 Trainium 的每小时价格均低于 1.50 美元,不到当今推理主力芯片 Nvidia A100 价格的一半。然而,H100 被认为是尖端模型训练的唯一选择,因此其性能或许值得额外付费。

DeepSeek 的温和影响: 1 月份 DeepSeek 的冲击对现货租赁价格影响不大。你可能还记得,总部位于杭州的 DeepSeek 的法学硕士课程的出色表现和低成本培训令许多人感到意外,并让人工智能相关股票一夜之间飙升。“DeepSeek 上市时,股市一片疯狂,”李说道,“但现货价格并没有太大变化。”DeepSeek 上市首日,H100 的价格小幅上涨至每小时 2.50 美元,但仍处于前几个月每小时 2.40 美元至 2.60 美元的区间内。随后,价格在 2 月份的大部分时间里跌至每小时 2.30 美元,之后才开始回升。

英特尔比 AMD 更高端: GPU 始终受 CPU 控制,通常比例为 4:1。而 CPU 市场则由英特尔和 AMD 争夺。(Nvidia 也生产自己的 CPU,称为Grace 。)但看起来客户愿意为采用英特尔处理器的系统支付更高的价格。对于 Nvidia A100 系统,搭载英特尔 CPU 的系统售价比搭载 AMD 处理器的系统高出约 40%。对于 H100,影响取决于所涉及的互连技术。如果计算机使用 SXM 或 PCIe 作为链路,则英特尔的价格更高。但对于那些使用 Nvidia NVLink 互连方案的系统来说,AMD 获得了溢价。

人工智能的商品化

你真的能把人工智能的价格归结为一个数字吗?毕竟,计算机的性能及其对特定客户的实用性涉及很多因素。例如,客户可能正在使用由于法律原因无法跨境的数据进行训练。那么他们为什么要关心其他国家的价格呢?而且,任何研究过机器学习领先基准测试MLPerf 的人都会发现,同一款 Nvidia GPU 的性能会因其所处的系统和运行的软件而有很大差异。

李认为,商品视角是可行的。Silicon Data 的指数将所有这些差异标准化,并根据数据中心参与租赁市场的程度、位置、数据来源等诸多因素赋予不同的权重。

或许,对人工智能商品化理念最有力的支持来自英伟达首席执行官黄仁勋本人。在公司大型开发者大会GTC上,他倡导将数据中心视为“人工智能工厂”,其产出将以每秒产出的代币数量(LLM 使用的最小信息单位)来衡量。

原文: https://spectrum.ieee.org/gpu-prices

本站文章系自动翻译,站长会周期检查,如果有不当内容,请点此留言,非常感谢。
  • Abhinav
  • Abigail Pain
  • Adam Fortuna
  • Alberto Gallego
  • Alex Wlchan
  • Answer.AI
  • Arne Bahlo
  • Ben Carlson
  • Ben Kuhn
  • Bert Hubert
  • Bits about Money
  • Brian Krebs
  • ByteByteGo
  • Chip Huyen
  • Chips and Cheese
  • Christopher Butler
  • Colin Percival
  • Cool Infographics
  • Dan Sinker
  • David Walsh
  • Dmitry Dolzhenko
  • Dustin Curtis
  • Elad Gil
  • Ellie Huxtable
  • Ethan Marcotte
  • Exponential View
  • FAIL Blog
  • Founder Weekly
  • Geoffrey Huntley
  • Geoffrey Litt
  • Greg Mankiw
  • Henrique Dias
  • Hypercritical
  • IEEE Spectrum
  • Investment Talk
  • Jaz
  • Jeff Geerling
  • Jonas Hietala
  • Josh Comeau
  • Lenny Rachitsky
  • Liz Danzico
  • Lou Plummer
  • Luke Wroblewski
  • Matt Baer
  • Matt Stoller
  • Matthias Endler
  • Mert Bulan
  • Mostly metrics
  • News Letter
  • NextDraft
  • Non_Interactive
  • Not Boring
  • One Useful Thing
  • Phil Eaton
  • Product Market Fit
  • Readwise
  • ReedyBear
  • Robert Heaton
  • Ruben Schade
  • Sage Economics
  • Sam Altman
  • Sam Rose
  • selfh.st
  • Shtetl-Optimized
  • Simon schreibt
  • Slashdot
  • Small Good Things
  • Taylor Troesh
  • Telegram Blog
  • The Macro Compass
  • The Pomp Letter
  • thesephist
  • Thinking Deep & Wide
  • Tim Kellogg
  • Understanding AI
  • 英文媒体
  • 英文推特
  • 英文独立博客
©2025 搞英语 → 看世界 | Design: Newspaperly WordPress Theme