GPT-5 在 AIME 2025 上的准确率达到了 94.6%，表明其数学推理能力接近人类。
然而，当要求它查询数据库时，成功率就会下降到十分之一。
Spider 2.0 基准测试揭示了 AI 能力方面的巨大差距。Spider 2.0是一个全面的文本到 SQL 基准测试，用于测试 AI 模型从真实数据库中的自然语言问题生成精确 SQL 查询的能力。
虽然大型语言模型已经征服了数学、编码和推理方面的知识工作，但文本到 SQL 仍然很难。
Spider 2.0 的三个基准测试测试了不同环境下的真实数据库查询。Spider 2.0-Snow 使用 Snowflake 数据库，包含 547 个测试示例，准确率峰值达到 59.05%。
Spider 2.0-Lite 涵盖了 BigQuery、Snowflake 和 SQLite，新增了 547 个示例，但准确率仅为 37.84%。Spider 2.0-DBT 针对 DuckDB 测试了代码生成，新增了 68 个示例，准确率最高达到了 39.71%。
这种性能差距并非因为缺乏尝试。自2024年11月以来，来自12个车型系列的56份参赛作品参加了这些基准测试。
Claude、OpenAI、DeepSeek 等公司都已将其模型应用于这些测试。在过去的九个月中，进展一直很稳定，从大约 2% 增长到 60% 左右。
如果考虑到 SQL 的限制，这个难题就更加棘手了。与拥有 60 万个词汇的英语相比，SQL 的词汇量非常有限，而编程语言的语法和库则更加丰富。此外，市面上还有大量的 SQL 可供训练。
如果有的话，这应该比模型现在擅长的开放式推理任务更容易。
然而，即使是完美的 SQL 生成也无法解决真正的业务挑战。每家公司对“收入”的定义都不一样。
市场营销部门用营销活动支出来衡量客户获取成本，销售部门用客户经理成本来计算，而财务部门则把全额员工费用也算进去。这些语义上的差异造成了技术准确性无法解决的混乱。
Spider 2.0 的结果揭示了数据工作的一个基本事实：熟练掌握 SQL 语法只是入门步骤。
真正的挑战在于商业环境。理解数据的含义、不同团队如何定义指标，以及何时需要处理边缘情况。正如我在《语义耕耘者》一书中所写，原始数据与商业含义之间的桥梁需要人类的判断，而这是当前的人工智能无法复制的。