OpenAI 发布 Ultrafast:GPT-5.6 Sol 的速度提升了 14 倍

  • OpenAI 推出了 Ultrafast 模式,该模式可将 GPT-5.6 Sol 的运行速度提高 14 倍。
  • 由于与 Cerebras 的合作,其每秒可生成 750 个代币。
  • 可通过 API 向部分客户开放预览。
  • 专为客户服务和财务分析等关键环境而设计。

OpenAI GPT-5.6 太阳

OpenAI 为其旗舰模型 GPT-5.6 Sol 推出了全新的超快模式,承诺将处理速度提升十四倍。这项改进并非简单的性能优化,而是旨在消除速度与处理能力之间的传统权衡,在不牺牲公司最先进模型智能的前提下,实现近乎瞬时的响应。

这项新技术目前面向部分客户进行预览,它利用了人工智能推理芯片制造商 Cerebras 的基础设施。根据 OpenAI 提供的数据,该系统每秒可生成多达 750 个令牌,这一数字是目前大多数商用模型的四倍,使这项技术在业内达到了一个新的水平。

基米 K3
相关文章:
Kimi K3:挑战 OpenAI 和 Anthropico 的中国新型人工智能模型

在不牺牲模型的前提下,速度实现了飞跃

以往,要实现快速响应通常意味着要使用规模较小或更专业的模型,而 OpenAI 一直试图通过 Ultrafast 避免这种妥协。该公司并没有创建精简版,而是选择加速 GPT-5.6 Sol 模型,保留了其推理和文本生成能力。这意味着使用该 API 的开发者和公司将能够在不牺牲结果质量的前提下,享受极低的延迟。

每秒 750 个令牌的速度意味着不到一秒即可生成一段响应,从而实现近乎瞬时的交互。这一特性在分秒必争的应用中尤为重要,例如算法交易、处理大量咨询的客户支持或安全事件响应。OpenAI 强调,速度不再需要以牺牲智能为代价,这一理念引起了早期预览用户的共鸣。

Cerebras 的基础设施是性能的关键

Ultrafast 的秘密在于其与 Cerebras 的合作。Cerebras 的晶圆级引擎处理器集成了 44 GB 的 SRAM,并将模型权重保持在靠近计算单元的位置。这种架构大幅减少了外部存储器和处理器之间的数据传输,而数据传输正是大型模型推理的主要瓶颈之一。据该公司称,权重始终保留在芯片上,而 token 则在各层之间传递,这使得 Ultrafast 能够以每秒数百个 token 的速度进行处理而不会降低性能。

与 Cerebras 的集成不仅使 OpenAI 受益,也标志着这家芯片制造商迈出了重要一步,其基础设施将支持商业服务中的前沿模型。虽然目前容量仍然有限,但两家公司均已确认,随着资源的增加,他们将扩大访问权限。目前,Ultrafast 仅通过 API 提供,ChatGPT 尚不支持,OpenAI 已在其新闻稿中明确指出这一点。

针对关键环境设计的用例

OpenAI 指出,低延迟在多个场景下都能发挥显著作用。这些场景包括:事件响应,智能体可以在故障发生期间分析日志、审查追踪信息并提出解决方案;金融研究,需要实时处理市场信号;以及客户服务,确保对话流畅无延迟。此外,电子商务也受益于低延迟,例如个性化推荐和实时库存管理。

Jane Street、Podium、Basis 和 Rogo 等公司已经在编程、电商和技术支持等应用领域测试 Ultrafast 技术。初步结果表明,缩短每项任务的耗时可以将之前夜间批量运行的流程转变为全天持续迭代运行。然而,OpenAI 提醒,最终性能取决于每个工作流程的复杂性,包括外部工具和数据库调用,因此每秒 750 个令牌只是最大生成速率的参考值。

数量有限,后续步骤

Ultrafast 目前处于受限预览阶段,OpenAI 尚未公布其正式上线日期。该公司已确认,随着容量的提升,访问权限将逐步扩大,但目前只有部分客户可以激活该服务。此外,这项新服务的公开价格也尚未公布,而价格对于企业评估降低延迟是否值得额外成本至关重要。

与竞争对手相比,OpenAI 声称其 Ultrafast 的性能优于 Anthropic 的 Claude Fast 模式,后者无法达到相同的速度。对于依赖近乎瞬时响应的组织而言,这种速度差异可能成为决定性因素。与此同时,开发者们已经开始设想一些以前由于等待时间而难以实现的应用,例如实时代码生成和交互式文本游戏。

简而言之,Ultrafast 的问世标志着市场上最快 AI 竞赛的一个转折点。OpenAI 与 Cerebras 合作,并采用一种不牺牲模型性能的方法,在低延迟领域树立了新的标杆。虽然定价和正式上市日期尚未确定,但预览版已经证明速度可以与智能并驾齐驱,而且在企业环境中,每次任务节省的几秒钟都具有真正的价值。


在 Google 中将其添加为首选来源