OpenAI 发布了新的支持音频的 Chat 模型 "gpt-4o-audio-preview"

现在调用这个模型可以输入文本或音频，API 可以返回文本、音频或混合数据。这个 API 更适合异步场景，如果想要实时音频，还是需要用前不久发布的很贵的实时音频 API。

但实际上这个 API 返回速度是不错的，只是不能像实时 API 你可以随时打断。

并且这个模型同样可以检测语调、语气变化及其他细微差别。

可以利用这些音频功能来：

- 生成文本内容的语音摘要（输入文本，输出音频）
- 对录音进行情感分析（输入音频，输出文本）
- 与模型进行异步的语音对话（输入音频，输出音频）

常见问题

gpt-4o-audio-preview 支持哪些模态？
gpt-4o-audio-preview 目前需要使用音频输出或音频输入。可接受的输入和输出组合包括：
- 文本输入 → 文本 + 音频输出
- 音频输入 → 文本 + 音频输出
- 音频输入 → 文本输出
- 文本 + 音频输入 → 文本 + 音频输出
- 文本 + 音频输入 → 文本输出

Chat Completions 中的音频与实时 API 有什么不同？
底层的 GPT-4o 音频模型完全相同。实时 API 在更低延迟下运行相同的模型。

如何理解模型的音频输入与 token 之间的关系？
我们正在开发更好的工具来展示这一点，但大致上一小时的音频输入相当于 128k 个 token，这是目前该模型支持的最大上下文窗口。

我如何控制接收到的输出模态？
目前模型只支持以编程方式指定模态 = ["文本", "音频"]。未来，该参数将提供更多的控制选项。

工具/函数调用如何运作？
工具（和函数）调用与其他 Chat Completions 模型的运作方式相同。

gpt-4o-audio-preview 价格的话，

Text
输入：$2.50 / 1M tokens
输出：$10.00 / 1M tokens

音频
输入：$100.00 / 1M tokens
输出：$200.00 / 1M tokens

如果说一小时的音频大约128k tokens，那么1小时音频的输入成本是 $ 12.8，输出成本是 $25.6

platform.openai.com/docs/guides/audio http://t.cn/A6EDyHEa