Realtime API 参考

本接口是一个 WebSocket 长连接。网关把百炼 Qwen-Omni-Realtime 协议原样双向转发，不做协议转换；事件字段的完整定义与工具调用（Function Calling / MCP）事件以百炼官方客户端事件与服务端事件为准。本页覆盖接入所需的握手、鉴权、事件清单与音频约定。

请求

只有 public_protocols 声明了 dashscope_realtime 的逻辑模型才能走本入口。

握手错误码

握手（升级为 WebSocket 之前）失败时，以 HTTP 状态码返回，body 为：

{"error":{"type":"invalid_request_error","code":"unauthorized","message":"unauthorized: api_key_not_found"}}

握手通过（HTTP 101）后再出现的问题，会以带内 error 事件下发，然后关闭连接：

{"type":"error","error":{"type":"upstream_error","code":"provider_unavailable","message":"upstream connection failed"}}

会话配置 session.update

建连后服务端先发 session.created，客户端用 session.update 覆盖配置，配置合法则回 session.updated。常用字段：

turn_detection: null 表示关闭服务端 VAD，改由客户端手动提交与触发响应。

客户端事件

服务端事件

工具调用（response.function_call_arguments.delta / .done）与 MCP 相关事件（mcp_*）字段见百炼服务端事件文档。

一次完整语音问答的实测事件序（cn 生产，2026-10-08）：

session.created
session.updated
input_audio_buffer.speech_started
input_audio_buffer.speech_stopped
input_audio_buffer.committed
conversation.item.input_audio_transcription.completed
response.created
response.output_item.added
response.audio_transcript.delta …
response.audio.delta …
response.done

音频格式

实测满 100 ms 一包推送输入音频（3200 字节 / 帧）最稳。input_audio_buffer.append 只入缓冲，不触发响应；是否提交由 VAD 或客户端 input_audio_buffer.commit 决定。

VAD 与打断

• turn_detection 非 null 时，服务端自动检测语音起止并在静音 silence_duration_ms（默认 800ms）后自动提交、触发响应。
• 用户再次说话：服务端下发 input_audio_buffer.speech_started → 客户端停止播放并发 response.cancel → 收到 response.done（cancelled）→ 新一轮。
• turn_detection: null 为手动模式：客户端在录音结束后依次发送 input_audio_buffer.commit（等 input_audio_buffer.committed）与 response.create。

用量与计费

每轮响应的 response.done.response.usage 携带分模态 token：

{
  "type": "response.done",
  "response": {
    "status": "completed",
    "usage": {
      "total_tokens": 843,
      "input_tokens": 693,
      "output_tokens": 150,
      "input_tokens_details": { "text_tokens": 693 },
      "output_tokens_details": { "text_tokens": 28, "audio_tokens": 122 }
    }
  }
}

网关按整段连接的累计用量在关闭时结算：连接时按会话级预估预授权（当前约 ¥1.2，余额不足则握手 402），关闭连接后按实际用量多退少补，无用量则释放预授权。详见使用指南。

限制

相关

• 实时语音（Realtime）模型使用指南
• 认证鉴权
• 错误码与限流