指南

流式响应

所有具有文本输出能力(聊天、图像理解等)的模型都支持流式输出。不具备图像输出能力(图像生成)的模型不支持流式输出。

流式输出使用服务器发送事件 (SSE),它允许服务器在事件流中发送内容增量。

流式响应对于提供实时反馈非常有用,它允许文本在生成时立即显示,从而增强用户交互。

要启用流式传输,您必须在请求中设置"stream": true

当与推理模型一起使用流式输出时,您可能需要手动覆盖请求超时以避免过早关闭连接。

您将获得如下事件流:

建议您使用客户端 SDK 来解析事件流。

Python/Javascript 中的流式响应示例