指南
流式响应
所有具有文本输出能力(聊天、图像理解等)的模型都支持流式输出。不具备图像输出能力(图像生成)的模型不支持流式输出。
流式输出使用服务器发送事件 (SSE),它允许服务器在事件流中发送内容增量。
流式响应对于提供实时反馈非常有用,它允许文本在生成时立即显示,从而增强用户交互。
要启用流式传输,您必须在请求中设置"stream": true
。
当与推理模型一起使用流式输出时,您可能需要手动覆盖请求超时以避免过早关闭连接。
您将获得如下事件流:
建议您使用客户端 SDK 来解析事件流。
Python/Javascript 中的流式响应示例