LLM 流式输出,先用 SSE 而不是 WebSocket
多数聊天功能只需服务器向浏览器推送 token,习惯性选 WebSocket 只会徒增客户用不上的取舍。
要点速览
- OpenAI 的流式文档以 stream=true 加 SSE 的 HTTP 流式传输为核心,因此 SSE 是 LLM 聊天的自然起点。
- 只有界面确实需要在流式输出中途向上发送信号时才用 WebSocket,并接受它没有背压、无法经 CDN 或代理缓存。
- 轮询浪费资源,因为大多数请求都是空返回,只应作为兜底方案。
OpenAI 的流式输出指南写得很直白:它聚焦于通过服务器发送事件(SSE)、以 stream=true 实现的 HTTP 流式传输。token 如何从模型提供方那一侧发出,对方已经选好了。剩下的问题是把这些 token 从你的后端送到客户的屏幕上,很多团队恰恰在这一步选错。
设想你在一家银行客户现场的第一周。客户想要一个内部助手,回答流程类问题,员工不想在模型思考时盯着空白屏幕。习惯做实时应用的工程师会马上搭起 WebSocket。
但如果界面只需要接收向下流动的文本,这个选择会带来问题本身并不需要的基础设施取舍。
对前线部署工程师(FDE)而言,选择流式通道是客户真正能看到的第一个架构决策,因为它决定了演示是否流畅。本指南按应当尝试的顺序介绍三种方案:先用 SSE,有理由时再用 WebSocket,别无他法时才用轮询。
你要构建什么,需要准备什么
你将构建一个端点,接收问题并以 stream=true 调用 LLM;再构建第二个端点,通过 SSE 把每段文本推送到浏览器。浏览器用 EventSource 在文本到达时实时渲染。之后你会用 WebSocket 重写客户端部分,做个对比。
你需要一个自己熟悉的后端、一个支持流式输出的 LLM 提供方的 API key,以及一个带 DevTools 的浏览器。下面的代码是去掉了错误处理和身份验证的示意,请把它当作移植到你所用框架的骨架,而不是直接粘贴进生产环境的代码。
第 1 步:把调用模型和读取流分开
根据 MDN,发送事件的服务端脚本必须以 MIME 类型 text/event-stream 响应。没有这个响应头,EventSource 就无法工作,即使数据照样在网络上传输。
MDN 还把 SSE 描述为单向连接:客户端无法向服务器回发事件。因此,用户的问题要通过单独的 POST 请求发送,由它创建对话轮次。GET 端点只读回模型已生成的内容,自己从不调用模型。
# 简化示意,不绑定任何框架
POST /chat/turns # 创建对话轮次,只调用一次模型
turn_id = new_id()
run_in_background:
for chunk in llm.call(messages, stream=true):
buffer[turn_id].append(chunk)
return turn_id
GET /chat/stream?id=TURN_ID # 只读缓冲区,从不调用模型
set header Content-Type: text/event-stream
for chunk in buffer[TURN_ID], wait for new chunks until done:
write "data: " + chunk + "\n\n"
flush
检查方法:打开 DevTools 的 Network 面板,调用 GET 端点,查看 Content-Type 响应头。如果响应在最后一次性出现,而不是逐步流入,可能是后端或某层代理在发送前缓冲了数据。先检查 flush 调用。
第 2 步:浏览器端只需几行
POST 返回 turnId 后,浏览器打开流来接收答案。
// 简化示意
const es = new EventSource('/chat/stream?id=' + turnId);
es.onmessage = (e) => { output.textContent += e.data; };
最重要的检查是:在流式输出中途断网几秒,再恢复网络。根据 MDN,连接关闭时浏览器默认会自动重连,等待时间由 retry 字段控制。打开后端日志,确认模型没有被再次调用。
注意,上面的示意在重连时会从头重读缓冲区,屏幕上的文本可能会打印两遍。实际实现中,需要在重读前清空已渲染的内容,或者记录已读取的位置。
APIs You Won’t Hate 博客作者 Phil Sturgeon 指出,SSE 在 HTTP/REST API 中用于发送更新效果很好。由于 SSE 仍然是 HTTP,流式端点可以和你的其他 API 放在一起。
但正如第 1 步提醒的,客户的代理仍可能缓冲数据流,所以演示前要在客户的真实基础设施上测试。
第 3 步:什么时候值得换成 WebSocket?
WebSocket 在浏览器和服务器之间建立双向会话。roadmap.sh 将其描述为基于单个 TCP 连接的持久全双工通道。Ably 的划分也类似:SSE 适合服务器推送的单向更新,WebSocket 适合游戏、聊天这类双向通信。
// 简化示意
const ws = new WebSocket('wss://example.com/chat');
ws.onmessage = (e) => { output.textContent += e.data; };
ws.send(JSON.stringify({ type: 'question', text: q }));
关键问题是:模型作答期间,界面是否需要向上发送任何内容?Agent 在执行操作前暂停、请用户确认,或者多人同时观看同一个答案流的界面,都是正当理由。相比之下,“停止”按钮通常只需一个单独的请求来取消该轮次。
换成 WebSocket 要付出一些代价。MDN 指出,标准 WebSocket API 不支持背压,如果客户端处理数据的速度慢于 token 到达的速度,数据就会堆积。roadmap.sh 指出,CDN 和代理无法缓存 WebSocket 连接。
因此,roadmap.sh 建议:只需要服务器向下推送数据时,用基于 HTTP 的 SSE,而不是 WebSocket。
轮询:兜底方案,而非默认选择
轮询时,客户端定期发请求,询问服务器是否有更多文本。Hookdeck 指出,这种方式浪费资源,而且你得不断权衡下一次调用会不会有返回。对 LLM 来说,大多数请求要么空返回,要么只多出几个 token。
当客户环境无法维持长连接时,轮询仍有用武之地。这种情况下,把它作为有条件启用的兜底模式,并明确告诉客户体验会更卡顿。
| SSE | WebSocket | 轮询 | |
|---|---|---|---|
| 方向 | 服务器 → 客户端 | 双向 | 客户端定期询问 |
| 需要记住的弱点 | 无 HTTP/2 时有 6 个连接上限 | 无背压,无法经 CDN/代理缓存 | 浪费资源,大量空请求 |
| 适用场景 | 聊天、单轮回答 | Agent 需要反问、多用户共享视图 | 长连接被阻断 |
毁掉演示的三类故障
第一类来自自动重连本身。如果流式端点既接收请求又调用模型,浏览器每次重连都可能从头生成一个新答案,既浪费 token,又会打印重复文本。更稳妥的做法是像第 1 步那样,把创建对话轮次和读取流分开。
第二类是连接上限。MDN 警告,不在 HTTP/2 上运行时,SSE 每个浏览器只能有 6 个连接,上限非常低。如果用户开了同一聊天页面的多个标签页,第七个标签页可能卡在等待连接上。演示前要问客户的基础设施团队,服务器是否运行 HTTP/2。
第三类更多是流程问题,而非技术问题。OpenAI 提醒,在生产环境中流式输出模型结果会让内容审核更难,因为不完整的答案很难评估。
面对金融或医疗客户,要尽早问清内容在展示前是否必须经过过滤,因为答案可能迫使你改动整个设计。
写第一行代码前的三个问题
在客户现场,难点不在于写 EventSource。写第一行代码前,把三个问题都问清楚:界面是否需要在流式输出中途向上发送内容?基础设施是否有 HTTP/2,中间隔着哪些代理层?内容是否需要审核?
阅读 FDE 或 AI 工程师岗位的职位描述时,留意 “streaming”“realtime UI” 或 “production LLM app” 这类表述。在简历上,与其写“使用过 WebSocket”,不如用一行写清理由:为单向聊天选用 SSE,把对话轮次与读取流分离,确保重连时绝不再次调用模型。
这样一行字说明你理解的是取舍,而不只是工具。
选择仍能满足需求的最简单方案,并准备好理由,以便有人问起为什么不用 WebSocket。
这篇文章对你有帮助吗?
感谢你的反馈!
7 个信源
- Using server-sent events - MDN
- The WebSocket API (WebSockets) - MDN · 2026-09-12
- What are realtime APIs and when to use them? · 2023-10-16
- WebSocket vs. HTTP: Which protocol should you use?
- When to Use Webhooks, WebSocket, Pub/Sub, and Polling
- Streaming Data with REST APIs · 2025-09-12
- Streaming API responses - OpenAI