# LLM 流式输出，先用 SSE 而不是 WebSocket

> 多数聊天功能只需服务器向浏览器推送 token，习惯性选 WebSocket 只会徒增客户用不上的取舍。

原文: https://fdetimes.net/zh/guides/stream-llm-responses-sse-vs-websocket/

OpenAI 的流式输出指南写得很直白：它聚焦于通过服务器发送事件（SSE）、以 `stream=true` 实现的 HTTP 流式传输。token 如何从模型提供方那一侧发出，对方已经选好了。剩下的问题是把这些 token 从你的后端送到客户的屏幕上，很多团队恰恰在这一步选错。

设想你在一家银行客户现场的第一周。客户想要一个内部助手，回答流程类问题，员工不想在模型思考时盯着空白屏幕。习惯做实时应用的工程师会马上搭起 WebSocket。

但如果界面只需要接收向下流动的文本，这个选择会带来问题本身并不需要的基础设施取舍。

对前线部署工程师（FDE）而言，选择流式通道是客户真正能看到的第一个架构决策，因为它决定了演示是否流畅。本指南按应当尝试的顺序介绍三种方案：先用 SSE，有理由时再用 WebSocket，别无他法时才用轮询。

## 你要构建什么，需要准备什么

你将构建一个端点，接收问题并以 `stream=true` 调用 LLM；再构建第二个端点，通过 SSE 把每段文本推送到浏览器。浏览器用 `EventSource` 在文本到达时实时渲染。之后你会用 WebSocket 重写客户端部分，做个对比。

你需要一个自己熟悉的后端、一个支持流式输出的 LLM 提供方的 API key，以及一个带 DevTools 的浏览器。下面的代码是去掉了错误处理和身份验证的示意，请把它当作移植到你所用框架的骨架，而不是直接粘贴进生产环境的代码。

## 第 1 步：把调用模型和读取流分开

根据 MDN，发送事件的服务端脚本必须以 MIME 类型 `text/event-stream` 响应。没有这个响应头，`EventSource` 就无法工作，即使数据照样在网络上传输。

MDN 还把 SSE 描述为单向连接：客户端无法向服务器回发事件。因此，用户的问题要通过单独的 POST 请求发送，由它创建对话轮次。GET 端点只读回模型已生成的内容，自己从不调用模型。

```text
# 简化示意，不绑定任何框架
POST /chat/turns                 # 创建对话轮次，只调用一次模型
  turn_id = new_id()
  run_in_background:
      for chunk in llm.call(messages, stream=true):
          buffer[turn_id].append(chunk)
  return turn_id

GET /chat/stream?id=TURN_ID      # 只读缓冲区，从不调用模型
  set header Content-Type: text/event-stream
  for chunk in buffer[TURN_ID], wait for new chunks until done:
      write "data: " + chunk + "\n\n"
      flush
```

检查方法：打开 DevTools 的 Network 面板，调用 GET 端点，查看 `Content-Type` 响应头。如果响应在最后一次性出现，而不是逐步流入，可能是后端或某层代理在发送前缓冲了数据。先检查 flush 调用。

## 第 2 步：浏览器端只需几行

POST 返回 `turnId` 后，浏览器打开流来接收答案。

```javascript
// 简化示意
const es = new EventSource('/chat/stream?id=' + turnId);
es.onmessage = (e) => { output.textContent += e.data; };
```

最重要的检查是：在流式输出中途断网几秒，再恢复网络。根据 MDN，连接关闭时浏览器默认会自动重连，等待时间由 `retry` 字段控制。打开后端日志，确认模型没有被再次调用。

注意，上面的示意在重连时会从头重读缓冲区，屏幕上的文本可能会打印两遍。实际实现中，需要在重读前清空已渲染的内容，或者记录已读取的位置。

APIs You Won't Hate 博客作者 Phil Sturgeon 指出，SSE 在 HTTP/REST API 中用于发送更新效果很好。由于 SSE 仍然是 HTTP，流式端点可以和你的其他 API 放在一起。

但正如第 1 步提醒的，客户的代理仍可能缓冲数据流，所以演示前要在客户的真实基础设施上测试。

## 第 3 步：什么时候值得换成 WebSocket？

WebSocket 在浏览器和服务器之间建立双向会话。roadmap.sh 将其描述为基于单个 TCP 连接的持久全双工通道。Ably 的划分也类似：SSE 适合服务器推送的单向更新，WebSocket 适合游戏、聊天这类双向通信。

```javascript
// 简化示意
const ws = new WebSocket('wss://example.com/chat');
ws.onmessage = (e) => { output.textContent += e.data; };
ws.send(JSON.stringify({ type: 'question', text: q }));
```

关键问题是：模型作答期间，界面是否需要向上发送任何内容？Agent 在执行操作前暂停、请用户确认，或者多人同时观看同一个答案流的界面，都是正当理由。相比之下，“停止”按钮通常只需一个单独的请求来取消该轮次。

换成 WebSocket 要付出一些代价。MDN 指出，标准 WebSocket API 不支持背压，如果客户端处理数据的速度慢于 token 到达的速度，数据就会堆积。roadmap.sh 指出，CDN 和代理无法缓存 WebSocket 连接。

因此，roadmap.sh 建议：只需要服务器向下推送数据时，用基于 HTTP 的 SSE，而不是 WebSocket。

**要点:** 如果界面只需要接收向下流动的文本，就不要为双向通道买单。

## 轮询：兜底方案，而非默认选择

轮询时，客户端定期发请求，询问服务器是否有更多文本。Hookdeck 指出，这种方式浪费资源，而且你得不断权衡下一次调用会不会有返回。对 LLM 来说，大多数请求要么空返回，要么只多出几个 token。

当客户环境无法维持长连接时，轮询仍有用武之地。这种情况下，把它作为有条件启用的兜底模式，并明确告诉客户体验会更卡顿。

| | SSE | WebSocket | 轮询 |
|---|---|---|---|
| 方向 | 服务器 → 客户端 | 双向 | 客户端定期询问 |
| 需要记住的弱点 | 无 HTTP/2 时有 6 个连接上限 | 无背压，无法经 CDN/代理缓存 | 浪费资源，大量空请求 |
| 适用场景 | 聊天、单轮回答 | Agent 需要反问、多用户共享视图 | 长连接被阻断 |

## 毁掉演示的三类故障

第一类来自自动重连本身。如果流式端点既接收请求又调用模型，浏览器每次重连都可能从头生成一个新答案，既浪费 token，又会打印重复文本。更稳妥的做法是像第 1 步那样，把创建对话轮次和读取流分开。

第二类是连接上限。MDN 警告，不在 HTTP/2 上运行时，SSE 每个浏览器只能有 6 个连接，上限非常低。如果用户开了同一聊天页面的多个标签页，第七个标签页可能卡在等待连接上。演示前要问客户的基础设施团队，服务器是否运行 HTTP/2。

第三类更多是流程问题，而非技术问题。OpenAI 提醒，在生产环境中流式输出模型结果会让内容审核更难，因为不完整的答案很难评估。

面对金融或医疗客户，要尽早问清内容在展示前是否必须经过过滤，因为答案可能迫使你改动整个设计。

## 写第一行代码前的三个问题

在客户现场，难点不在于写 `EventSource`。写第一行代码前，把三个问题都问清楚：界面是否需要在流式输出中途向上发送内容？基础设施是否有 HTTP/2，中间隔着哪些代理层？内容是否需要审核？

阅读 FDE 或 AI 工程师岗位的职位描述时，留意 “streaming”“realtime UI” 或 “production LLM app” 这类表述。在简历上，与其写“使用过 WebSocket”，不如用一行写清理由：为单向聊天选用 SSE，把对话轮次与读取流分离，确保重连时绝不再次调用模型。

这样一行字说明你理解的是取舍，而不只是工具。

选择仍能满足需求的最简单方案，并准备好理由，以便有人问起为什么不用 WebSocket。

**本周动手试试:**

- 按第 1–2 步搭建最小 SSE 端点，然后在流式输出中途断网，观察浏览器是否重连、模型是否被再次调用
- 在未运行 HTTP/2 的服务器上，把同一聊天页面打开 7 个标签页，记下哪个标签页卡住
- 为某个项目写一段五句话的作品集说明，解释你为什么选 SSE 或 WebSocket，并写明你接受了哪些取舍

## 信源

- [Using server-sent events - MDN](https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events)

- [The WebSocket API (WebSockets) - MDN](https://developer.mozilla.org/en-US/docs/Web/API/WebSockets_API)

- [What are realtime APIs and when to use them?](https://ably.com/topic/what-is-a-realtime-api)

- [WebSocket vs. HTTP: Which protocol should you use?](https://roadmap.sh/network-engineer/websocket-vs-http)

- [When to Use Webhooks, WebSocket, Pub/Sub, and Polling](https://hookdeck.com/webhooks/guides/when-to-use-webhooks)

- [Streaming Data with REST APIs](https://apisyouwonthate.com/blog/streaming-data-with-rest-apis/)

- [Streaming API responses - OpenAI](https://developers.openai.com/api/docs/guides/streaming-responses)
