FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

LLM 流式输出,先用 SSE 而不是 WebSocket

多数聊天功能只需服务器向浏览器推送 token,习惯性选 WebSocket 只会徒增客户用不上的取舍。

分享微博

要点速览

  • OpenAI 的流式文档以 stream=true 加 SSE 的 HTTP 流式传输为核心,因此 SSE 是 LLM 聊天的自然起点。
  • 只有界面确实需要在流式输出中途向上发送信号时才用 WebSocket,并接受它没有背压、无法经 CDN 或代理缓存。
  • 轮询浪费资源,因为大多数请求都是空返回,只应作为兜底方案。
选择 LLM 流式通道的决策树。问题 1:界面是否需要在流式输出中途向上发送内容?是则用 WebSocket,例如 Agent 需要追问或多人同时观看。否则进入问题 2:长连接是否被阻断?是则用轮询兜底,体验更卡顿;否则用 SSE,即单向聊天的默认选择。SSE 方框被高亮显示。
两个问题就足以选定通道:多数聊天功能只需服务器向下推送 token,因此 SSE 是起点。WebSocket 和轮询只在有明确理由时使用。

OpenAI 的流式输出指南写得很直白:它聚焦于通过服务器发送事件(SSE)、以 stream=true 实现的 HTTP 流式传输。token 如何从模型提供方那一侧发出,对方已经选好了。剩下的问题是把这些 token 从你的后端送到客户的屏幕上,很多团队恰恰在这一步选错。

设想你在一家银行客户现场的第一周。客户想要一个内部助手,回答流程类问题,员工不想在模型思考时盯着空白屏幕。习惯做实时应用的工程师会马上搭起 WebSocket。

但如果界面只需要接收向下流动的文本,这个选择会带来问题本身并不需要的基础设施取舍。

对前线部署工程师(FDE)而言,选择流式通道是客户真正能看到的第一个架构决策,因为它决定了演示是否流畅。本指南按应当尝试的顺序介绍三种方案:先用 SSE,有理由时再用 WebSocket,别无他法时才用轮询。

你要构建什么,需要准备什么

你将构建一个端点,接收问题并以 stream=true 调用 LLM;再构建第二个端点,通过 SSE 把每段文本推送到浏览器。浏览器用 EventSource 在文本到达时实时渲染。之后你会用 WebSocket 重写客户端部分,做个对比。

你需要一个自己熟悉的后端、一个支持流式输出的 LLM 提供方的 API key,以及一个带 DevTools 的浏览器。下面的代码是去掉了错误处理和身份验证的示意,请把它当作移植到你所用框架的骨架,而不是直接粘贴进生产环境的代码。

第 1 步:把调用模型和读取流分开

根据 MDN,发送事件的服务端脚本必须以 MIME 类型 text/event-stream 响应。没有这个响应头,EventSource 就无法工作,即使数据照样在网络上传输。

MDN 还把 SSE 描述为单向连接:客户端无法向服务器回发事件。因此,用户的问题要通过单独的 POST 请求发送,由它创建对话轮次。GET 端点只读回模型已生成的内容,自己从不调用模型。

# 简化示意,不绑定任何框架
POST /chat/turns                 # 创建对话轮次,只调用一次模型
  turn_id = new_id()
  run_in_background:
      for chunk in llm.call(messages, stream=true):
          buffer[turn_id].append(chunk)
  return turn_id

GET /chat/stream?id=TURN_ID      # 只读缓冲区,从不调用模型
  set header Content-Type: text/event-stream
  for chunk in buffer[TURN_ID], wait for new chunks until done:
      write "data: " + chunk + "\n\n"
      flush

检查方法:打开 DevTools 的 Network 面板,调用 GET 端点,查看 Content-Type 响应头。如果响应在最后一次性出现,而不是逐步流入,可能是后端或某层代理在发送前缓冲了数据。先检查 flush 调用。

第 2 步:浏览器端只需几行

POST 返回 turnId 后,浏览器打开流来接收答案。

// 简化示意
const es = new EventSource('/chat/stream?id=' + turnId);
es.onmessage = (e) => { output.textContent += e.data; };

最重要的检查是:在流式输出中途断网几秒,再恢复网络。根据 MDN,连接关闭时浏览器默认会自动重连,等待时间由 retry 字段控制。打开后端日志,确认模型没有被再次调用。

注意,上面的示意在重连时会从头重读缓冲区,屏幕上的文本可能会打印两遍。实际实现中,需要在重读前清空已渲染的内容,或者记录已读取的位置。

APIs You Won’t Hate 博客作者 Phil Sturgeon 指出,SSE 在 HTTP/REST API 中用于发送更新效果很好。由于 SSE 仍然是 HTTP,流式端点可以和你的其他 API 放在一起。

但正如第 1 步提醒的,客户的代理仍可能缓冲数据流,所以演示前要在客户的真实基础设施上测试。

第 3 步:什么时候值得换成 WebSocket?

WebSocket 在浏览器和服务器之间建立双向会话。roadmap.sh 将其描述为基于单个 TCP 连接的持久全双工通道。Ably 的划分也类似:SSE 适合服务器推送的单向更新,WebSocket 适合游戏、聊天这类双向通信。

// 简化示意
const ws = new WebSocket('wss://example.com/chat');
ws.onmessage = (e) => { output.textContent += e.data; };
ws.send(JSON.stringify({ type: 'question', text: q }));

关键问题是:模型作答期间,界面是否需要向上发送任何内容?Agent 在执行操作前暂停、请用户确认,或者多人同时观看同一个答案流的界面,都是正当理由。相比之下,“停止”按钮通常只需一个单独的请求来取消该轮次。

换成 WebSocket 要付出一些代价。MDN 指出,标准 WebSocket API 不支持背压,如果客户端处理数据的速度慢于 token 到达的速度,数据就会堆积。roadmap.sh 指出,CDN 和代理无法缓存 WebSocket 连接。

因此,roadmap.sh 建议:只需要服务器向下推送数据时,用基于 HTTP 的 SSE,而不是 WebSocket。

轮询:兜底方案,而非默认选择

轮询时,客户端定期发请求,询问服务器是否有更多文本。Hookdeck 指出,这种方式浪费资源,而且你得不断权衡下一次调用会不会有返回。对 LLM 来说,大多数请求要么空返回,要么只多出几个 token。

当客户环境无法维持长连接时,轮询仍有用武之地。这种情况下,把它作为有条件启用的兜底模式,并明确告诉客户体验会更卡顿。

SSE WebSocket 轮询
方向 服务器 → 客户端 双向 客户端定期询问
需要记住的弱点 无 HTTP/2 时有 6 个连接上限 无背压,无法经 CDN/代理缓存 浪费资源,大量空请求
适用场景 聊天、单轮回答 Agent 需要反问、多用户共享视图 长连接被阻断

毁掉演示的三类故障

第一类来自自动重连本身。如果流式端点既接收请求又调用模型,浏览器每次重连都可能从头生成一个新答案,既浪费 token,又会打印重复文本。更稳妥的做法是像第 1 步那样,把创建对话轮次和读取流分开。

第二类是连接上限。MDN 警告,不在 HTTP/2 上运行时,SSE 每个浏览器只能有 6 个连接,上限非常低。如果用户开了同一聊天页面的多个标签页,第七个标签页可能卡在等待连接上。演示前要问客户的基础设施团队,服务器是否运行 HTTP/2。

第三类更多是流程问题,而非技术问题。OpenAI 提醒,在生产环境中流式输出模型结果会让内容审核更难,因为不完整的答案很难评估。

面对金融或医疗客户,要尽早问清内容在展示前是否必须经过过滤,因为答案可能迫使你改动整个设计。

写第一行代码前的三个问题

在客户现场,难点不在于写 EventSource。写第一行代码前,把三个问题都问清楚:界面是否需要在流式输出中途向上发送内容?基础设施是否有 HTTP/2,中间隔着哪些代理层?内容是否需要审核?

阅读 FDE 或 AI 工程师岗位的职位描述时,留意 “streaming”“realtime UI” 或 “production LLM app” 这类表述。在简历上,与其写“使用过 WebSocket”,不如用一行写清理由:为单向聊天选用 SSE,把对话轮次与读取流分离,确保重连时绝不再次调用模型。

这样一行字说明你理解的是取舍,而不只是工具。

选择仍能满足需求的最简单方案,并准备好理由,以便有人问起为什么不用 WebSocket。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 3: AI 应用万行表格数据上,深度学习仍难胜过树模型图像和文本则相反;数据类型、标注、可解释性和 GPU 四个问题,基本能定下客户的选型。