缺了 trace_id,FDE 在客户面前就卡住了
日志带上 trace ID,Datadog 才能把慢 trace 和日志关联起来,会前花五分钟检查即可。
要点速览
- 发往已插桩应用的每个请求都会生成一条 trace,trace 的火焰图显示时间花在了哪里。
- Datadog 通过把 trace ID 和 span ID 注入日志来关联 trace 与日志。没有 trace ID 的日志不会出现在对应的 trace 下。
- 在 Datadog,FDE 是管理岗位,负责在复杂的部署周期中为客户提供咨询;在 Dash0,FDE 要在企业客户那里亲手落地 OpenTelemetry。
Datadog 自己的 FDE 招聘启事,并不要求你钻进客户的 Datadog 里调试。这个岗位名为“Forward Deployed Engineering Manager - Datadog for Startups”,要求在复杂的部署周期中担任客户信赖的顾问。任职者需要愿意频繁出差,并管理一支由 SWE 和 TSE 组成的团队,这些成员以轮岗方式借调到团队中。
Dash0 在 EMEA 招聘前线部署工程师(FDE)时,描述的工作要动手得多:直接与企业客户合作,在客户环境中部署和配置 OpenTelemetry 插桩。这则招聘已经关闭,但它说明了真正的工作在哪里:让可观测性在客户的系统上正确运转。
对大多数 FDE 来说,真正的考验出现在客户已经用上 Datadog 之后。某个请求很慢,会议上所有人都看向你,你得从 trace 一路找到能解释问题的那行日志。下面就是这套流程,外加一个很多人会跳过的五分钟检查。
每个请求都会留下 trace
Datadog 的 APM 教程从简单的地方开始。每对示例应用执行一次 curl 命令,就会有一条新的 trace 发送到 Datadog,并可以在 Traces 视图中打开。选中一条 trace,就能看到它的详情,其中包括火焰图。根据 Datadog 的文档,火焰图正是定位性能瓶颈的地方。
trace 告诉你时间花在了哪里。要知道原因,就得看日志。Datadog 把 trace ID 和 span ID 作为属性注入日志,从而把两者连接起来。trace 的日志面板提供四个过滤器:trace_id、host、container_id 和 pod_name。只有 trace_id 过滤器能把视图收窄到带有该请求 ID 的日志行。
一个没人说得清的慢请求
设想你刚把一个集成部署进客户的系统。第三天,客户反馈说,经过你的服务的部分请求要很久才返回。对方团队怀疑是你的组件出了问题,而你拿不出反证。
你打开 Traces,挑出该接口的一条慢 trace,查看火焰图。假设大部分时间花在调用客户的某个内部服务上,而不是你的代码里。你在日志面板中打开 trace_id 过滤器,想看看这个请求记录了什么,结果面板是空的。
很多人到这一步就断定这个请求根本没写日志。通常日志是存在的,只是 Datadog 不知道它们属于哪条 trace。
会前的五分钟检查
自己发一个示例请求,就像 Datadog 教程里用 curl 那样,然后打开它产生的日志行。只问一个问题:这行日志带 trace ID 吗?Datadog 的故障排查文档说得很直白:日志没有 trace ID,就不会出现在 trace 下。
设想客户服务的日志行是这样的,ID 存放在一个自定义字段名下:
{"level":"warn","msg":"上游超时,重试 3/3","traceId":"<id>"}
这种情况下,Datadog 的文档要求你提取这个 ID,并把它重映射为 trace_id,也就是 Datadog 为此保留的属性。
如果插桩由你从零开始做,就从一开始把名字定对。OpenTelemetry 规范是一个厂商中立的标准,它规定 JSON 日志和其他非 OTLP 格式应使用 trace_id 和 span_id 字段,并以小写十六进制书写。
最慢的 span 未必是元凶
日志关联上之后,你可能会看到一连串重试和超时消息。这时要保持清醒:客户的内部服务之所以慢,可能恰恰是因为你的请求给它发了太多重试,那样问题就回到了你这一侧。
火焰图给你耗时,日志给你耗时背后的来龙去脉。把两者都带进会议,讨论就会从“是谁的错”转向“在哪里修”。
先学什么,简历上写什么
先从 APM 教程里的示例应用入手,练习看火焰图,直到能在几秒内指出可疑的 span。接着学习关联 trace 与日志,包括字段名不符合标准时的重映射步骤。然后学习 OpenTelemetry 的约定,因为它们是 Dash0 所招 FDE 岗位的核心,而且到哪个客户那里都用得上。
看招聘启事时,要看清日常工作究竟是什么。像 Datadog 那样为部署提供咨询,和像 Dash0 那样亲手安装插桩,差别很大。频繁出差的要求也要考虑进去。
Datadog 的借调模式也提供了一种试水的办法。如果你是某家公司的 SWE 或 TSE,而公司有类似的轮岗计划,申请轮岗就能让你在不换工作的情况下体验 FDE 的工作。
简历上不要只写“熟练使用 Datadog”。要写具体案例:你给哪个系统做了插桩,怎样把 trace 和日志关联起来,以及如果测量过的话,找 bug 的时间缩短了多少。
可观测性工具再好,trace 仍然会停在两个团队的边界上。能在这个边界上打开那行日志的人,正是客户想留住的人。
这篇文章对你有帮助吗?
感谢你的反馈!