# 缺了 trace_id，FDE 在客户面前就卡住了

> 日志带上 trace ID，Datadog 才能把慢 trace 和日志关联起来，会前花五分钟检查即可。

原文: https://fdetimes.net/zh/tools/datadog-trace-to-log-for-fdes/

Datadog 自己的 FDE 招聘启事，并不要求你钻进客户的 Datadog 里调试。这个岗位名为“Forward Deployed Engineering Manager - Datadog for Startups”，要求在复杂的部署周期中担任客户信赖的顾问。任职者需要愿意频繁出差，并管理一支由 SWE 和 TSE 组成的团队，这些成员以轮岗方式借调到团队中。

Dash0 在 EMEA 招聘前线部署工程师（FDE）时，描述的工作要动手得多：直接与企业客户合作，在客户环境中部署和配置 OpenTelemetry 插桩。这则招聘已经关闭，但它说明了真正的工作在哪里：让可观测性在客户的系统上正确运转。

对大多数 FDE 来说，真正的考验出现在客户已经用上 Datadog 之后。某个请求很慢，会议上所有人都看向你，你得从 trace 一路找到能解释问题的那行日志。下面就是这套流程，外加一个很多人会跳过的五分钟检查。

## 每个请求都会留下 trace

Datadog 的 APM 教程从简单的地方开始。每对示例应用执行一次 curl 命令，就会有一条新的 trace 发送到 Datadog，并可以在 Traces 视图中打开。选中一条 trace，就能看到它的详情，其中包括火焰图。根据 Datadog 的文档，火焰图正是定位性能瓶颈的地方。

trace 告诉你时间花在了哪里。要知道原因，就得看日志。Datadog 把 trace ID 和 span ID 作为属性注入日志，从而把两者连接起来。trace 的日志面板提供四个过滤器：trace_id、host、container_id 和 pod_name。只有 trace_id 过滤器能把视图收窄到带有该请求 ID 的日志行。

**要点:** trace 显示哪里慢，只有日志能告诉你为什么慢。

## 一个没人说得清的慢请求

设想你刚把一个集成部署进客户的系统。第三天，客户反馈说，经过你的服务的部分请求要很久才返回。对方团队怀疑是你的组件出了问题，而你拿不出反证。

你打开 Traces，挑出该接口的一条慢 trace，查看火焰图。假设大部分时间花在调用客户的某个内部服务上，而不是你的代码里。你在日志面板中打开 trace_id 过滤器，想看看这个请求记录了什么，结果面板是空的。

很多人到这一步就断定这个请求根本没写日志。通常日志是存在的，只是 Datadog 不知道它们属于哪条 trace。

## 会前的五分钟检查

自己发一个示例请求，就像 Datadog 教程里用 curl 那样，然后打开它产生的日志行。只问一个问题：这行日志带 trace ID 吗？Datadog 的故障排查文档说得很直白：日志没有 trace ID，就不会出现在 trace 下。

设想客户服务的日志行是这样的，ID 存放在一个自定义字段名下：

```json
{"level":"warn","msg":"上游超时，重试 3/3","traceId":"<id>"}
```

这种情况下，Datadog 的文档要求你提取这个 ID，并把它重映射为 trace_id，也就是 Datadog 为此保留的属性。

如果插桩由你从零开始做，就从一开始把名字定对。OpenTelemetry 规范是一个厂商中立的标准，它规定 JSON 日志和其他非 OTLP 格式应使用 trace_id 和 span_id 字段，并以小写十六进制书写。

## 最慢的 span 未必是元凶

日志关联上之后，你可能会看到一连串重试和超时消息。这时要保持清醒：客户的内部服务之所以慢，可能恰恰是因为你的请求给它发了太多重试，那样问题就回到了你这一侧。

火焰图给你耗时，日志给你耗时背后的来龙去脉。把两者都带进会议，讨论就会从“是谁的错”转向“在哪里修”。

## 先学什么，简历上写什么

先从 APM 教程里的示例应用入手，练习看火焰图，直到能在几秒内指出可疑的 span。接着学习关联 trace 与日志，包括字段名不符合标准时的重映射步骤。然后学习 OpenTelemetry 的约定，因为它们是 Dash0 所招 FDE 岗位的核心，而且到哪个客户那里都用得上。

看招聘启事时，要看清日常工作究竟是什么。像 Datadog 那样为部署提供咨询，和像 Dash0 那样亲手安装插桩，差别很大。频繁出差的要求也要考虑进去。

Datadog 的借调模式也提供了一种试水的办法。如果你是某家公司的 SWE 或 TSE，而公司有类似的轮岗计划，申请轮岗就能让你在不换工作的情况下体验 FDE 的工作。

简历上不要只写“熟练使用 Datadog”。要写具体案例：你给哪个系统做了插桩，怎样把 trace 和日志关联起来，以及如果测量过的话，找 bug 的时间缩短了多少。

可观测性工具再好，trace 仍然会停在两个团队的边界上。能在这个边界上打开那行日志的人，正是客户想留住的人。

**本周动手试试:**

- 运行 Datadog APM 教程中的示例应用，用 curl 发几个请求，练习从一条 trace 找到该请求对应的日志行。
- 在手头的项目里打开一行 JSON 日志，检查它是否已经按 OpenTelemetry 约定带有小写十六进制的 trace_id 和 span_id 字段。
- 改写简历中的一行：你给哪个系统做了插桩，怎样把 trace 和日志关联起来，以及如果有测量数据，调试速度提升了多少。

## 信源

- [Forward Deployed Engineering Manager - Datadog for Startups (Datadog Careers)](https://careers.datadoghq.com/detail/8003181/)

- [Forward Deployed Engineer - EMEA (Dash0, via Accel Jobs)](https://jobs.accel.com/companies/dash0-2/jobs/71465703-forward-deployed-engineer-emea)

- [Getting Started with APM Tracing](https://docs.datadoghq.com/getting_started/tracing)

- [Correlate Logs and Traces](https://docs.datadoghq.com/tracing/other_telemetry/connect_logs_and_traces)

- [Correlated Logs Are Not Showing Up In The Trace ID Panel](https://docs.datadoghq.com/tracing/troubleshooting/correlated-logs-not-showing-up-in-the-trace-id-panel)

- [Trace Context in non-OTLP Log Formats](https://opentelemetry.io/docs/specs/otel/compatibility/logging_trace_context/)
