到客户现场,第一条查询应该跑在副本上
热备库直接拒绝写入;只能连主库时,用只读会话加超时,别让一条 COUNT(*) 拖慢线上订单。
要点速览
- 先申请访问 PostgreSQL 热备库或 MongoDB 从节点,再考虑主库。
- 每个会话开始时都开启只读,并设置三个超时:只读阻止修改数据,超时则限制一条查询占用 CPU、I/O 和锁的时长。
- NoSQL 的 schema 没有写在任何地方,必须抽样文档才能了解真实结构。
周一上午,客户办公室。IT 团队递给你一个连接串,说:“数据库在这儿,随便看。”你打开 DBeaver,发现 200 多张没有文档的表。第一反应是对最大的那张表跑一条 SELECT COUNT(*)。
先停下。如果连接串指向的是主库,这条看似无害的语句就会和客户的真实订单争抢资源。“随便看”只是 IT 团队的客气话,他们的系统并不会因为这句话就扛得住额外负载。
到了新客户那里,你需要尽快理解他们的数据,同时不能弄坏任何东西。本指南给出一套明天就能用的流程:选对查询的位置,锁定会话,读懂 PostgreSQL 和 NoSQL 的 schema,并避开新人常犯的错误。
第一个问题:在哪里查
PostgreSQL 有一种模式叫热备(hot standby)。在这种模式下,你可以连接到副本服务器执行只读查询,副本同时持续从主库接收数据。前线部署工程师(FDE)就应该在这里工作。第一天就该问 IT 团队:“有没有可以连的备库?”
热备库还自带保护。根据 PostgreSQL 文档,备库上的所有连接都是严格只读的,连临时表都写不了。即使不小心执行了 UPDATE,语句也会被拒绝,数据不受影响。
MongoDB 不一样。默认情况下,应用把所有读请求都发往副本集的主节点,所以你得自己把读偏好(read preference)切换到 secondary,才能避免给生产环境增加负载。只需要一行代码,后文的示例里会用到。
输入第一条查询前,先锁定会话
有些客户没有备库,或者只给你一个主库上的用户。这时就得自己搭护栏。每次会话开始时,先粘贴这四行:
SET default_transaction_read_only = on;
SET statement_timeout = '30s';
SET lock_timeout = '2s';
SET idle_in_transaction_session_timeout = '60s';
每一行防的是不同的事故。default_transaction_read_only 默认关闭,即每个事务都能写,所以要打开它,让新事务默认只读。statement_timeout 会取消运行时间超过设定上限的语句,一个漏了连接条件的 JOIN 就不会跑上一整个下午。
另外两行处理锁。lock_timeout 在语句等待表、索引或行上的锁过久时将其取消,你的查询就不会堵在队列里挡住真实事务。idle_in_transaction_session_timeout 会终止开了事务却一直挂着的会话,比如你打开 GUI 工具、跑了一条查询就去吃午饭。
PostgreSQL 文档也明确指出,READ ONLY 是一种高层面的只读概念,并不能阻止所有磁盘写入。但需要这四行的主要原因在别处:只读不限制查询占用 CPU、产生 I/O 或等待锁的时长,这些上限要靠三个超时来设定。
示例:在一家配送公司读 schema
假设客户是一家配送公司。订单存在 PostgreSQL 里,司机的事件日志存在 MongoDB 里。你的任务是查清两个部门的延迟配送率报表为什么对不上。
PostgreSQL 先从 information_schema 入手。它是 SQL 标准定义的一组视图,用过任何关系型数据库管理系统(RDBMS)的人都会觉得这条查询眼熟:
SELECT table_name, column_name, data_type, is_nullable
FROM information_schema.columns
WHERE table_schema = 'public'
ORDER BY table_name, ordinal_position;
把结果导出到文件,按列名逐一浏览。在这个例子里,orders.driver_id 和 drivers.id 这一对已经暗示两张表之间存在关联,尽管没有外键。有一个局限:information_schema 不覆盖 PostgreSQL 特有的功能。要查看这些,得去查 pg_catalog 中的系统目录。
MongoDB 没有表可以列。NoSQL 的 schema 很灵活,每个文档的数据类型都可能不同,只有抽样才能看到真实结构:
db.getMongo().setReadPref("secondaryPreferred")
db.driver_events.aggregate([
{ $sample: { size: 1000 } },
{ $project: { kv: { $objectToArray: "$$ROOT" } } },
{ $unwind: "$kv" },
{ $group: { _id: "$kv.k", n: { $sum: 1 } } },
{ $sort: { n: -1 } }
])
假设结果显示 1,000 个文档都有 delivered_at,但只有 300 个有 delivered_ts。最可能的情况是应用在某个版本里改了字段名,两个部门读的是不同字段。这就是你带进会议的第一个假设,附带人人都能核对的具体数字。
从副本读取的代价
副本比主库安全,但也有自己的限制。在热备库上,长查询可能与备库正在回放的主库变更(例如 DROP TABLE)冲突。等待时间超过 max_standby_streaming_delay 或 max_standby_archive_delay 时,PostgreSQL 会取消你的查询。
遇到这个错误,不要让 DBA 调大参数,而应把查询拆小,比如按周跑,而不是一次跑一整年。短查询被取消的概率更低,即使被取消,损失的工作也更少。
在 MongoDB 中,primary 以外的所有读偏好都可能返回过时数据,因为从节点是异步从主节点复制的。可以设置 maxStalenessSeconds 来限定可接受的延迟上限。
更广泛地说,大多数 NoSQL 系统只保证最终一致性。向客户报告数字时,要说明数据从哪里读取、在什么时间读取。
让 FDE 失去信任的错误
最常见的错误是不加核实就相信连接串。运行 SELECT pg_is_in_recovery(); 就能知道自己连的是备库还是主库,只要两秒。
其次是用 find() 打开几个文档,就对 NoSQL schema 下结论。每个文档的结构都可能不同,所以要用 $sample,或者按 _id 排序,新旧文档都看过再下结论。
还有一种是在需要实时数字的会议上使用从节点读出的数据,却没有事先说明。客户一旦发现数字有偏差,可能连你其余的分析也开始怀疑。至于挂在 GUI 工具里的事务,只要设置了 idle_in_transaction_session_timeout,它会替你处理。
把这项技能变成面试优势
阅读 FDE 岗位描述时,留意“直接处理客户数据”“与现有系统集成”这类表述。它们意味着你的第一周很可能就像本文开头的场景。
简历上不要只写“精通 SQL”。写清楚你建立过一套只读访问流程,涵盖带超时的会话、在副本上查询、对 NoSQL schema 抽样。这样一句话能具体说明你在真实数据上做过什么,“精通 SQL”做不到。
客户可能记不住你写过多少条巧妙的查询。但只要你拖慢过他们的下单系统一次,他们会记很久。
这篇文章对你有帮助吗?
感谢你的反馈!
7 个信源
- What Is NoSQL? NoSQL Databases Explained | MongoDB
- 26.4. Hot Standby (PostgreSQL 18 Documentation)
- 19.11. Client Connection Defaults (PostgreSQL 18 Documentation)
- SET TRANSACTION (PostgreSQL 18 Documentation)
- Chapter 35. The Information Schema (PostgreSQL 18 Documentation)
- Read Preference - Database Manual - MongoDB Docs
- SQL Tutorial: Learn SQL from Scratch for Beginners