写入放大是时序数据库绕不开的账。数据写进来一次,落到盘上可能被搬三到五次,每次搬迁都消耗磁盘带宽与 CPU。合并(compaction)策略的全部工作,就是在写放大、读放大与空间回收之间找一个可持续的配比——配比选错,表现为写入延迟随数据量增长而恶化,或者查询随文件数增长而变慢。
时序写入形态与合并目标
通用 LSM 的合并动机是覆盖写:同一个键的多个版本散落在不同层,读的时候要逐层查,旧版本需要清理。时序数据的形态不同——绝大多数是追加,时间戳单调递增,重复键仅出现在乱序到达或补写场景。合并的主要任务因此从"版本归并"变成"碎片整理":把大量小文件合成大文件,减少查询时的文件打开次数与块索引查找次数。
这个差别让按时间范围分区天然契合。分区之内的主键互不重叠,合并时不需要做多路归并去重(除非乱序写入产生了重叠区间),只需要按顺序拼接再重建块索引。不带重叠的合并,CPU 成本主要是解压与再压缩,而非比较与写入位置查找。
数据形态 | 合并目标 | 归并方式 | 去重需求 |
追加写、时间有序 | 减少文件数 | 顺序拼接 | 无 |
乱序写、区间重叠 | 修复重叠 | 多路归并 | 有,按主键取最新 |
覆盖写、更新频繁 | 版本清理 | 多路归并 | 有,按版本号淘汰 |
删除分区 | 空间回收 | 直接删文件 | 无 |
触发条件的三个维度
合并何时启动,通常看三个信号:同一层的文件数、层间容量比、以及单文件内删除标记的占比。前两者来自 LevelDB 一脉的分层设计:L0 文件数超过阈值(常见 4 到 8 个)触发向 L1 合并;L1 容量超过 L0 容量的 T 倍(T 取 10 左右)触发向 L2 推进。
第三个信号在时序数据库里更常见。数据按 TTL 过期,过期的数据块在合并时被直接丢弃,不需要写墓碑——文件级的删除比行级墓碑便宜得多。判据是块内有效行占比:低于 50% 的文件优先合并,合并后空间减半。
只按文件数触发会踩坑。写入速率波动大时,凌晨批量导入让 L0 文件数瞬间翻十倍,合并任务积压,白天的查询就要在两百个文件里找数据。可行的做法是引入写入速率作为前馈信号:预计 L0 增长速率乘以合并吞吐,得到积压时间,超过阈值就提前调度。
写放大的算术
写放大 WA 定义为写入磁盘的总字节数除以摄入字节数。分层合并下,每层数据的搬迁次数近似为层数,每层内部因容量比 T 产生的重复搬迁又叠加一次,整体约等于 L × T / (T – 1)。七层、T 取 10,稳态 WA 在 8 到 12 之间;如果每层都做全量重写,最坏情况可以到 50。
这个数字直接决定磁盘寿命。企业级 SSD 的 DWPD 常见 1 到 3,按每天写入 500 GB、WA 等于 10 计算,实际写入量为 5 TB/天,一块 1.92 TB、DWPD 1 的盘不到四个月就写满耐久。
降低 WA 的手段有三个。增大容量比 T 最直接,代价是读放大上升,查询要检查更多文件。减少层数走另一条路,用更大的单文件尺寸换取更少的搬迁轮次,但单文件过大会让合并的粒度变粗,一次合并搬 4 GB,IO 尖峰明显。按时间分区做裁剪则利用了时序语义:冷分区不再参与合并,只做一次终态整理,这能把稳态 WA 压到 3 到 5 的量级。
调度与 IO 隔离
合并是后台任务,但它与写入、查询共享同一块盘的带宽。不设限的合并会把随机写队列塞满,写入延迟从毫秒级跳到百毫秒级。
限速要分两个维度。吞吐维度按 MB/s 设定上限,常见经验是保留设备顺序写带宽的 30% 给合并;IOPS 维度单独限制,因为合并本身是顺序读写,但元数据更新与索引重建是随机 IO,两者混在一起时后者会拖垮前者。只限吞吐不限 IOPS,在 QLC 盘上依然会出现尾延迟毛刺。
优先级由读放大驱动。查询路径统计每次扫描打开的文件数,文件数超过阈值(例如 32)的分区标记为高优先级,合并队列据此重排。没有这个反馈,合并按文件年龄轮转,热点分区可能长期维持在高文件数状态。
线程模型上,合并线程数不宜超过磁盘通道数的两倍。单盘环境下四到八个线程足够;NVMe 可以开到十六个,但再往上收益趋零,反而增加内存压力——每个合并任务要缓存解压后的数据块,块大小 64 KB、并发十六路,常驻内存就是 1 MB 量级乘以缓冲深度。缓冲区还要按合并的输入路数分配,四路归并时每个任务同时持有四个读缓冲与一个写缓冲。
合并对查询的双向影响
合并期间查询会变慢,原因不只是 IO 竞争。文件正在被重写时,查询要么等锁,要么读到新旧两份文件的重叠区间再做去重,两条路径都比稳态昂贵。较好的实现采用追加式合并:新文件写完后原子切换元数据,旧文件延迟删除,查询全程只读旧版本,代价是短时间内磁盘占用翻倍。
小文件对查询的伤害被低估。每个文件都有独立的 footer、块索引与统计信息,打开、读取、解析的固定开销在 20 到 50 微秒。一百个文件的扫描,光固定开销就超过 2 毫秒;单文件内的块级跳过大都失效,因为小文件的数据范围本身就窄,min/max 剪枝没有空间。
空间回收的时机同样需要权衡。删除分区是文件级操作,立即生效;但删除单条记录只能写墓碑,墓碑要等到合并时才真正清除对应行。墓碑占比超过 20% 的分区应当被强制合并,否则查询要读入大量无效行再做过滤。
TDengine 在 vnode 内部按数据文件大小分级合并,同一时间线的小文件逐级向上归并,冷数据不再参与,因此稳态写放大明显低于通用 LSM 的多层结构;同时把合并与查询的文件切换做成元数据原子操作,查询不会读到半成品文件。这套机制的前提是数据按时间分区且每个分区内部基本有序,乱序写入比例高的场景仍需要显式的重叠区间归并。
结语
时序数据库的合并策略没有全局最优解,只有与硬件和使用方式匹配的局部最优。全闪存、写入平稳、保留期短的场景适合激进合并,把读放大压到最低;大容量机械盘、写入突发、保留期长的场景反过来,宁可多留文件也要让写入路径畅通。尚未解决的问题是合并与查询的协同调度——当前两者靠优先级和限速做粗粒度协调,缺少对查询延迟目标的显式建模。把尾延迟目标写进合并的调度器,是值得尝试的方向。

























