应用层写入 1 GB,磁盘实际写 30 GB。这个比例在通用 LSM 引擎上是常态,在时序场景里却通常可以压到 2 到 5。差别不在实现优劣,而在数据形态:时序写入按时间单调追加,键空间不重叠,合并时不需要反复重排。理解这一点,才能判断哪些写放大是必然代价,哪些是设计缺陷。时序数据库的存储引擎几乎都围绕这个假设做取舍,也因此在不满足假设的负载上表现平庸。
写放大的定义与构成
严格定义是落盘字节数与应用提交字节数之比,WA = bytes_written_to_device / bytes_received_from_client。它和副本数无关,三副本的 3 倍开销算复制放大,不算写放大。
构成分四段。WAL 追加写贡献 1 倍,与数据量等长;memtable 刷盘贡献 1 倍加上编码膨胀;compaction 贡献最多,取决于层级数与合并策略;索引与元数据更新通常低于 0.2 倍,但在高基数标签场景会显著上升。
还有一段常被忽略:文件系统的块对齐与预分配。写入 300 字节的记录,若按 4 KB 块落盘,物理放大在 10 倍以上。批量攒批把单次写入推到 64 KB 以上,这部分开销才被摊薄。
环节 | 触发条件 | 典型放大 | 可控手段 |
WAL 追加 | 每次提交 | 1.0× | 批量提交、调整 fsync 间隔 |
memtable 刷盘 | 内存阈值达到 | 1.0–1.3× | 增大 memtable、按时间切分 |
后台 compaction | 层容量超限 | 2–30× | 分区裁剪、tiered 策略 |
索引与统计 | 块封闭或标签新增 | 0.05–0.3× | 降低标签基数、延迟建索引 |
块对齐浪费 | 小批量写入 | 1–10× | 攒批、对齐块大小 |
LSM 的三次搬运
LSM 的写入路径是 memtable、L0、L1 直至 Ln。每次层间合并都要读取下层重叠文件、归并排序、重写整段。leveled 策略下,容量比为 10 的四层结构,单条记录平均被重写 3 到 4 次,放大系数落在 10 到 40 之间;容量比压到 4,层数增加,放大进一步上升。
时序数据把这个成本削掉一大块。记录按时间追加,新数据的键区间严格大于旧数据,L0 与 L1 的重叠范围极小,合并退化为一串顺序写。如果引擎按时间范围预分区,每个分区内部只做一次本地排序,跨分区的合并根本不会发生——这正是时序存储与通用 KV 存储的分水岭。
反过来,乱序写入会摧毁这个优势。设备补传、网络重试、边缘缓存回灌,都会让旧时间戳的数据迟到。一条迟到 7 天的记录可能命中三层重叠文件,触发一次全量重写。工程上通常设一个乱序容忍窗口(常见 1 至 24 小时),窗口外的写入落到独立的乱序区,按批合并,避免污染主线。
列存与编码改变了什么
列存不直接降低逻辑写放大,它降低的是物理字节数。同一份温度数据,行存按 8 字节浮点原样落盘,列存经 Delta-of-Delta 编码后每点约占 1.5 至 3 比特,压缩比 20 倍以上;时间戳单调递增,二阶差分接近零,压缩效果更好。写入字节少了,compaction 搬运的字节同比减少,物理写放大随之下降。
编码选择要匹配数据形态。Delta-of-Delta 适合等间隔采样,采样抖动大时退化为普通 Delta;Gorilla 的 XOR 编码适合缓慢变化的浮点,突变点会局部膨胀;RLE 适合状态量与重复值多的标签列;字典编码适合低基数枚举。混合编码按块自适应选择,块大小取 4 KB 至 64 KB,太小则字典与头部开销占比高,太大则压缩率下降且随机读放大。
代价在读路径。列存按列解压,投影少量列时优势明显,查询涉及全部列时反而多一次重组。块级 min/max 统计能跳过无关块,但对高基数、均匀分布的列几乎无效。
compaction 策略的取舍
RUM 猜想给出一个粗略的边界:读放大、写放大、空间放大三者最多优化其二。leveled 偏读,写放大高、空间放大低;tiered 偏写,写放大低、空间放大可达 2 倍;混合策略在热层用 tiered、冷层转 leveled,兼顾两端。
时序数据的分层更简单:按时间分区,热分区接受写入且合并频繁,冷分区只读、永不重写。策略参数集中在三点——分区粒度(常见 1 天、10 天、1 个月)、单分区文件数上限、延迟合并的时间窗。分区越细,单次合并的数据量越小,但文件数增多,元数据与打开文件句柄的压力上升。
写入峰值的处理需要额外设计。批处理导入时每秒写入可能是均值的 50 倍,若 compaction 与写入争抢 IO,写入延迟会雪崩。可行的做法是给 compaction 设 IO 配额(如设备带宽的 30%),并在检测到写入队列积压时主动降速。代价是空间放大在峰值期临时升高,需要预留磁盘余量。
如何度量与定位
端到端比值最直接:采集 /proc/diskstats 的写入扇区数,除以应用层提交字节数,按分钟聚合。这个指标包含 WAL、合并、日志与副本传输,粗但可靠。
分层计数更精确。引擎若暴露每层的读写字节与文件数,可以直接算出单层放大,定位到具体层。多数时序数据库只提供全局写入字节数,缺少分层视图,定位时只能靠日志推断。观测中的典型异常是 L0 文件数持续高于阈值而不下降——合并速度跟不上写入,通常意味着单文件过大或合并线程不足。
另一个信号是写带宽与写入量的偏离。应用写入 100 MB/s,设备写入 300 MB/s,差值就是放大;若设备写入长期贴着带宽上限,写入延迟的抖动会先于吞吐下降出现。
TDengine 的写入路径按时间分区组织,数据先落 WAL 与内存块,块满即顺序写为列式数据文件,历史分区不再重写,因此稳态写放大接近 WAL 加一次落盘的水平。乱序数据与频繁的删除会打破这个前提,需要单独评估。对时序数据库而言,把压缩比与写放大一起看,比单看任一指标更接近真实成本。
结语
写放大的优化空间取决于数据的时间有序程度,这个前提在多数监控场景成立,在车联网、移动端埋点、跨时区回补等场景经常不成立。更根本的方向是让存储层理解"时间戳的单调性假设何时失效",并自动切换合并策略——目前这仍依赖人工配置。另一个未解的问题是 SSD 的写入寿命与写放大之间的换算:DWPD 指标基于顺序写测试,随机合并的磨损模型并不适用,容量规划时留多少余量,行业内没有共识。

























