时序数据库与时序湖仓的协同:热数据与冷分析的分工

Jing Wang

2026-11-12 /

把三年的传感器数据全部塞进一个引擎,会得到一个两头不讨好的系统:实时看板被大范围扫描拖慢,历史分析又被行级索引拖慢。分层不是新概念,但分界画在哪里、两层之间怎么同步、查询如何跨层拼接,这三件事决定了架构最终是省成本还是添麻烦。

热冷分界的三个判据

时间是最直观的判据,却最不可靠。有人的"热"是最近 24 小时,有人的"热"是最近一个结算周期(月度或季度)。按访问频次划分更贴近本质,但频次分布随业务波动,春节前后的用电数据可能整月都是热点。

可操作的组合判据有三条。查询形态上,点查、区间小扫描、带标签过滤的聚合属于热;全表扫描、跨年对比、大范围 Group By 属于冷。延迟要求上,亚秒响应的走热层,分钟级可接受的走冷层。更新语义上,需要覆盖写、需要按设备删除的留在热层,只追加的可以下沉。

层次

保留期

典型查询

存储介质

响应目标

热层

7–90 天

点查、看板、告警

本地 NVMe

10–200 ms

温层

90 天–2 年

日/月聚合、对比

本地 HDD 或对象存储

1–10 s

冷层

2 年以上

全量回溯、训练集构建

对象存储 + 湖表

十秒至分钟

分界不是一条线,而是一个带宽。同一条数据可能同时存在于两层,热层保留精细粒度,冷层保留降采样版本。重复存储换来的灵活性,通常比统一存储省下的磁盘更值钱。

成本结构支撑这个判断。对象存储标准层的单价按量级低于本地 NVMe 两个数量级,热层还要叠加三副本与常驻内存的开销。反过来说,冷层的扫描成本按读取字节计费,一次跨年全表分析可能扫过数 TB,费用按小时结算,比存一年还贵。分界点因此不是固定的 90 天,而是"单位数据的查询频次乘以单次扫描量"降到某个阈值以下的位置,需要按实际访问日志回归。

列式文件与统计信息决定下推效率

冷层的性能几乎完全由文件组织决定。Parquet 的 row group 默认 128 MB,页大小 1 MB,每个 row group 记录列的 min/max 与空值计数;查询带时间范围与设备过滤时,先按分区目录裁剪,再按 row group 统计跳过,最后才读列数据。三个层次的裁剪任何一层失效,扫描量就会成倍上升。

分区键的选择是第一个坑。按日期分区,跨年查询要打开上千个目录;按设备分区,单设备数据集中但设备数量大时小文件泛滥。Iceberg 的隐藏分区允许按 days(ts) 与 bucket(device_id, 16) 组合,查询不必改写就能命中;Delta Lake 依赖 Z-Order 重排实现多维聚簇,代价是周期性重写文件。

小文件是流式入湖的通病。每分钟落一个文件,一天 1440 个,一年五十万个,元数据开销和打开文件的时间超过实际读取。目标文件大小通常定在 128 至 512 MB,用定时 compaction 合并,合并窗口设在业务低峰。

统计信息的质量比格式更重要。字符串标签列的 min/max 对范围过滤有用,对等值过滤帮助有限,此时 Bloom Filter 或字典编码的收益更直接。写入端如果把标签写成无意义编码,所有统计都会失效。

编码层面还有一处容易被忽略的差异。时序数据库内部常用的 Delta-of-Delta 与 Gorilla 编码,Parquet 并不原生支持,导出后时间戳列通常退化为普通 Delta 或字典编码,压缩比下降 20% 至 40%。把编码规则显式映射过去(例如列式导出前先做差分预处理),能补回一部分差距,代价是读取方需要相应的还原逻辑。

增量同步与目录一致性

两层之间的数据传递有三条路径。

双写最简单,应用同时写热层与湖表。问题是两边的失败语义不同:热层写入成功、湖表失败,数据就缺一块,且没有任何机制发现。只适合对完整性要求低的场景。

订阅导出更常见。热层提供变更订阅接口,消费者按时间序拉取增量,攒批后写成 Parquet 文件提交到湖表。断点续传依赖消费位点,位点与湖表快照必须绑定,否则重放会写入重复数据。幂等写入靠分区覆盖或主键去重实现,两种方式对湖表格式的要求不同。

批量 ETL 最稳但延迟最高,通常按小时或按天调度。它适合已经沉淀在热层、允许延迟一天的数据,不解决实时性。

目录一致性是同步链路的隐形故障点。湖表的元数据服务(Hive Metastore、REST Catalog 或 Nessie)与对象存储之间没有事务,文件写完但提交失败会留下孤儿文件,提交成功但文件损坏则让查询直接报错。定期做孤儿文件清理与快照过期,是运维的固定动作。

水位线是另一个必须显式设计的参数。乱序到达的迟到数据会把已经提交的时间分区重新打开,若湖表按分区覆盖写,每次迟到都触发整分区重写,一天之内同一分区可能被重写十几次。可行的折中是设一个延迟窗(例如 30 分钟),窗口内按内存缓冲,窗口外才提交,并对超出窗口的迟到数据单独落一个补写分区,查询时用视图合并。

时序数据库在这条链路上的角色是源头。TDengine 通过订阅接口把增量数据推给下游,消费端按 vnode 分组并行拉取,保证单分区内有序;写入湖表时按时间分区攒批,避免每个批次生成独立小文件。

冷层的并发能力另有约束。对象存储的请求速率与单流带宽都有上限,单查询并发拉取 32 个文件是常见配置,继续增加并发收益递减;几个分析师同时跑全表扫描,就能把带宽吃满并拖慢所有下游任务。因此冷查询应当走队列,设并发上限与优先级,交互式查询与批处理分池,这一点与热层"来一个查一个"的模式完全不同。

结语

冷热分层的架构收益随数据年限增长而放大,但复杂度是前置的:同步链路、双份存储、跨层查询,每一样都要在项目初期设计好,事后再拆成本极高。尚未解决的问题是跨层查询的优化器——联邦查询引擎对湖表统计信息的掌握通常不完整,join 顺序与广播决策经常失误,把本可下推的过滤留在了内存里。另一个方向是把冷层的降采样结果反向注册为热层的物化视图,让查询入口统一,目前各家实现互不兼容,迁移成本仍然是主要障碍。