元数据是时序数据库里体量最小、却最容易被低估的部分。十万张子表的集群,元数据记录不过几十万行,常驻内存数百 MB;但任何一次表结构变更都要广播到所有 vnode,任何一次标签改动都可能让既有查询失效。数据面可以靠副本和重试兜底,元数据面一旦出现分叉,修复成本远高于重写。
元数据的三个层次
第一层是库与保留策略。库名、副本数、数据保留天数(KEEP)、分片时长(DURATION)在此定义,写入路径依赖它计算分区边界。
第二层是表结构。普通表与超级表共享列定义,区别在标签列的有无。列的类型、长度、编码方式在创建时确定,后续变更受限于物理格式——把 INT 改成 BIGINT 需要重写数据块,代价与已存数据量成正比。
第三层是实例级映射。子表到 vnode 的归属、vnode 到数据节点的归属、标签值到子表 ID 的倒排。前两者是路由信息,后者是索引信息。三层更新频率差异极大:库级配置一年改几次,表结构一月改几次,子表归属随扩容迁移变动,标签倒排随写入持续变化。
层次 | 典型对象 | 变更频率 | 一致性要求 | 传播方式 |
库/保留策略 | KEEP、DURATION、副本数 | 年 | 强一致 | 配置下发 |
表结构 | 列定义、标签列 | 月 | 强一致 | 两阶段提交 |
路由映射 | vnode 归属、分片 | 扩容时 | 最终一致 | 心跳同步 |
标签倒排 | 标签值→子表 | 持续 | 最终一致 | 增量日志 |
体量可以粗算。每张子表的元数据记录按 200 至 500 字节计,含表名、列定义、标签值与归属信息;一百万张子表对应 200 至 500 MB 常驻内存,加上倒排索引翻一倍。这个数字在单机内存里不算什么,但快照、复制与重建的耗时与之成正比——元数据服务的重启时间往往是数据节点重启的数倍。
注册流程与幂等性
创建子表走 CREATE TABLE ... USING ... TAGS,服务端要做三件事:写元数据、分配子表 ID、更新标签倒排。三步不是原子的。
客户端超时重试是常态。网络抖动下同一条请求可能到达两次,服务端若不做幂等判断,第二次会返回"表已存在",上层往往把错误当失败继续重试,形成放大。可行做法是以库名加表名作为幂等键,配一个近期请求哈希缓存,命中直接返回成功。
批量建表的压力更大。一次导入十万张子表,逐条走完整流程时元数据写入的随机 IO 会成为瓶颈。按批聚合、在内存中合并同库同结构请求、再一次性提交,能把注册耗时压到单条模式的十分之一以下。代价是部分失败时的语义变复杂:一批里有一条冲突,需要决定整批回滚还是逐条跳过。
标签变更的兼容性代价
标签改名是破坏性操作。倒排以标签值为键,改名意味着重建整张倒排;查询文本里写的是旧名字,改名后直接报错。ALTER TABLE ... RENAME TAG 在多数实现中只允许在无写入窗口执行,百万子表的超级表重建倒排可能持续数分钟。
新增标签列的代价小得多。追加一个 TINYINT 标签只修改表定义,历史数据块的标签区补默认值即可。默认值的语义要提前定死:补 NULL 与补 0 对下游聚合的影响不同,前者参与 COUNT 时被排除,后者被计入。
删除标签列介于两者之间。数据块里的标签区可以延迟回收,元数据先标记失效,查询层忽略该列,物理空间在下一次 compaction 时释放。这种逻辑删除先行的策略把变更窗口从小时级压到秒级,代价是一段时间内元数据与物理布局不一致,排障时需要额外的心智负担。
一致性:元数据与数据的错位
真正的风险不在元数据本身,而在它与数据的相对状态。建表请求已在协调节点提交,广播到某个 vnode 时网络中断,该节点上的元数据仍是旧版本。客户端随即开始写入,数据落到没有对应元数据的节点上,形成孤儿数据块。
处理错位需要版本号。协调节点维护单调递增的 schema epoch,每条写入携带 epoch,vnode 发现本地落后就拒绝写入,要求客户端重新拉取元数据。拒绝比静默接受安全,代价是短暂不可用。
删除路径的问题相反。表已删除,某个 vnode 因分区离线没收到通知,重启后把本地残留块重新注册回去,表"复活"了。办法是墓碑记录:删除时写一条带时间戳的 tombstone,保留期长于最大分区离线时间,节点恢复后先比对墓碑再决定是否注册。这套机制对时序数据库尤其关键,因为时序表通常按时间滚动创建,删除是高频动作而非例外。
缓存与传播延迟
查询路径会缓存元数据。客户端缓存子表列表,协调节点缓存路由表,vnode 缓存标签倒排。三层各有 TTL,最坏情况下一次变更要数秒才全网可见。
轮询模式的延迟等于 TTL,watch 推送能把延迟压到百毫秒级,代价是协调节点要维护长连接,连接数随客户端线性增长,十万级客户端时心跳流量本身成为负载。两种模式在同一个集群里混用很常见:路由信息走推送,标签倒排走轮询。
对时序场景,这个延迟通常可接受,结构变更是低频操作。但"先建表后立即写入"的流水线会踩坑:写入失败后应强制刷新缓存重试一次,而不是立刻判失败。
TDengine 把元数据与数据分离存放,标签以独立结构维护,子表创建与标签更新不触碰数据文件,因此变更可在写入不停的情况下完成;vnode 分组让路由信息集中在协调层,减少了下发量。这套设计的代价是元数据服务本身位于关键路径,需要独立的高可用部署,容量规划时不能按"元数据很小"来估算。
结语
元数据管理的难点不在存储,而在变更的时序编排。哪些操作可以并发、哪些必须串行、失败后回滚到哪个版本,这些问题在单机环境下几乎不存在,在分布式环境下每一条都要显式设计。更值得关注的方向是元数据的版本化快照与时间旅行查询——把"某张表在三天前的结构"当作可查询对象,能显著降低误操作后的恢复成本。另一个未解的问题是超大规模集群下倒排的分片策略:百万级子表时,单机倒排的内存占用仍是硬约束,按标签值哈希切分又会牺牲跨分片的交集效率。在单集群子表数不超过五十万的前提下,集中式元数据服务仍然是最省心的选择;越过这个量级,架构必须重新设计。

























