工业时序数据的生命周期不是从写入到查询,而是从采集到归档再到删除的完整闭环。这个闭环的时间跨度从几天到十年以上不等,涉及的热度分级、存储介质、保留策略和访问模式差异巨大。一个10万测点、每秒采样的工业系统,日产生数据约8.64亿条,压缩后约5-10GB。如果不做生命周期管理,1年数据累计约2-4TB,5年累计10-20TB。存储成本线性增长,但数据访问热度反向递减——最新1天的数据被查询100次,1年前的数据可能只被查询1次。用同样的存储介质保留冷热数据,是成本和性能的双重浪费。
数据生命周期阶段划分
工业时序数据的生命周期可划分为六个阶段,每个阶段的存储策略和访问模式不同。
生命周期阶段 | 时间范围 | 访问频率 | 存储介质 | 保留策略 |
采集阶段 | 实时-秒级 | 极高 | 内存缓冲 | 立即写入 |
写入阶段 | 秒-分钟 | 高 | 内存+WAL | 持久化到磁盘 |
热存储 | 分钟-90天 | 高 | SSD/NVMe | 全量保留 |
温存储 | 90天-1年 | 中 | HDD | 降采样+压缩 |
冷归档 | 1年-10年 | 低 | 对象存储/磁带 | 聚合+高压缩 |
删除/保留 | 到期 | 无 | — | TTL过期删除 |
采集阶段数据在传感器或网关内存中停留极短时间,立即通过网络发送到时序数据库。此阶段关注点是采集协议效率和数据传输可靠性,不涉及存储管理。
写入阶段数据进入数据库内存缓冲区,追加到WAL日志,然后批量刷盘为数据文件。此阶段数据在内存中可被最新值查询和实时告警访问。写入延迟在毫秒级。
热存储阶段是数据使用最频繁的阶段。实时看板、趋势曲线、告警分析、短期故障回溯——这些高频访问场景主要查最近1-90天的数据。热数据存储在SSD或NVMe上,查询延迟在毫秒到秒级。
温存储阶段数据访问频率下降。月度报表、季度趋势分析、设备健康度评估——这些分析任务偶尔需要查3-12个月前的数据。温数据可以存储在HDD上,配合降采样策略减少数据量。查询延迟在秒到十秒级可接受。
冷归档阶段数据访问频率极低。年度审计、事故追溯、合规检查——这些场景需要查1年前的数据,但频率可能一年几次。冷数据适合存储在对象存储(如S3、MinIO)或磁带库上,查询延迟在分钟级可接受。
删除/保留阶段,数据到达保留期限后自动删除或永久归档。TTL(Time-To-Live)机制自动过期数据。安全合规要求数据保留期限的下限由法规或行业标准决定。
分级存储策略
分级存储的核心思想是:数据热度与存储介质性能匹配。时序数据库的多级存储能力是这一策略的技术基础。热数据放快介质,冷数据放慢介质,中间通过自动迁移流转。
热数据层(SSD/NVMe)。 存储最近90天全量数据。SSD的随机读性能是HDD的100倍以上,适合高频的实时查询和小范围时间查询。NVMe SSD的顺序读带宽可达3-7GB/s,适合大范围数据扫描。热数据层的容量需求:10万测点×1Hz采样×90天×压缩后约8字节/条=约6.2TB。3-5块2TB NVMe SSD即可满足,硬件成本约1-2万元。
温数据层(HDD)。 存储90天到1年的降采样数据。原始1秒采样的数据降采样到1分钟级(60:1压缩),1年的数据量从约25TB降到约420GB。HDD容量成本低,单块8TB HDD约1500元,420GB数据2块HDD足够。温数据层的查询性能要求低——查月度报表等几十秒返回可接受。
冷数据层(对象存储/磁带)。 存储1年以上的聚合数据。1分钟级数据再降采样到1小时级(60:1),10年数据从约50TB降到约8.3GB。对象存储的单GB成本约0.01-0.03元/月,8.3GB数据年存储成本约1-3元。磁带库成本更低但访问延迟更高(分钟到小时级),适合极低频访问的合规归档。
存储成本对比:全量数据存SSD,10年25TB×12=300TB,SSD成本约60万元。分级存储后,热数据6.2TB SSD约2万元,温数据0.84TB HDD约0.2万元,冷数据0.0083TB对象存储约1元。总成本约2.2万元,降低96%。
数据保留策略的合规驱动
工业数据的保留期限不是技术决策,而是合规决策。不同行业、不同数据类型的法定保留期限差异显著。
安全监测数据的保留要求最严格。化工安全监测数据(可燃气体浓度、有毒气体浓度、安全联锁动作记录)按《危险化学品安全管理条例》保留不少于3年,实际工程中保留5-10年以覆盖事故追溯期。核电站仪控数据按HAF法规保留不少于5年,部分关键数据保留10年以上。电力调度数据按DL/T 860保留不少于1年,事故追忆数据(SOE)永久保留。
生产过程数据的保留要求适中。OEE数据、设备运行状态、工艺参数等按企业质量管理体系保留1-3年。这些数据用于生产优化和设备健康度评估,超过3年的数据参考价值递减。
实时控制数据的保留要求最短。PLC内部状态、变频器参数、伺服位置等高频控制数据保留1-6个月即可。这些数据量极大(1ms采样)但分析价值低——控制策略优化通常基于近期数据。
TTL(Time-To-Live)是自动过期的技术手段。TDengine支持在数据库级别配置TTL,数据超过TTL后自动删除。例如安全监测库配置TTL=3650天(10年),生产数据库配置TTL=1095天(3年),控制数据库配置TTL=180天(6个月)。TTL过期是自动的,不需要人工干预或定时任务。
TTL与分级存储的配合:热数据层不配置TTL(或配置长TTL),温数据层配置中等TTL,冷数据层配置长TTL或不配置。数据在热层到期后自动迁移到温层(由多级存储机制自动完成),在温层到期后迁移到冷层。如果冷层也到期,数据最终删除。
自动化流转与按需查询
数据在层级之间的流转应自动化,人工迁移不可持续。时序数据库的多级存储机制支持在配置文件中指定多个存储路径(dataDir参数),按写入时间自动分配数据到不同路径。最新的数据写入SSD路径,较老的数据自动迁移到HDD路径。
多级存储配置示例:dataDir /ssd1/data(热数据,0-90天), dataDir /hdd1/data(温数据,90-365天), dataDir /hdd2/data(冷数据,365天以上)。数据库根据数据的时间戳自动将数据文件分配到对应路径。这一过程对查询透明——查询时数据库知道每个时间范围的数据在哪个路径上,自动从对应路径读取。
冷数据按需查询的挑战在于冷介质的访问延迟。对象存储(如S3)的首次访问延迟在100-500毫秒(冷启动),HDD的随机读延迟在10-20毫秒。查1年前的数据如果存储在对象存储上,首次查询延迟可能超过1秒,大数据量查询可能几分钟。
解决策略:预取和缓存。对冷数据的查询如果已知时间范围,可以提前预取到本地SSD缓存。TDengine的缓存机制将最近查询过的冷数据块缓存到热存储层,后续查询相同数据时从缓存返回。如果冷数据查询频率低(如每年几次),预取的开销可接受。
存储成本分析
以10万测点、1Hz采样的典型工业系统为例,分析不同存储策略的10年总成本。
原始数据量:10万测点×1Hz×86400秒/天=8.64亿条/天。压缩后每条约8字节(TDengine平均压缩比),日数据量约6.9GB,年数据量约2.5TB,10年约25TB。
全SSD策略:25TB×SSD单价(约2000元/TB)=50,000元。SSD寿命5年需更换一次,10年硬件成本约100,000元。此策略查询性能最优但成本极高。
分级存储策略:热数据90天约0.62TB SSD约1,240元;温数据1年降采样后约42GB HDD约200元;冷数据10年降采样后约8.3GB对象存储约1元/年。总硬件成本约1,450元,10年总成本约1,500元。此策略成本降低98.5%,但冷数据查询延迟增加。
折中策略:热数据1年约2.5TB SSD约5,000元;温数据2-3年降采样后约125GB HDD约300元;冷数据3年以上约20GB对象存储约2元/年。总成本约5,500元。此策略在查询性能和成本间取平衡。
成本差异的核心来源是降采样。时序数据库支持在写入时自动降采样,1秒级原始数据降采样到1分钟级(60:1压缩)后,存储成本降到1/60。对于趋势分析和长期统计,1分钟级数据完全够用。只有需要秒级精度的故障回溯才需要原始数据,而这类查询频率极低,按需从冷存储取原始数据即可。
结语
工业时序数据生命周期管理的本质是:在数据热度的下降曲线和存储成本的上升曲线之间找到最优交叉点。热数据贵但快,冷数据便宜但慢,分级存储让每个阶段的数据用匹配的介质存储。TTL自动过期解决了"存多久"的问题,多级存储解决了"存在哪"的问题,降采样解决了"存多细"的问题。三者协同,将10年的数据保留成本从几十万元降到几千元,同时保证各时间尺度的查询需求都能满足。时序数据库在这一架构中不仅是存储引擎,更是数据生命周期管理的策略执行者——TTL配置、多级存储路径、降采样连续查询——这些机制的组合定义了数据的生命周期行为。架构设计时应从数据保留的合规要求出发,逆向推导各层存储的容量和性能需求,而非从存储介质出发正向设计。

























