分级存储

分级存储

在工业互联网中,数据分级存储至关重要,因为它能够根据数据的价值和使用频率,将数据有效地分配到不同的存储介质上。这样的策略不仅有助于应对海量数据的挑战,优化存储资源,降低成本,还能确保数据的安全性和合规性,同时促进数据的共享和流通,从而提高整个工业系统的效率和响应速度。

TDengine 中的分级存储

TDengine 是一款专为物联网、工业互联网等场景设计的高性能时序数据库,它通过分级存储机制来优化数据存储效率和成本。

分级存储 - TDengine Database 时序数据库

  • 热数据(Hot Data):存储在RAM(缓存)中,通常指的是最近一小时内的数据。这部分数据访问频率高,需要快速读写。
  • 温数据(Warm Data):存储在SSD(Tier 0)上,涵盖最近10天内的数据。相比热数据,温数据的访问频率较低,但仍需较快的读取速度。
  • 冷数据(Cold Data):存储在HDD(Tier 1)上,包括最近6个月的数据。这类数据访问频率进一步降低,可以使用成本更低的存储介质。
  • 冻结数据(Frozen Data):存储在S3(Tier 2)上,通常是最近3年的数据。这部分数据访问频率最低,适合长期存储。

例如,在一个工业制造企业中,实时监控的传感器数据(如温度、压力等)会被视为热数据,需要实时分析,因此存储在 RAM 中以实现快速访问;过去一周的生产线数据可能不需要实时分析,但仍可能用于近期的性能评估,因此作为温数据存储在 SSD 上;过去几个月的质量控制记录,可能偶尔用于趋势分析和报告,作为冷数据存储在 HDD 上;对于需要遵守法规要求保留多年记录的数据,如安全事故记录,可以作为冻结数据存储在成本更低的 S3 服务上。