智光电气子公司智光研究院最初采用基于 Apache Hadoop 的 CDH 集群来处理海量时序数据,但由于数据量巨大导致资源消耗严重,集群稳定性下降甚至存在崩溃风险,亟需对时序数据处理方案进行技术升级。经过充分测试和评估,团队决定将由 HBase 处理的时序数据业务抽离出来,引入 TDengine 时序数据库,作为独立的数据中台来降低 Hadoop 集群压力。
在新方案中,设备数据经过边缘网关采集、MQTT 协议上报、Kafka 集群传输后,分别存入原始数据和分钟级数据两个数据库中。经官方协助优化后,TDengine 助力该项目实现了压缩率和查询性能的大幅提升:半年数据磁盘占用由 HBase 的 10TB 降至 TDengine 的 2TB,存储成本降低 80%,同时千亿级数据查询耗时稳定在毫秒至 2 秒内,有效提升了整体应用效率。
TDengine 微信公众号后台发送 “智光电气”关键词, 快速获取智光电气+TDengine 完整解决方案资料!