传统产业的 IT、OT 建设参差不齐,无论中国还是美国,大部分企业的数字化建设远落后于互联网类型的企业,还在使用非常传统的系统处理数据。但这些传统系统是完全独立的,是一个数据孤岛。
在这种情况下要让 AI 赋能传统产业,首先要做的就是将散布各处的各种系统、包括各种版本采集的数据进行汇聚,消除数据孤岛。但由于各种系统都存在,各种工业协议都存在,数据汇聚不仅仅是简单的汇总功能,还需要对各个数据源的数据进行清洗、加工、处理,才能进入统一的平台。
为什么要做数据汇聚?
随着工业设备生成的数据量越来越大,现代运营越来越依赖于访问大规模数据集。像预测性维护和远程监控这样的新技术,基于更全面的跨站点信息时,可以为企业带来更大的效益。数据科学家需要大量高质量的数据,才能使他们的AI和机器学习应用更有效;而决策者希望在一个统一的界面下实时查看全部的统计数据。
然而,许多企业仍然依赖手动工作来汇聚数据——比如,不得不通过电子邮件发送 CSV 文件与其他团队共享数据。对于需要实时处理的应用程序来说,这意味着数据在电子邮件到达之前就已经过时了。由于各种工业系统中存在不同的数据协议,即使是已经有一套自动化解决方案的企业,通常也依赖于定制的连接器,而这些连接器维护成本很高。
当所有数据都汇聚在一个系统中时,访问和处理数据的效率就得到了提高。团队在处理实时数据时,可以更快地响应,更有效地解决问题。组织内外的工作人员可以更有效地合作。
此外,数据汇聚后,可以利用先进的第三方 AI 分析工具,做更好的异常监测,实时报警,并为产能、成本、设备维护等提供更好的预测,让决策者有更好的宏观整体把控。
TDengine 提供有数据质量保证的数据汇聚
借助 TDengine,您可以轻松汇聚来自各种数据源的工业数据。
包括但不限于:
- 现代工业数据协议,如 MQTT 和 OPC(UA 和 DA)
- 数据收集代理,如 Telegraf 和 collectd
- 传统实时数据库系统,如 PI System 和 AVEVA Historian
- 传统的关系型数据库,如 MySQL、Oracle、SQL Server、PostgreSQL 等
- Apache Kafka
- CSV文件
TDengine 是一个零代码平台,只需最少的配置即可实现工业数据源的 ETL(提取、转换和加载)流程。
当这些数据源的数据汇聚到 TDengine 后,您可以轻松集成可视化和商业智能工具,如 Seeq 或 Power BI,以构建全公司范围的仪表板和报告,也可以与第三方 AI 工具连接进行高级分析。您的应用程序和算法可以实时访问所有数据,实现全球洞察和效率,无需自定义代码或手动操作。
ETL
当您将数据汇聚到 TDengine 后,您可以对数据进行修改,以确保上下文得以保留并满足业务需求。这个过程被称为「提取、转换和加载」(ETL)。例如,多个站点都在记录温度,一个站点的设备记录的是华氏度,而其他站点的设备使用摄氏度。您可以配置 TDengine 来将这些数据转换为相同的度量单位,使您的应用程序可以访问更标准化的数据集。
借助 TDengine 灵活且易于配置的 ETL 选项(在 GUI 中提供),您可以对数据进行转换、映射、拆分和解析,使其完全适合您的应用场景。
边缘侧收集
通过使用 TDengine 的连接器,您可以轻松地将来自各种工业源的数据提取到部署在边缘侧的 TDengine 实例中。
即使多种数据源使用的协议不同,但只需通过 TDengine 连接这些数据源(OPC 服务器、MQTT brokers或者其他数据源),那么站点产生的所有数据都可以被汇聚在一个系统中。
集中部署
为了做数据汇聚,TDengine 可以部署在一个集中的位置,比如您的数据中心或者云上,然后收集各个边缘侧的 TDengine 实例或者其他数据源传来的数据。
当您将工业数据汇聚在 TDengine 中时,您可以丢弃“脏”数据,以实现良好的数据治理并避免污染数据库。您还可以将标签与从站点导入的数据相关联,并添加前缀或后缀,以确保汇聚后保留数据的上下文语义关系。
数据复制
在将数据汇聚和清理后,您可以将其复制到不同云端或地区的另一个TDengine实例中。这样您就可以通过多个站点访问数据,这是实现高可用的有效方式,也是灾难性故障恢复的一种选择。通过 TDengine 的数据订阅模块,可以实现数据复制流程的自动化。
开始使用
将 TDengine 作为运营数据的中央存储器,您可以轻松集成可视化和商业智能工具,如 Seeq 或 Power BI,以构建全公司范围的仪表板和报告,也可以与第三方 AI 工具连接进行高级分析。您的应用程序和算法可以实时访问所有数据,实现全球洞察和效率,无需自定义代码或手动操作。