参考卷烟厂数据架构改造案例,给你一套可落地的传统工业实时库的国产化替代方案

小 T 导读:对于卷烟厂来说,数据监控对于制烟各环节的品质把控起到关键作用,此前业内较为流行的数据监控方案就是 Wonderware 实时库。随着企业业务的飞速发展,该系统也遇到了很多瓶颈,本篇文章将就此展开分析。

从国外流行工业软件到国产软件过渡,卷烟厂数据架构转型

作为制烟单位,卷烟厂是标准的流程制造型企业,制丝和卷包是主要的两大工艺流程,前者是把烟叶加工成烟丝,后者则是把烟丝卷成烟并加上滤嘴,分别在独立的车间中实现。这之中每个环节的工艺操作质量必须保证达标,具体实现手段就是对产线进行监控。而想要保证车间的监控质量重点还是在于要保证设备的正常运行,否则任意环节出现严重问题都会导致停产、换线、废料等后果,造成巨大经济损失,因此,卷烟厂不惜在产线上搭建多重监控系统,以实现实时报警,同时支持对历史数据做定期分析。

例如整个制丝过程可以简单概括为不断通过加水、脱水、增温、降温等工艺手段使梗丝、叶丝在加工过程中达到卷烟填充物所需各项理化指标要求,在实际生产过程中,怎样控制温度和湿度,整个流程中如何保证流量的稳定、精确,这就需要配备装有很多传感器的烟草行业专用设备。一般来讲整个车间会有大约数十万个监测点,由此产生的实时数据量之大也可想而知,对于磁盘存储空间的消耗也非常严重。

TDengine Database

对于大部分卷烟厂来说,车间内的设备都已经实现了高度自动化,开始生产后完全不需要人工操作,整个产线在 MES(Manufacturing Execution System,制造执行系统)系统控制和调度下自动运行。MES 系统本身会通过 PLC/DCS 设备采集生产过程中的时序数据(比如温度、湿度、进料量等),再经过提前预设好的逻辑进行实时调控。

从以上背景出发,时序数据的高效处理成为了卷烟厂业务发展的关键点之一。在过去很长一段时间里,工业实时数据库成为卷烟厂等工业企业采集数据、实时/历史存储的第一选择。

而对于中国的卷烟厂来说,因为企业数字化早期阶段海外软件所具备的先发优势,业内大多使用的都是 Wonderware 实时库(现被 Aveva 收购)的解决方案。随着业务的飞速发展,Wonderware 实时库作为传统工业实时库的代表,遇到了一些瓶颈:

  • 非国产化:在复杂的国际形势下,存在一些不确定性
  • 封闭性:软件是闭源的,而且处于自己的封闭体系之下,扩展性差
  • 高度复杂度:需要采购一系列产品组合
  • 高成本:采购价格昂贵、功能扩展需要额外付费,依赖 Windows、SQL Server 等其他软件,会产生额外的采购成本
  • 服务响应慢:国外产品普遍服务响应不及时,经常以天为单位反馈,服务保障性差
  • 不具备扩展性:单机性能有限,无法支持业务规模、数据采集点持续增长的情况
  • 对外连接集成便捷性差:虽然在对接大数据平台上支持 ODBC 等接口,但这些接口功能需要付费使用,一方面是额外成本,另外一方面可能涉及盗版

一直以来,中国工业软件领域都是被国外软件垄断的局势,从 Wonderware 实时库在一众卷烟厂企业流行的行业现状中就能窥探一二,但企业业务和技术发展都并非一成不变,近年来很多优秀的国产软件已经发展起来,而且随着国内软件替代浪潮的兴起,这些优秀的软件也进入了大众视野,它们在性能和成本管控等方面都能媲美甚至高于国外软件。

TDengine Database

智能制造、国产化替代快速演进的当下,很多卷烟厂也开始尝试国产软件转型,为了实现业务规模和管理的进一步升级,除了车间,厂级和集团级也都需要搭建大数据平台。在实践方面,已有多家卷烟厂将原来的 Wonderware InSQL/Historian 替换为新一代开源时序数据库Time Series DatabaseTDengine,下文将就两家卷烟厂的具体替换实例展开分析。

(注:应相关企业要求,本文不会展示具体企业信息,仅就实际业务痛点、改造效果做分析)

数据量存储轻松超过万亿行,数据架构这样改造

在案例一中,某卷烟厂在制丝产业线上就是使用 Wonderware 进行时序数据存储。Wonderware 是一款非开源软件,虽然它支持 OPC 数据直接采集,但稳定性并不好、安全性也不足,而且还存在查询速度太慢、运维成本高等问题。考虑到设备数据的种种特点,该卷烟厂决定将其替换为国产时序数据库,最终他们选择了 TDengine。

凭借着超级表机制(从时序数据特点出发进行设计)以及按照时间分片的存储引擎,即便是单表千亿级别的总数据量,TDengine 也可以在物理逻辑上完成划分,直接操作对应时间段的数据文件,摒弃无效的搜索消耗,这一点解决了该卷烟厂制丝产业线上最大的数据处理难题。此外基于 TDengine 高效的列式压缩设计,数据的存储成本也显著降低。

改造后数据处理链路如下:

TDengine Database

在随后的实际运作中,该场景下主要的超级表存储了数千亿行数据,总数据量轻松超过了万亿行。即便是在三副本(数据存储三份确保高可用)的配置下,占用的总空间也仅有 1TB 左右。在查询方面,对单设备的查询,既可以通过超级表筛选找到子表,也可以直接通过子表找到。

在案例二中的卷烟厂同样使用 Wonderware 作为数据处理解决方案,随着业务的发展,其生产中需要监测的指标从几万个增加到几十万甚至百万个以上,Wonderware 在性能和扩展能力上越来越难以为继,存在以下几点问题:

  • 在软件使用上,写入速度满足需求,但查询速度却太慢;
  • 缺乏统计工具,数据统计效率较低;
  • 在软件运维层面,软件体量大,运维成本高;
  • 过于受限,永久授权也不能自由修改数据点;
  • 支持 OPC DA 数据采集,但稳定性较差、安全性不足。

该卷烟厂希望改造后的系统具备功能稳定、高效的数据写入及数据查询(包括最新数据和历史数据)、可云化部署、可私有化部署、支持线性扩展、高可用的特性,而他们早在 2019 年便关注了 TDengine,一直跟涛思技术团队保持技术交流,借此契机,在内部对比测试了 OpenTSDB、InfluxDB 等开源时序数据库后,综合表现最优的 TDengine 成为他们的不二之选。

改造后数据架构如下:

TDengine Database

该卷烟厂所做测试显示,相比之前使用 Wonderware 时,对全量(不足1亿条记录)的均值计算需要 2-3 分钟,TDengine 在应对 10 亿级别的数据量做聚合计算只需要 2 秒;其写入和查询的效率非常高,平均在 10ms 以内,性能完全满足数据处理需求。此外其 Database 内置时间窗口自动分割和统计机制,还能让后期报表数据统计更加快捷方便。

凭借着 TDengine 可以和 Grafana 实现无缝对接的特性,该卷烟厂在实际业务中使用 TDengine + Grafana 搭建起了卷包车间的数据存储和可视化平台。在接入半年后,TDengine 已存储该卷烟厂卷包部所有卷接包设备,每张子表超过 150 列数据,总计累计数据量达到了 5 亿 5 千万条,而落盘后的磁盘空间使用只有 1.9GB,极大节省了存储空间。

从以上两个案例的具体实践出发,我们总结出了一版数据迁移方案,供有需要的企业参考:

  • 步骤一:实时数据并行接入 TDengine
    • 在生产区、管理区部署 TDengine 集群(3 节点、8 核 16GB)
    • 基于现有 DCS/PLC 系统开发一个数采转换程序,将 DCS 系统数据写入 TDengine
    • 基于 TDengine 与生产区应用的对接,提供数据查询能力
TDengine Database
  • 步骤二:历史数据离线导入 TDengine
    • 保持实时数据向 TDengine 与 Wonderware 数据库的实时写入
    • 开发一个程序,将历史数据从 Wonderware 导出,并补录入 TDengine。TDengine 支持历史数据写入,此补录过程完全可以离线、批量、有计划地进行
TDengine Database
  • 步骤三:补录结束、程序稳定运行一段时间后停止 Wonderware 服务
    • 历史数据全部补录完成、基于 TDengine 的实时数据读写稳定后,可以停止 Wonderware 数据库的服务,实现无缝切换
TDengine Database

卷烟厂“边云协同” 现三点难题,TDengine 3.0 提供思路

在如卷烟厂一般的工业互联网场景中,企业通常面临的一个痛点问题就是数据同步,业内通常有三种解决方案,第一种就是离线传输数据,比如积攒一个星期,一下传一个 T 的数据;第二种是指派人员拿着移动硬盘去现场拷,浪费人力成本;第三种就是开 VPN 专线定期同步,将数据导出成压缩文件进行传输,但这种情况 VPN 都会出现一些短暂带宽的阻塞,对其他业务生产产生一定冲击。

如果不做数据同步,那边缘设备只能处理局部数据,无法形成全局认知,在实际应用中仍然需要借助云计算平台来实现信息的融合。在此背景下,边云协同正逐渐成为支撑工业互联网发展的重要支柱。

在边云协同的实现上,一些卷烟厂早就利用了 Wonderware 自带的数据镜像能力,进行从厂区到集团的数据同步,但在具体实施上,这种操作却存在着一些缺陷。具体可以总结为以下三点:

  • 车间生产网到烟厂办公网数据同步,需穿越堡垒机,大量手动操作,效率低下,需要可配置规则的自动同步
  • 烟厂到集团中心数据同步,数据以文件形式定期集中传输,实时性差且阻塞网络带宽
  • 集团中心无法自主灵活决定数据获取,依赖下级单位变更数据上送的配置信息
TDengine Database

为帮助企业解决这些痛点,TDengine 3.0 发布了企业级工具 taosX,该工具具备百万条/秒同步效率、可配置的同步规则、实时流计算结果同步、支持重新订阅,断点续传、历史数据迁移五大特性,借助 taosX,企业可以实现平滑且有选择地将数据发送到云上的大数据平台中。

taosX 能保证所有数据都可以从一个集群同步到第二个集群,包括离线乱序数据,它可以支持实时的数据同步,包括离线数据的增量备份、边端到云端的数据协同。

具体实现思路如下图:在车间侧,数据采集完成之后会进入 TDengine,首先经过 TMQ 消息队列,其中一部分数据有选择性地并入到本地的 TDengine 集群 1 中。之后我们可以在集团侧部署 taosX ,它会去订阅车间侧 TMQ 消息队列中的数据,为了达成业务需求,可能这里需要由数据分析工程师设置一些订阅规则,比如数据需要经过降采样再进来或者只关心阈值超过定值的数据。之后 taosX 会把数据同步到 TDengine 集群 2,集群 2 可以支持报表分析等更大维度的分析工作。

TDengine Database

这一边云协同的实现思路主要有以下四点优势:

  • 数据跨区同步自动化程度大大提高、错误率降为零
  • 数据无需缓存,减少批量发送,避免流量高峰阻塞带宽
  • 通过订阅方式同步数据,集团不再依赖下级单位配置同步规则
  • 边云均采用 TDengine,数据模型完全统一,降低数据治理难度
TDengine Database

结语

在今年 7 月,工信部等六部门发布加快培育发展制造业优质企业的指导意见,其中表示推动产业数字化发展,大力推动自主可控工业软件推广应用,提高企业软件化水平。随着政策东风吹拂以及卷烟厂等工业行业软件国产化的加速进行,国产工业软件势必将进一步崛起,软件行业的外化垄断局势有望加速打破。