技术文章 - 时序数据库

TDengine 已经支持工业英特尔® 边缘洞见软件包 为加速传统行业的数字化转型，英特尔推出了工业英特尔® 边缘洞见（Intel® Edge Insights for Industrial，以下简称 EII）软件包。众所周知，在工业生成的很多环节，都会产生大量的时序数据（Time-Series Data），数据就是财富，通过对这些数据进行全方位的分析，有可能挖掘出对业务决策很有帮助的信息，从而进一步创造价值、提升效率。

EII 可以在 Docker 上运行，以便将基础设施与应用程序分开，让用户能够更快地进行开发。

其官方说明如下：

工业英特尔® 边缘洞见软件包是一款经过预先验证、可随时部署的软件参考设计，专门面向视频和时间序列数据的获取。它包含人工智能分析，并可以发布到本地应用或远端。由于构建在 Docker 上，因此它易于修改，并可以根据您的应用进行定制。

工业英特尔® 边缘洞见软件包是经过生产环境验证的软件堆栈，可在边缘安全地提取、分析和存储视频与时序数据。从上面的架构图也可以看出，在软件包之上编写自己的算法模型也是非常容易的。

TDengine 是由涛思数据开发的开源、高性能、分布式、支持 SQL 的时序数据库（Time Series Database），在物联网、工业互联网、车联网、IT 运维、能源、金融等领域。

• 通过创新的存储引擎设计，无论是数据写入还是查询，TDengine 的性能比通用数据库快 10 倍以上，也远超其他时序数据库，而且存储空间也大为节省。
• 通过原生分布式的设计，TDengine

…

作者 | 李珲

编辑 | 尔悦

小 T 导读：众所周知，压缩算法的目的主要是为了减少存储空间或传输带宽，通过把原始数据转换成比原始格式更紧凑的形式，来提高数据的传输、存储和处理效率。我们熟悉的很多压缩软件都是借助非常复杂的算法才得以实现，像一些时序数据库（Time-Series Database），比如 TDengine，也是通过内置压缩功能，才能实现对时序数据的高比例压缩。那具体来说，数据压缩的流程是怎样的？时序数据库中常见的数据编码和压缩算法又有哪些呢？本篇文章将会从具体实践出发进行经验分享。

数据压缩/解压缩的流程

压缩：输入原始数据，经过压缩器编码后，输出压缩后的数据。

input data —-> compressor —-> coded data

解压缩：输入压缩过的数据，经过解压缩器解码/重建后，输出原始数据。

coded data —-> decompressor —-> output data

如果输出数据和输入数据始终完全相同，那么这个压缩方案被称为可逆压缩，也称无损编码器。否则，它就是一个非可逆压缩，也称有损编码器。

• 可逆压缩：能够无失真地从压缩后的数据重构，准确地还原原始数据。可用于对数据准确性要求严格的场合，如可执行文件和普通文件的压缩、磁盘的压缩，也可用于多媒体数据的压缩。该方法的压缩比较小，如差分编码、RLE、Huffman 编码、LZW 编码、算术编码。
• 非可逆压缩：有失真，不能完全准确地恢复原始数据，重构的数据只是原始数据的一个近似。可用于对数据的准确性要求不高的场合，如多媒体数据的压缩。该方法的压缩率比较高，例如预测编码、音感编码、分形压缩、小波压缩、JPEG/MPEG。

…

我们之前总结过时序数据的几大特点，其中包括数据极少有更新操作，数据有保留期限。所有从时序数据的特点以及处理性能出发，作为一款时序数据库（Time-Series Database），TDengine 最初并没有提供更新和删除功能，用户可以指定数据的保留期限，系统会自动删除到期数据，以节省存储空间。

不过随着 TDengine 的应用越来越广泛，有些应用场景下，很多客户提出了更新数据的需求，比如：

“如果仪表上报的历史数据中，有些数据存在跳转不准，TDengine 支持更新操作吗？”

“我们的应用在采集或通信中断的时候，有脏数据存在，该如何处理？”

所以从 TDengine 2.0.8.0 版本开始，我们正式推出了数据更新功能。

近来，还有些客户提出了删除数据的需求，比如：

“如果因为绑定关系变化，数据被写入了错误的表，该如何处理？”

为满足这些客户的需求，TDengine 2.6 企业版又提供了数据删除功能。

下面分别来看一下这两大功能。

更新（UPDATE）

从 2.0.8.0 版本开始，TDengine 引入了 UPDATE 参数，正式支持更新写入的数据。从 2.1.7.0 版本开始，我们又进一步增强了该功能。目前它支持 0/1/2 这 3 个参数值。

1. UPDATE 设为 0 时，表示不允许更新数据，后发送的相同时间戳的数据会被直接丢弃；

…

注意事项：

1. 强烈建议有升级需求的用户直接升级至各个版本分支的最新版本（ https://www.taosdata.com/all-downloads ）；
2. TDengine 在升级后不可以做版本回退。因此，请务必根据正文的升级流程，提前做好备份，从而避免出现不可预期的问题；
3. 升级结束后，请第一时间验证数据库服务的完好性；
4. 对于使用 RESTful 接口服务的用户，升级结束后，要记得用 systemctl start taosadapter 启动 taosadapter 服务，以保证 RESTful 接口可用；
5. 以 2.0.16 为分界线，升级步骤稍有不同，请注意检查自己的数据库服务版本。（版本检查方式：在服务端的 taos shell 里执行 select server_version()）；

正文：

2.0-2.0.15 版本，向上升级到 2.0.16 以及之后的任意版本，操作如下（包含集群与单机）：

1. 升级前，请在服务器上准备好新版本的安装包（下载链接：https://www.taosdata.com/all-downloads）；
2. 确保当前节点处于正常工作的状态：
   1. ) show dnodes: 各 dnode

…

作者 | 刘垚

编辑 | 尔悦

小 T 导读：在使用或者实现分布式数据库（Distributed Database）时，会面临把一个表的数据按照一定的策略分散到各个数据库节点上的情况，随之而来的是多节点数据查询复杂性的问题，例如 Join 和子查询。本文将会为你解读分布式数据库下子查询和 Join 等复杂 SQL 如何实现，来帮助你更好地解决上述问题。

首先简单讲一下 SQL 的执行过程：

SQL ==Parser ==Translate & Semantic Check ==Optimizer ==Coordinator ==Executer

• Parser 产生的是语法树，即 Abstract Syntax Tree；
• Translate

…

小 T 导读：作为一款典型的时序数据库（Time-Series Database）产品，TDengine 被广泛运用于物联网、工业互联网、车联网、IT 运维、能源、金融等领域。TDengine 本身提供了大量的计算函数，在很多场景下，用户都不需要自己编程来实现某些计算功能。当然，随着场景的不断增多，用户提出了越来越多的需求，TDengine 也在不断地演进和提升。

经过研发同学的不懈努力，TDengine 2.6 版本正式发布了。该版本带来众多新特性，一方面是优化了 SQL 语法，一方面是增加了大量的计算函数，以支持用户的更多使用场景。该版本还修复了之前版本存在的一些 bug。

下面具体来看一下，2.6 版本带来的重要更新。

SQL 语法优化

1. 在新的 SQL 语法中，TIMESTAMP 支持缩写

在 SQL 语句中用到的时间戳，可以只提供日期，比如 “2022-02-02”，系统自动将其转换为“2022-02-02 00:00:00”。

比如在之前的版本中，执行以下语句：

taos> select last(ts), sum(f1) from t1987 where ts>="2017-07-15" interval(1m) 

…