版本发布 | TDengine 3.0.3.0 为数据压缩、事件窗口等七大功能加“Buff”

TDengine 3.0 自去年 8 月份发布以来,已经被大量用户下载使用。在此过程中,涛思的研发同学也没有懈怠,针对大家在社群、各种我们能触达到的平台上提出的种种有价值的反馈,都一一进行了记录,并开始寻求更高效的实现方法。

终于,在 2023 年的第一季度, TDengine 第一个重要改进版本 3.0.3.0 发布,这一版本涉及到的更新内容包括数据重整、事件窗口、标签索引、taosX、taosExplorer 等功能或组件。经过这一系列的功能优化与加强,TDengine 的性能、易用性、运维便利性都有大幅提升。

下面我们一起来看一下这一版本的详细更新信息:

数据重整 (Data Compact) ——Enterprise only

包含以下优化:

  • 对写入数据库中所有 Vnode 的所有数据文件进行重整,生成新的落盘文件
  • 清除已删除的表的所有数据
  • 清除 delete 语句删除的所有数据
  • 合并更新的所有数据
  • 生成新的文件,提升查询性能

借助此功能,用户可以重整数据库,清除掉无用数据、重复数据。除了能够释放存储空间外,查询性能也会有巨大的提升,且原有的乱序数据和重复数据的比例越高性能提升越显著。

事件窗口 (Event Window)

包含以下优化:

  • 按照用户指定的条件来决定开启和结束窗口的边界
  • 丰富窗口类型,提供更灵活的窗口支持,满足由事件驱动的业务需求

更详细信息请参考官方文档(http://tdlake.cn/5W1eL4

标签索引 (Tag Index)

包含以下优化:

  • 可以按需在标签列上创建和删除索引,之前版本仅对第一个标签内置了索引
  • 可以按需创建标签索引,提升基于标签过滤的查询的性能

taosX——Enterprise only

包含以下优化:

  • 从 2.x 到 3.0 以及 3.0 到 3.0 的数据复制,包括存量和增量数据
  • 备份数据到本地文件,从本地文件恢复数据

详细说明:

  • 支持 select-with-stable tables 参数(2.6 迁移到 2.6 下)
  • 增强错误处理
  • REST API support for Data In.
  • Add name field for task props (数据源命名).
  • Add labels field (更方便和定制化地对任务进行标记和查询)
  • Add detail query parameter (数据源 DSN 自动解析,用于查看和编译数据源)
  • Add trigger field for task schedule (定时自动增量备份).
  • 修复 2.6 内存泄漏问题
  • 修复 unreachable 和 panic 问题

taosExplorer——Enterprise only

使用该工具可基于 Web UI查看、操作、和管理 TDengine 集群。

详细说明:

  • Data Explorer——
  • 使用图形界面查看和浏览集群中的数据库、超级表、子表、普通表
  • 使用图形界面创建和删除库、超级表、子表、普通表
  • 输入和执行 SQL 语句,查看执行结果
  • 收藏常用的 SQL 语句以快速执行
  • 浏览 SQL 语句的执行记录
  • 数据导入(Data In)——从另一 TDengine 集群导入数据
  • 创建和删除 Topic
  • 创建和删除流
  • 管理用户和权限
  • 备份数据到本地文件和从本地文件中恢复
  • 从另一集群复制数据到当前集群,从当前集群复制数据到另一集群
  • 集群管理和运维——添加/删除 dnode/mnode/gnode
  • 基于Grafana进行集群监控

Java/Python 连接器

  • 优化后的连接器支持基于 WebSocket 的消息订阅
  • 既支持 TDengine Cloud 也支持独立部署的 TDengine 集群
  • 类似 REST,可以不依赖 taosc library,但比 REST 性能更好
  • 接口风格和 Kafka 基本一致
  • API 和示例代码详见官网文档

Grafana Plugin

  • Dashboard 可以监控 HTTP status code

在 TDinsight V3.x TaosAdapter Row 中新增 dashboard,展示 taosadapter 的所有 http 状态码,数据来源为 log 库的 “taosadapter_restful_http_request_total”表。

  • 多维数据场景下的统一告警

Grafana 8.x 之后的版本添加 unified alert, TDengine Grafana plugin v3.2.9 添加了对多维数据场景下 unified alert 支持。在 add query 面板设置 “INPUT SQL”、 “Group by column name(s)” 即可展示多维数据,然后添加 expression 设置数据的阈值,即可配置 unified alert。

详细信息可以参考发布说明(https://github.com/taosdata/TDengine/releases/tag/ver-3.0.3.0)。欢迎大家下载使用 TDengine,有任何问题,都可以添加小T vx:tdengine 申请加入 TDengine 用户交流群,及时向我们的解决方案专家寻求支持与帮助。