涛思数据 为什么时序数据库的压缩率能到20:1
涛思数据 数据库 e企观

涛思数据 为什么时序数据库的压缩率能到20:1

时序数据的高压缩率不是一个黑魔法,而是对数据本质特征逐层挖掘的结果。DoubleDelta抓住了时间戳的单调性,XOR编码抓住了浮点数的接近性,列式存储让同类型数据聚集,熵编码吃掉最后一层统计冗余。TDengine的压缩实现把这些原理组合在一起,在CPU开销和压缩率之间取了一个工程化的平衡。对于任何构建或评估时序数据库的团队,理解压缩原理不是优化手段的选择,而是从根本上判断架构设计方向是否正确的标

参数规格

共 45 项
产品名称 为什么时序数据库的压缩率能到20:1
产品系列 数据库
官方介绍 时序数据的高压缩率不是一个黑魔法,而是对数据本质特征逐层挖掘的结果。DoubleDelta抓住了时间戳的单调性,XOR编码抓住了浮点数的接近性,列式存储让同类型数据聚集,熵编码吃掉最后一层统计冗余。TDengine的压缩实现把这些原理组合在一起,在CPU开销和压缩率之间取了一个工程化的平衡。对于任何构建或评估时序数据库的团队,理解压缩原理不是优化手段的选择,而是从根本上判断架构设计方向是否正确的标尺。
数据类型 时间戳单调性
数值相关性 重复率
典型原始大小(64点) 典型压缩后大小
温度传感器 严格单调
相邻点相关系数 > 0.95 低
1280B 150~250B
压力传感器 严格单调
相关系数 > 0.90 中
1280B 200~350B
开关状态 严格单调
低(跳变时) 极高(99.9%是0)
1280B 20~50B
振动波形 严格单调
中等(周期性) 低
1280B 400~600B
GPS坐标 严格单调
中 低
1920B 300~500B
时间戳序列(ms) Delta
DoubleDelta 存储位数(假设10位/值)
1, -2, 3, -4 6个差值×可变长度(实际 < 平均10bit)
存储方式 同一列数据的聚集度
压缩算法适配度 典型压缩率
行式存储 低(多列混合)
通用压缩器 2:1 ~ 4:1
列式存储 高(单类型聚集)
增量+XOR+熵编码 10:1 ~ 20:1
压缩层级 额外CPU开销(编码+解码)
压缩率增益 推荐配置
仅增量编码 < 5%
3 1 ~ 5:1|低延迟场景
增量 + XOR 10% ~ 20%
8 1 ~ 12:1|通用场景(TDengine默认)
增量 + XOR + ZSTD 30% ~ 50%
12 1 ~ 18:1|冷数据归档
增量 + XOR + GZIP > 60%
15 1 ~ 20:1|长期冷存储
化工生产场景批次分析与关联分析 氯化亚砜反应釜生产批次监控,冷却失效关联追踪 / 立即体验
金属加工场景根因分析与质量溯源 铝加工生产全流程监控,批次对比分析,钎焊强度根因溯源 / 立即体验
新能源集控 风光储一体化多维指标监控,故障异常事件智能根因分析 / 立即体验
互动和支持 加入技术论坛 | 联系销售 | 添加公众号 | 查看源代码 | 下载 TDengine
10 1 ~ 20:1

参数由厂商公开资料整理,实际以产品实物及官方说明为准。

免责声明本页信息整理自互联网公开渠道,仅供资讯参考,不构成任何投资或商业决策依据;相关产品参数、企业信息可能存在滞后或误差,请以厂商官方发布为准。如内容涉及版权、准确性或侵权问题,请联系 981209856@qq.com,我们将第一时间核实处理。