企业级IT与信创国产化深度观察 | 大观视界
企业级IT与信创国产化深度观察 | 大观视界
| 产品名称 | 为什么时序数据库的压缩率能到20:1 |
|---|---|
| 产品系列 | 数据库 |
| 官方介绍 | 时序数据的高压缩率不是一个黑魔法,而是对数据本质特征逐层挖掘的结果。DoubleDelta抓住了时间戳的单调性,XOR编码抓住了浮点数的接近性,列式存储让同类型数据聚集,熵编码吃掉最后一层统计冗余。TDengine的压缩实现把这些原理组合在一起,在CPU开销和压缩率之间取了一个工程化的平衡。对于任何构建或评估时序数据库的团队,理解压缩原理不是优化手段的选择,而是从根本上判断架构设计方向是否正确的标尺。 |
| 数据类型 | 时间戳单调性 |
| 数值相关性 | 重复率 |
| 典型原始大小(64点) | 典型压缩后大小 |
| 温度传感器 | 严格单调 |
| 相邻点相关系数 > 0.95 | 低 |
| 1280B | 150~250B |
| 压力传感器 | 严格单调 |
| 相关系数 > 0.90 | 中 |
| 1280B | 200~350B |
| 开关状态 | 严格单调 |
| 低(跳变时) | 极高(99.9%是0) |
| 1280B | 20~50B |
| 振动波形 | 严格单调 |
| 中等(周期性) | 低 |
| 1280B | 400~600B |
| GPS坐标 | 严格单调 |
| 中 | 低 |
| 1920B | 300~500B |
| 时间戳序列(ms) | Delta |
| DoubleDelta | 存储位数(假设10位/值) |
| 1, -2, 3, -4 | 6个差值×可变长度(实际 < 平均10bit) |
| 存储方式 | 同一列数据的聚集度 |
| 压缩算法适配度 | 典型压缩率 |
| 行式存储 | 低(多列混合) |
| 通用压缩器 | 2:1 ~ 4:1 |
| 列式存储 | 高(单类型聚集) |
| 增量+XOR+熵编码 | 10:1 ~ 20:1 |
| 压缩层级 | 额外CPU开销(编码+解码) |
| 压缩率增益 | 推荐配置 |
| 仅增量编码 | < 5% |
| 3 | 1 ~ 5:1|低延迟场景 |
| 增量 + XOR | 10% ~ 20% |
| 8 | 1 ~ 12:1|通用场景(TDengine默认) |
| 增量 + XOR + ZSTD | 30% ~ 50% |
| 12 | 1 ~ 18:1|冷数据归档 |
| 增量 + XOR + GZIP | > 60% |
| 15 | 1 ~ 20:1|长期冷存储 |
| 化工生产场景批次分析与关联分析 | 氯化亚砜反应釜生产批次监控,冷却失效关联追踪 / 立即体验 |
| 金属加工场景根因分析与质量溯源 | 铝加工生产全流程监控,批次对比分析,钎焊强度根因溯源 / 立即体验 |
| 新能源集控 | 风光储一体化多维指标监控,故障异常事件智能根因分析 / 立即体验 |
| 互动和支持 | 加入技术论坛 | 联系销售 | 添加公众号 | 查看源代码 | 下载 TDengine |
| 10 | 1 ~ 20:1 |
参数由厂商公开资料整理,实际以产品实物及官方说明为准。