TDSQL-HLibraDB初步调研_Dennis_GAO

个人资料

微博

正文字体大小：大中小

TDSQL-HLibraDB初步调研

(2022-11-15 19:15:59)

标签：

分类：工作学习

1. TDSQL-H LibraDB基于clickhouse二次开发

2. 相比clickhouse主要增强的内容为

1）对于update和delete写入，支持mvcc的写入，优化cdc同步后查询最新数据的性能，不需要使用clickhouse final关键字，可以高效直接查询mvcc的最新版本

2）支持数据原子可见，当一个事务做跨分片的单表或多表修改时，不会有中间结果被查看到

3）针对clickhouse的system系统表，可以在任意节点查询全局的数据，简化运维

4）支持MergeTree 表的轻量级删除，采用轻量级的标记删除，无需重建底层数据，查询时根据删除的 bitmap 快速过滤删除数据

5）配套更强大的CDC组件，例如自动的异构表结构转换、设置排序与分区键、表名映射、多源合一。提供数据比对，不过比较初级，限制较多，例如源表必须包含主键或者不可为 NULL 的唯一键

3. 可以配合mysql和tdsql mysql等构建HTAP集群，源端通过cdc将数据与增量同步到tdsql-h集群中。

不过1）与tiflash不同，源端OLTP集群和TDSQL-H的OLAP集群是2个事务体系，事务号是不共享的，所以无法做到HTAP的全局一致性读和mvcc历史快照查询。

2）OLTP和OLAP是2个不同的接口，前者走mysql协议，后者为clickhouse协议。

参考：TDSQL-H LibraDB 产品概述-产品简介-文档中心-腾讯云

转载请注明转自高孝鑫的博客！

阅读┊ 收藏 ┊ 喜欢 ▼ ┊打印┊举报/Report