[讨论] HTAP vs ZeroETL

Bot

厂商如何同时提供 AP 和 TP 服务？
TiDB 使用 Raft Learner 机制，将其做在了一个系统中，称为 HTAP：https://docs.pingcap.com/tidb/dev/tiflash-overview
AWS 使用 ReadShift 提供 AP，然后使用 Aurora 提供兼容 PG 的 TP 服务。并且推出了 zero-ETL 服务将数据自动的在两者间倒来倒去：https://press.aboutamazon.com/2022/11/aws-announces-two-new-capabilities-to-move-toward-a-zero-etl-future-on-aws

那么这两种模式孰优孰劣呢？各有什么适用场景？

klusfq

Redshift做离线数仓+数据分析还行，实时数仓实在差了点。。。

细雨带风

HTAP 现在是一个比较广泛的概念。
之前参与过信通院对HTAP系统的一些讨论会议。他们将HTAP数据库分成了几种：一个数据库引擎+1个存储引擎；1个数据库引擎+多个存储引擎；多个数据库引擎+多个存储引擎。唯一的区别就是抽象层级，抽象越高下面的引擎就越多。
现在大多是多个数据库存储引擎匹配多个数据库引擎，一种存储引擎单独处理一种事务类型。比如行列混合存储支持OLAP，带索引的、行存的存储支持OLTP。这种单独处理的服务方式很有优势，但是一旦涉及到两种服务切换，数据需要切换另一种存储方式才能支持另一种服务，这通常需要T+1才能实现用户的业务连续。
还有一种HTAP数据库是一种引擎+一个存储，他存储的数据是日志，在启动的时候才会变成用户数据。这种日志型数据库也能够提供HTAP服务。
用一个存储引擎支持HTAP的厂商比较少，但不是没有，他们的目标是调和，以实现绝大部分场景的HTAP服务。