本文是《CDC 数据入湖方案:MySQL > Flink CDC > Kafka > Hudi》的增强版,在打通从源端数据库到 Hudi 表的完整链路的前提下,还额外做了如下两项工作:

引入 Confluent Schema Registry,有效控制和管理上下游的 Schema 变更

使用 Avro 格式替换 Json,搭配 Schema Registry,可以抽离 Avro 中的 Schema 数据,减少了 Avro 消息的体积,提升传输速率

1. 环境准备

本文依旧使用 Debezium 官方提供的一个 MySQL Docker镜像,构建操作可参考其 官方文档,使用的是其内置的 inventory 数据库;

本文需要搭建一个 Confluent Schema Registry,如果仅以测试为目的,建议使用 Confluent 提供的 官方Docker镜像,构建操作可参考其

推荐文章

评论可见,请评论后查看内容,谢谢!!!评论后请刷新页面。