本文是《CDC 数据入湖方案:MySQL > Flink CDC > Kafka > Hudi》的增强版,在打通从源端数据库到 Hudi 表的完整链路的前提下,还额外做了如下两项工作:
引入 Confluent Schema Registry,有效控制和管理上下游的 Schema 变更
使用 Avro 格式替换 Json,搭配 Schema Registry,可以抽离 Avro 中的 Schema 数据,减少了 Avro 消息的体积,提升传输速率
1. 环境准备
本文依旧使用 Debezium 官方提供的一个 MySQL Docker镜像,构建操作可参考其 官方文档,使用的是其内置的 inventory 数据库;
本文需要搭建一个 Confluent Schema Registry,如果仅以测试为目的,建议使用 Confluent 提供的 官方Docker镜像,构建操作可参考其
推荐文章
评论可见,请评论后查看内容,谢谢!!!评论后请刷新页面。
发表评论