Contents

【flink】踩坑记录

Contents

想实现的的流程

  • 利用flink-cdc搬运mysql的binlog到kafka,业务系统监听kafka

    实际上首先版本号,在github的flink-cdc代码库中从代码可知2.2版本支持的flink版本是1.13.5,但是官方最接近的版本是1.13.6,遂下载flink1.13.6,flink-cdc2.2.

    为mysqlcdc准备mysql账号    

CREATE USER 'flink'@'localhost' IDENTIFIED BY '1bJK5bp45luz';
GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'flink'@'localhost';
flush privileges;
  • 准备docker-compose来启动相关服务,mysql/hdfs/zookeeper/kafaka集群,问题出现了,因为用的是apple silicon的芯片,其他组件都能正确获得支持arm64的docker image,唯独hadoop的hdfs没有原生支持arm64的docker image。