MySQL Binlog解析工具MaxWell详解

修改配置文件：

[atone@hadoop102 maxwell-1.25.0]$ cp config.properties.example config.properties

修改配置文件
producer=kafka

kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092

 

#需要添加

kafka_topic=ods_base_db_m

 

# mysql login info

host=hadoop102

user=maxwell

password=000000

 

#需要添加 后续初始化会用

client_id=maxwell_1

注：

1、指定固定数据库数据表到指定的topic中去，可以通过动态topic设置

Maxwell 会将消息投递到Kafka的Topic中，该Topic由 kafka_topic 选项指定，默认值为 maxwell，除了指定为静态的Topic，

还可以指定为动态的，譬如 namespace_%{database}_%{table}，%{database} 和 %{table} 将被具体的消息的 database 和 table 替换。

2、默认还是输出到指定Kafka主题的一个kafka分区，因为多个分区并行可能会打乱binlog的顺序

如果要提高并行度，首先设置kafka的分区数>1,然后设置producer_partition_by属性

可选值producer_partition_by=database|table|primary_key|random| column

参考：

MySQL Binlog 解析工具 Maxwell

MySQL Binlog解析工具MaxWell详解

原文：https://www.cnblogs.com/-courage/p/15029582.html