maxwell将mysql数据实时同步到kafka

标签:
maxwellhbasekafkabinlogmsyql |
分类: 大数据处理 |
一、mysql配置
(1)mysql中配置binlog,开启后通过"show variables like
'log_bin';"查看是否ON的状态
(2)mysql中配置binlog的输出格式为row,开启后通过"show variables like
'binlog_format';"查看
(3)mysql开启log_slave_updates,该参数控制是否把所有的操作写入到binlog中,开启后通过"show
variables like 'log_slave_updates';"查看
二、maxwell配置
log_level=info
host=
user=
password=
port=
jdbc_options=autoReconnect=true
schema_database= //
用于在mysql中新建一个binlog相关的数据库实例
producer=kafka
kafka.bootstrap.servers=
kafka_topic=
kafka.compression.type=snappy
kafka.retries=1
kafka.acks=1
kinesis_stream=maxwell
include_dbs= // 需要处理的数据库实例
include_tables= // 需要处理的表格,用逗号分隔
kafka_version=0.9.0.1
client_id= // 标识符,可以包含英文
replica_server_id= // 只能是数字
三、启动maxwell
nohup bin/maxwell --config config.properties
--log_level DEBUG &
四、验证
如果maxwell实时同步成功,log中会有数据展示如下:
前一篇:spark中文件读取的通道模式
后一篇:初识python-opencv