binlog2sql操作注意事项

简介

github

binlog2sql用于解析操作sql、生成恢复sql
需要连上mysqld，不支持离线解析
mysqld需要binlog_format = row
参数 binlog_row_image 必须为FULL，暂不支持MINIMAL
操作的用户需要select, super/replication client, replication slave权限：
    * select：需要读取server端information_schema.COLUMNS表，获取表结构的元信息，拼接成可视化的sql语句
    * super/replication client：两个权限都可以，需要执行'SHOW MASTER STATUS', 获取server端的binlog列表
    * replication slave：通过BINLOG_DUMP协议获取binlog内容的权限

安装

yum install -y git python-pip
git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql
pip install -r requirements.txt

使用

---

获取操作SQL

#不能直接操作活动binlog，需要拷到别处
python binlog2sql.py -h127.0.0.1 -P23306 -uroot -p'123456' -dtest_uc -t uc_user uc_app --start-file='mysql-bin.000002' --start-datetime='2018-11-21 09:50:00' --stop-datetime='2018-11-21 09:55:00'

输出：

#正确地记录了我改了jn12为jzsuin1245
UPDATE ***; #start 568852516 end 568853181 time 2018-11-21 09:53:41

---

获取回滚SQL

#加了参数--flashback
python binlog2sql.py --flashback -h127.0.0.1 -P23306 -uroot -p'123456' -dtest_uc -t uc_user uc_app --start-file='mysql-bin.000002' --start-datetime='2018-11-21 09:50:00' --stop-datetime='2018-11-21 09:55:00'

输出：

#生成回滚sql非常慢，请不要终止
#能恢复jzsuperadmin1245为jzsuperadmin12
UPDATE `***; #start 568852516 end 568853181 time 2018-11-21 09:53:41
#恢复sql执行未报错

语法说明

---

mysql连接配置

-h host; -P port; -u user; -p password

解析模式

--stop-never 持续解析binlog。可选。默认False，同步至执行命令时最新的binlog位置。

-K, --no-primary-key 对INSERT语句去除主键。可选。默认False

-B, --flashback 生成回滚SQL，可解析大文件，不受内存限制。可选。默认False。与stop-never或no-primary-key不能同时添加。

--back-interval -B模式下，每打印一千行回滚SQL，加一句SLEEP多少秒，如不想加SLEEP，请设为0。可选。默认1.0。

解析范围控制

--start-file 起始解析文件，只需文件名，无需全路径 。必须。

--start-position/--start-pos 起始解析位置。可选。默认为start-file的起始位置。

--stop-file/--end-file 终止解析文件。可选。默认为start-file同一个文件。若解析模式为stop-never，此选项失效。

--stop-position/--end-pos 终止解析位置。可选。默认为stop-file的最末位置；若解析模式为stop-never，此选项失效。

--start-datetime 起始解析时间，格式'%Y-%m-%d %H:%M:%S'。可选。默认不过滤。

--stop-datetime 终止解析时间，格式'%Y-%m-%d %H:%M:%S'。可选。默认不过滤。

对象过滤

-d, --databases 只解析目标db的sql，多个库用空格隔开，如-d db1 db2。可选。默认为空。

-t, --tables 只解析目标table的sql，多张表用空格隔开，如-t tbl1 tbl2。可选。默认为空。

--only-dml 只解析dml，忽略ddl。可选。默认False。

--sql-type 只解析指定类型，支持INSERT, UPDATE, DELETE。多个类型用空格隔开，如--sql-type INSERT DELETE。可选。默认为增删改都解析。用了此参数但没填任何类型，则三者都不解析。