首页 > 其他 > 详细

Mycat 1.6.5 分片导入时报2013代码解决方法

时间:2020-02-11 17:46:01      阅读:102      评论:0      收藏:0      [点我收藏+]
1.基本信息,
mysql 5.7.22 节点: datanode1, datanode2, datanode3
mycat 1.6.5.

2.故障现象: 导入千万级测试数据的时候报2013,2006,或者3009连接中断

ERROR 2013 (HY000) at line 176 in file: ‘/soft/TEST_1KW.sql‘: Lost connection to MySQL server during query
ERROR 2006 (HY000) at line 177 in file: ‘/soft/TEST_1KW.sql‘: MySQL server has gone away
No connection. Trying to reconnect...
Connection id: 142
Current database: mycatdb

技术分享图片

  1. 查看vim log4j2.xml, Mycat log配置情况, 配置改为2500M, 日志级别已经改为 debug
    <Policies>
    <OnStartupTriggeringPolicy/>
    <SizeBasedTriggeringPolicy size="2500 MB"/>
    <TimeBasedTriggeringPolicy/>
    </Policies>
    </RollingFile>
    </Appenders>
    <Loggers>

    <asyncRoot level="debug" includeLocation="true">
    
        <!--<AppenderRef ref="Console" />-->
        <AppenderRef ref="RollingFile"/>

3.使用for循环监控日志大小. 日志很快达到251M,
for i in {0..10000};do ls -lh;sleep 1;clear;done
技术分享图片

4.mysql挂掉后, 查看导入数据量, 发现只导入了80W数据.
MySQL [mycatdb]> select count(*) from test_ber;
+--------+
| COUNT0 |
+--------+
| 826916 |
+--------+
1 row in set (0.17 sec)

======================================================

  1. (期间也做了大量测试, 一一排除其他配置, java,内存等原因)直接说解决方法,
    结论: 虽然在日志中写了level=debug, 但是没有生效, 由于日志满了导致mycat挂了. 所以我写了个for循环, 监控日志大小, 并每秒清理一下logs(在mycat logs目录运行):

    for i in {0..10000};do ls -lh;sleep 1;clear;echo "" > mycat.log;done

方法: 使用for循环
技术分享图片

重启myat, 查看mycat监听.
技术分享图片

登录mycat, 重新导入数据:
技术分享图片

数据正在导入:
技术分享图片

查看log大小情况 由于一直被清理, 所以日志很小, 并没有占满:
技术分享图片

导入完成: 无报错
技术分享图片

查看数据量: 1KW数据, 数据完整.
技术分享图片

感谢大家关注.

Mycat 1.6.5 分片导入时报2013代码解决方法

原文:https://blog.51cto.com/3143377/2470218

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!