首页 > 其他 > 详细

clickhouse 的数据迁移 remote 方法,1千多万数据 ,秒速完成

时间:2020-10-17 18:55:22      阅读:161      评论:0      收藏:0      [点我收藏+]

背景介绍

作为一名资深软件人,数据安全一定要放到第一位,要保证生产库坏了,也要很快恢复,数据冗余是常用手段,数据转储是必备的,下面说一下我clickhouse的数据备份方式。
本方式适用于亿级别的数据,因为是全量备份;如果是百亿级别的数据,建议增量备份。

准备

准备一台服务器,性能不要求很高,因为这是存储一些数据 ,我是搞了一个docker容器;
安装clickhouse ,在docker 容器里安装,分分钟搞定;
创建数据库、创建需要备份的表;

技术分享图片

CREATE DATABASE IF NOT EXISTS dbname;

CREATE TABLE dbname.tablename(
ts Date DEFAULT toDate(now()),
ID UInt32 COMMENT ‘主键id‘,
OIL_FACTORY_ID UInt32 COMMENT ‘‘,
DEPT_ID UInt32 COMMENT ‘部门ID‘,
DEPT_name String COMMENT ‘部门名字‘

) ENGINE = MergeTree() PARTITION BY toYYYYMMDD(ts) ORDER BY ts SETTINGS index_granularity = 8192;

开始转储数据

insert into 目的数据库.表 select * from remote(‘数据源的ip‘,数据库.表,‘登录名‘,‘登录密码‘)

效果

技术分享图片

clickhouse 的数据迁移 remote 方法,1千多万数据 ,秒速完成

原文:https://www.cnblogs.com/gxhh-lzh/p/13831909.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!