作为一名资深软件人,数据安全一定要放到第一位,要保证生产库坏了,也要很快恢复,数据冗余是常用手段,数据转储是必备的,下面说一下我clickhouse的数据备份方式。
本方式适用于亿级别的数据,因为是全量备份;如果是百亿级别的数据,建议增量备份。
准备一台服务器,性能不要求很高,因为这是存储一些数据 ,我是搞了一个docker容器;
安装clickhouse ,在docker 容器里安装,分分钟搞定;
创建数据库、创建需要备份的表;
CREATE DATABASE IF NOT EXISTS dbname;
CREATE TABLE dbname.tablename(
ts
Date DEFAULT toDate(now()),
ID
UInt32 COMMENT ‘主键id‘,
OIL_FACTORY_ID
UInt32 COMMENT ‘‘,
DEPT_ID
UInt32 COMMENT ‘部门ID‘,
DEPT_name
String COMMENT ‘部门名字‘
) ENGINE = MergeTree() PARTITION BY toYYYYMMDD(ts) ORDER BY ts SETTINGS index_granularity = 8192;
insert into 目的数据库.表 select * from remote(‘数据源的ip‘,数据库.表,‘登录名‘,‘登录密码‘)
clickhouse 的数据迁移 remote 方法,1千多万数据 ,秒速完成
原文:https://www.cnblogs.com/gxhh-lzh/p/13831909.html