首页 > 数据库技术 > 详细

mysql在海量数据时的处理方案

时间:2019-12-07 11:57:31      阅读:83      评论:0      收藏:0      [点我收藏+]

1.分区

2.缓存

3.一主多从分离读多写少的压力

4.写的压力:分库分表

4.1分分表

水平切分:

数据库的垂直切分:按照 表功能和数据关联密切程度;表太多造成的海量数据考虑按业务逻辑划分;能缓解数据量和访问量造成的问题但不能根治;

表的垂直切分:可以分到多库中,不遵守范式

表的水平切分:解决单表数据量太大的问题、提高了稳定性和负载能力、应用端改造少

 

无论那种切分缺点都有分布式事务、节点join、跨节点合并排序分页、多数据源管理问题

 

5.中间件

1.作用:解析sql、读写分离、从库读的负载均衡、支持分库分表操作、支持垮裤关联、支持事务、主键ID生成、多数据源管理

2.类型:客户端模式(sharding-jdbc TDDL)、服务端代理模式(mycat cobar atlas heinsberge vitess kingshard)

 

6.分片优点

1.减少增量数据写入时的锁对查询的影响,减少长时间查询造成的表锁、锁竞争、排队时间开支

2.单表查询的基数变小、io减少、时延变短

 

 

7.实际粒度的掌控

业务紧密程度和表的数据量

7.1 表关系紧密且数据量不大、增速缓慢,则放在一起,无需水平切分;

7.2若划归到一起的表增速迅猛 则需要分库再分表

垂直分表:按照业务功能的使用频次,分成主次表

 

 

8.拆分原则

8.1能不拆就不拆

8.2提前规划好切分规则

8.3通过数据冗余或表分组来降低跨库join的可能

8.4数据库中间件对join的高性能操作实现难度大,所以尽量少用join

 

mysql在海量数据时的处理方案

原文:https://www.cnblogs.com/hzq3554055/p/12000980.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!