首页 > Windows开发 > 详细

c#数据批量插入

时间:2018-10-22 00:50:17      阅读:163      评论:0      收藏:0      [点我收藏+]

由于之前面试中经常被问到有关EF的数据批量插入问题,今天以Sqlserver数据库为例,对.net中处理数据批量处理的方案进行了测试对比。

1.四种测试方案

(1)普通的EF数据批量插入:即调用DbSet中的Addrange方法

(2)不进行上下文跟踪的EF数据批量插入:即关闭自调用的DetectChanges方法,不对每一个添加的实体进行扫描

(3)在EF中执行sql批量插入

(4)Ado.net执行sql批量插入

(5)利用sqlserver的Bcp功能作批量插入:代码中利用了SqlBulkCopy类

2.相关环境

(1)数据库:sqlserver2014

(2)操作系统:win10

(3)cpu:i5-4210U

(4)内存:8G

 

3.测试

将以上5种方案,在数据量分别为100,1000,10000,100000的情况下进行测试,每种数据量级别测试3次

 

要插入的表如下所示:

技术分享图片

 

3.1 普通的EF数据批量插入

用DbSet的AddRange方法作批量插入

技术分享图片

 

3.2 不进行上下文跟踪的EF数据批量插入

用DbSet的AddRange方法作批量插入,且上下文不对增加的实体作跟踪,即代码中将context.Configuration.AutoDetectChangesEnabled设为false

技术分享图片

 

3.3 在EF中执行sql批量插入

技术分享图片

 

3.4 Ado.net执行sql批量插入

技术分享图片

 

3.5 利用sqlserver的Bcp功能作批量插入

SqlBulkCopy类可对sqlserver数据库作批量处理,其原理是利用了sqlserver的Bcp功能,但需要将数据先写入到DataTable

 技术分享图片

 4.测试结果

  100条 1000条 10000条 100000条
EF普通批量插入 331,41,51 1034,459,456 5200,5090,4921 55396,56479,58018
不进行上下文跟踪的EF数据批量插入 282,44,55 817,1152,547 6022,5523,5843 51465,52590,52037
EF中执行sql批量插入 7,4,4 52,32,45 811,388,380 插不进(sqlserver单次sql插入有限制)
Ado.net执行sql批量插入 75,19,49 204,225,218 2177,2678,2387 插不进(sqlserver单次sql插入有限制)
SqlBulkCopy批量插入 26,3,3 8,7,10 120,114,97 820,596,368

 

*注:单位为毫秒

5.结论

(1)利用sqlBulkCopy来对sqlserver作数据批量操作要明显好于其它四种方式,随着数据量增加效果越明显

(2)数据量在1万以内,用EF来做数据插入,其性能基本是能接受的,可以从EF中执行sql批量插入这种方式中看出,所以说ef在正常的业务开发中,数据插入基本不存在性能问题

(3)很奇怪的是EF中执行sql批量插入 这种方式明显好于原生的Ado.net执行sql批量插入这种方式,看来ef还是比较强大的

c#数据批量插入

原文:https://www.cnblogs.com/yyg1986/p/9827491.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!