首页 > 其他 > 详细

pandas dataframe取差集:删掉已存在的数据,保留未插入的数据

时间:2020-02-25 13:03:20      阅读:80      评论:0      收藏:0      [点我收藏+]

适用场景:

插入数据到mysql中,中途中断,导致部分数据未插入成功。避免下次插入时插入了重复的数据。

思路:

1、读取已插入的数据,

2、读取全部数据(包含已插入和未插入的),

3、将已插入的数据添加到全部数据中,产生重复数据,

4、删除所有重复的数据。

 

示例代码:

import pandas as pd
import numpy as np

df = pd.DataFrame(np.arange(15).reshape((5, 3)))  # 总数据
# 输出df:
     0    1    2
0    0    1    2
1    3    4    5
2    6    7    8
3    9    10    11
4    12    13    14

df2
= df[:3] # 已插入的数据 # 输出df2: 0 1 2 0 0 1 2 1 3 4 5 2 6 7 8
df
= df.append(df2) # 将已插入的数据添加到全部数据里面,生成重复数据 # 输出df: 0 1 2 0 0 1 2 1 3 4 5 2 6 7 8 3 9 10 11 4 12 13 14 0 0 1 2 1 3 4 5 2 6 7 8 df = df.drop_duplicates(keep=False) # 删除具有重复数据的行,即得到差集 # 输出df: 0 1 2 3 9 10 11 4 12 13 14

 

pandas dataframe取差集:删掉已存在的数据,保留未插入的数据

原文:https://www.cnblogs.com/jaysonteng/p/12360604.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!