7.数据清洗

时间：2020-12-27 15:35:12 阅读：24 评论：0 收藏：0 [点我收藏+]

以此为例

技术分享图片

参数名	接收	意义	默认
subset	String / sequence	去重的序列	None（全部列）
keep	String	重复时保留第几个数据 first ：保留第一个 last ：保留最后一个 false ：不保留	first（保留第一个）
inplace	Boolean	是否在原表上操作	False

DataFrame.drop_duplicates()

示例
技术分享图片

参数名	接收	意义	默认
axis	0/1	0为删除记录特征为行 1为删除记录特征为列	0
how	String	any只要存在缺失就删除 all全部缺失才删除	any
subest	array	进行去重的行/列	None
inplace	Boolean	是否在原表上操作	Flash

DataFrame.dropna()

示例
技术分享图片

参数名	接收	意义	默认
value	Scalar dict series Dataframe	表示用于替换的值	无
method	Stirng	Backfill/bfill 使用下一个缺失值来填补 Pad/ffil使用上一个缺失值填补	None
axis	0/1	轴向	1
inplace	Boolean	是否原表操作	False
limit	Int	填补缺失值的个数上限	None

DataFrame.fillna()

示例
技术分享图片

DataFrame.interpolater()

示例
技术分享图片

可知异常为1
示例
技术分享图片

可知异常为1
示例
技术分享图片

将数据映射到[0.1]的区间，处理线性变换数据
公式：

\[x=(x-min)/(max-min) \]

def lcbzh(DataFrame):
    DataFrame=(DataFrame-DataFrame.max())/(DataFrame.max()-DataFrame.min())
    return DataFrame

示例
技术分享图片

处理数据均值为0，标准差为1的数据
公式:

\[x=（x-x.mean()）/x.std() \]

用于移动小数点的位置至[-1,1]
公式：

\[x=x/10^{np.ceil ( np.log10( x.abs().max() ) )} \]

原文：https://www.cnblogs.com/tyh1999/p/14195477.html

踩

(0)

评论一句话评论（0）

分享档案

更多>