首页 > 编程语言 > 详细

python数据处理(六)之数据清洗:标准化和脚本化

时间:2020-04-02 21:47:02      阅读:138      评论:0      收藏:0      [点我收藏+]

1.数据归一化和标准化

a. 归一化:对数据集进行计算,使数据都位于一个特定的范围\

b.标准化:

c.删除离群值

2.数据存储

a.保存到SQLite数据库中

b.导出到简单的文件中csv

3.找到适合项目的数据清洗方法

写脚本(确定代码结构,用于后续使用、学习和分享)代码是否能够帮你节省时间,提高效率

4.数据清洗脚本化

4.1 代码规范看python之禅,让代码更加清晰明确

4.2 让可复用的代码更加通用

4.3 为代码编写文档

首要列出需要完成的任务

编写脚本

优化脚本

为函数添加一些文档字符串和行内注释

5.用新数据测试

寻找相似的数据测试脚本

内置测试模块unittest/nose/pytest库

 

python数据处理(六)之数据清洗:标准化和脚本化

原文:https://www.cnblogs.com/qiu-hua/p/12622818.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!