1.数据归一化和标准化
a. 归一化:对数据集进行计算,使数据都位于一个特定的范围\
b.标准化:
c.删除离群值
2.数据存储
a.保存到SQLite数据库中
b.导出到简单的文件中csv
3.找到适合项目的数据清洗方法
写脚本(确定代码结构,用于后续使用、学习和分享)代码是否能够帮你节省时间,提高效率
4.数据清洗脚本化
4.1 代码规范看python之禅,让代码更加清晰明确
4.2 让可复用的代码更加通用
4.3 为代码编写文档
首要列出需要完成的任务
编写脚本
优化脚本
为函数添加一些文档字符串和行内注释
5.用新数据测试
寻找相似的数据测试脚本
内置测试模块unittest/nose/pytest库
原文:https://www.cnblogs.com/qiu-hua/p/12622818.html