这两天一直在思考一个问题，为什么要用专业的etl工具进行数据清洗，原因如下：
ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
如果数据转换的频率或者要求不高可以手动实现ETL的功能；反之，如果对数据转换的要求比较高的话，就需要专门的ETL工具.
其优点如下：
第一：简化了用户的操作。专用ETL通常通过图形化的配置方式，简单，灵活，使得用户无需过分关心数据库的各种内部细节，而专注于功能。
第二：支持各种数据源，特别是平面数据源。ETL除了支持所有常见的数据源，如Oracle,Sqlserver,DB2,,Mysql,Access,Vf等，还提供了对各种平面数据源，如txt，excel，csv，xml等的支持。
第三：支持更多的硬件和软件平台，软件平台如操作系统，支持windows，linux以及国产操作系统；同时支持各种硬件平台，如x86，龙芯等等
第四：功能更为强大，数据处理组件非常丰富，通用性更强，组件很容易复用
第五：提供灵活的定制规则，更好的控制数据质量
第六：提供强大的管理功能，如权限管理，日志管理
原文：http://www.cnblogs.com/karmapeng/p/6264151.html