需要学习链接：
使用pandas做预处理，https://blog.csdn.net/mpk_no1/article/details/71698725
https://www.jianshu.com/p/8d3f929c9444
1.首先是要读取数据集，建立字典，将word转为id准备输入；
2.想获取数据文本的长度分布，然后做截断，但不知道怎么写；
但是链接中考虑的更全面
1.去掉非ASCII字符，2.去掉换行符，3.转换为小写。
https://blog.csdn.net/icbm/article/details/79747024 非ASCII字符：
[^\x00-\x7f]
比如这样。就是不在ASCII编码中的字符吧。
其中用到了pandas库，
原文：https://www.cnblogs.com/BlueBlueSea/p/12399185.html