首页 > 其他 > 详细

9、数据读取

时间:2019-11-15 16:08:16      阅读:65      评论:0      收藏:0      [点我收藏+]

1、我们要处理的数据一般在文件(图片,文档等)当中,读取数据之后才能使用深度学习算法进行训练,tf提供了多种数据的读取方式。

  • CSV文件读取
  • 图片读取
  • 二进制文件读取
  • tfrecords文件读取

2、在计算需要争分夺秒的时候,如何提高I/O的速度?(即如何解决I/O和计算不平衡的问题)

  在训练的过程中,我们需要训练的数据往往会非常的大,不可能执行一次性读取的操作,不仅消耗内存,而且“计算”要花费更长的时间去等待“读取”的完成才能继续,tf提供了真正的多线程、队列以及文件的改善(tfrecords文件格式)机制,可以并行的去执行多个任务,

   tf让子线程去读取数据,这样主线程就可以直接进行模型的训练。子线程没读取到一定量的数据(如100个)之后,主线程进行模型的训练。

3、队列和线程

 

9、数据读取

原文:https://www.cnblogs.com/pengzhonglian/p/11866234.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!