首页 > 编程语言 > 详细

python 使用yield进行数据的流式处理

时间:2018-10-26 11:54:19      阅读:214      评论:0      收藏:0      [点我收藏+]

demo:从文件中取包含字符“a”的5行数据做一次批处理!!!

# coding: utf-8

import time

def cat(f):
    for line in f:
        yield line

def grep(lines,searchtext):
  for line in lines:
    if searchtext in line:
      yield line

def process(segment_lines):
  print (segment_lines)

flog = cat(open(‘/tmp/tflearn_logs/vae/events.out.tfevents.1540467860.lanzihuazaideMacBook-Pro.local‘))
pylines = grep(flog, ‘a‘)
segment_lines = []
for line in pylines:
  if len(segment_lines) < 5:
      segment_lines.append(line)
  else:
      print ("*"*88)
      process(segment_lines)
      segment_lines = []
if segment_lines:
    print ("*"*88)
    process(segment_lines)

 

python 使用yield进行数据的流式处理

原文:https://www.cnblogs.com/bonelee/p/9855445.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!