首页 > 编程语言 > 详细

python实现一个简单的爬虫搜索功能

时间:2015-10-29 01:00:43      阅读:195      评论:0      收藏:0      [点我收藏+]
html.parser HTMLParser  
urllib.request urlopen  
urllib parse
LinkParser(HTMLParser):

    handle_starttag(, tag, attrs):
        tag == :
            (key, value) attrs:
                key == :

                    newUrl = parse.urljoin(.baseUrl, value)
                    .links = .links + [newUrl]

    getLinks(, url):
        .links = []
        .baseUrl = url
        response = urlopen(url)
        response.getheader()==:
            htmlBytes = response.read()
            htmlString = htmlBytes.decode()
            .feed(htmlString)
            htmlString, .links
        :
            ,[]

spider(url, word, maxPages):  
    pagesToVisit = [url]
    numberVisited = foundWord = numberVisited < maxPages pagesToVisit != [] foundWord:
        numberVisited = numberVisited +url = pagesToVisit[]
        pagesToVisit = pagesToVisit[:]
        :
            (numberVisited, , url)
            parser = LinkParser()
            data, links = parser.getLinks(url)
            pagesToVisit = pagesToVisit + links
            data.find(word)>-:
                foundWord = pagesToVisit = pagesToVisit + links
                ()
        :
            ()
    foundWord:
        (, word, , url)
    :
        ()
spider(,,)


python实现一个简单的爬虫搜索功能

原文:http://my.oschina.net/u/215677/blog/523343

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!