首页 > 其他 > 详细

爬虫实践二--豆瓣top250电影

时间:2019-01-27 19:49:26      阅读:163      评论:0      收藏:0      [点我收藏+]
import requests

def get_movies():
    headers={
    ‘user-agent‘: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36‘,
    ‘Host‘: ‘movie.douban.com‘
    }
    for i in range(0,10):
        link = ‘https://movie.douban.com/top250?start=‘ + str(i * 25)
        r = requests.get(link, headers=headers, timeout= 10)
        print (str(i+1),"页响应状态码:", r.status_code)
        print (r.text)
        
get_movies()

技术分享图片

 

 

import requests
from bs4 import BeautifulSoup

def get_movies():
    headers={
        user-agent:Mozilla/5.0 (Windows NT 6.1;Win64;x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36,
    Host: movie.douban.com
    }
    movie_list = []
    for i in range(0,10):
        link=https://movie.douban.com/top250?start=+str(i*25)
        r=requests.get(link,headers=headers,timeout=10)
        print(str(i+1),"页响应状态码:",r.status_code)
        
        soup=BeautifulSoup(r.text,"lxml")
        div_list=soup.find_all(div,class_=hd)
        for each in div_list:
            movie=each.a.span.text.strip()
            movie_list.append(movie)
    return movie_list
movies=get_movies()
print(movies)

 技术分享图片

照着书打了一遍。不熟悉没印象,明天继续。

 

爬虫实践二--豆瓣top250电影

原文:https://www.cnblogs.com/xx123/p/10327679.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!