python初体验之小小爬虫

 1 # -*- coding: utf-8 -*-
 2 
 3 import urllib2 
 4 import string
 5 from bs4 import BeautifulSoup
 6 import re
 7 import sys;
 8 reload(sys);
 9 sys.setdefaultencoding(‘utf8‘);
10 
11 #--------定义函数news2，参数query为查询字符串，用于返回搜索结果------
12 def bd_news(query):
13         title = ‘‘
14         for i in range(0, 3):  #用for进行循环控制，要获取前三页信息，结合url特点，则对象集合为range(0,3)
15                 #根据分析出的百度新闻搜索结果的url特点，构造请求url
16                 url=‘http://news.baidu.com/ns?word=‘+query+‘&pn=‘ + str(i * 20)+‘&cl=2&ct=1&tn=news&rn=20&ie=utf-8&bt=0&et=0&rsv_page=1‘
17 
18                 #f=open(‘123.html‘,‘a‘)#该语句跟下面的f.write/f.close语句加起来，可以将搜索出的页面保存在123.html文件中
19                 #建立连接请求，并将服务器返回的页面信息赋值给response,再对response调用read方法，返回html页面
20                 response = urllib2.urlopen( url )
21                 doc = response.read()
22                 #f.write(doc)
23                 #f.close()
24 
25                 #对doc进行BeautifulSoup处理，生成一个soup对象
26                 soup = BeautifulSoup(doc)
27                 
28                 #搜索soup对象中所有含h3标签且属性calss="c-title"的标签,并将其返回给paper_names
29                 paper_names = soup.html.body.find_all(‘h3‘, {‘class‘ : ‘c-title‘})
30                 #将正则表达式编译成Pattern对象实例pat1，其中，href前面的r表示是“原始字符串”
31                 pat1 = re.compile(r‘href="([^"]*)"‘)
32                 for paper_name in paper_names:
33                         title += paper_name.text
34                         #将paper_name转换成字符串，并在其中搜索pat1所表示的正则表达式.当返回MatchOdject对象实例时，表示搜索成功
35                         h = pat1.search(str(paper_name))
36                         #用group()方法处理h返回的MatchOdject对象，1表示返回该参数所对应的的字符串
37                         href = h.group(1)
38                         title += ‘\n‘+href
39                         title += ‘\n‘
40 
41         print title
42         # 打开文件123.txt，参数a表示往里面添加
43         f = open(‘123.txt‘,‘w+‘)
44         # 对象file的write方法将字符串title写入file中
45         f.write(title)
46         # 关闭文件
47         f.close()
48 
49 
50 #--------------begin------------------------
51 
52 print u"""#-------------------------------------------------
53 #   程序：百度新闻爬虫
54 #   作者：xiaoyueyue
55 #   日期：2014/05/05
56 #   语言：Python 2.7
57 #   实现功能：抓取百度新闻搜索结果前三页的新闻标题+url,并保存为文本文件存储在本地
58 #-------------------------------------------------
59 """
60         
61 print u‘请输入搜索字符串(如：pyhton)：‘
62 inquery = str(raw_input(u‘ ‘))
63 
64 #-------------函数调用---------------------
65 
66 bd_news(inquery)