爬虫系列之链家的信息爬取及数据分析

  1 # -*- coding: utf-8 -*-
  2 # @Time :2018/5/1   23:39
  3 # @Author : ELEVEN
  4 # @File : _链家_数据分析_修改.py
  5 # @Software: PyCharm
  6 
  7 import time
  8 from lxml import etree
  9 from urllib import request
 10 import threading
 11 import os
 12 import json
 13 import random
 14 
 15 ‘‘‘
 16 已经实现
 17 1.房屋数据爬取并下载
 18 2.房屋按区域分析
 19 3.房屋按经纪人分析
 20 4.前十经纪人
 21 5.经纪人最有可能的位置分析
 22 6.实现以地区划分房屋
 23 目前存在的问题:
 24 1.多线程下载的时候会出现个别文件不继续写入了（已经解决）
 25 2.未考虑经纪人重名问题
 26 3.查询中发现不是每次都能 get 到 url 的数据，具体原因可能跟header有关，或者网站反扒（已经解决，手机端的header有时候访问pc端会出现None的情况）
 27 4.守护线程那里应该出问题了，如果有文件储存完成，其他就不运行了（已经解决，多线程下还要有主程序运行，否则会出现问题）
 28 5.json.dumps(dict)方法取出的字符串类型，二进制的，decode不好用，怎么解决
 29 （已经解决json.dumps(content, ensure_ascii=False)保持原有的编码）
 30 
 31 
 32 ‘‘‘
 33 # 获取能够 xpath 匹配的 HTML 匹配对象
 34 def get_html(url):
 35     time.sleep(1)
 36     header = {
 37         ‘Referer‘:‘https://bj.lianjia.com/zufang/‘,
 38         ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0‘
 39     }
 40     req = request.Request(url, headers = header)
 41     # 请求
 42     response = request.urlopen(req)
 43     result = response.read().decode()
 44     # 构建 HTML 匹配对象
 45     html = etree.HTML(result)
 46     return html
 47 # 主程序
 48 def main(p, url):
 49     # 加锁，写入本条数据后指针才会进行跳转
 50     lock = threading.Lock()
 51     # 获取 get_html() 函数返回的 HTML 匹配对象
 52     html = get_html(url)
 53     # 进行 xpath 初步匹配
 54     house_list = html.xpath(‘//ul[@id="house-lst"]/li/div[@class = "info-panel"]‘)
 55     threading_list = []
 56     # 遍历得到的匹配列表
 57     for index, house in enumerate(house_list):
 58         content, house_address, house_dict ,broker_name = get_info(p,index, house)
 59         print(‘正在保存第 %d 页 第 %s 条数据......‘ % (p, index+1))
 60         lock.acquire()
 61         # save_info(p, str(index+1) + ‘ ‘ + content + ‘\n‘)
 62         get_class_data(house_address, house_dict, broker_name)
 63         t2 = threading.Thread(target=save_info, args=(p, str(index+1) + ‘ ‘ + content + ‘\n‘))
 64         t3 = threading.Thread(target=get_class_data, args=(house_address, house_dict, broker_name))
 65         t2.setDaemon(True)  # 这个好像没有用，等老师帮助解答
 66         t2.start()
 67         t3.start()
 68         threading_list.append(t2)
 69         threading_list.append(t3)
 70         lock.release()
 71     for t in threading_list:
 72         t.join()
 73     # 这里必须的写， 这个错误得记住，必须要有主进程 ，所有线程才会都运行
 74     print(‘我是守护线程‘)
 75 # 获取分类数据，方便数据分析
 76 def get_class_data(house_address, house_dict, broker_name):
 77     # 按区域划分
 78     if house_address in address_class:
 79         address_class[house_address][‘num‘] += 1
 80         address_class[house_address][‘house‘].append(house_dict)
 81     else:
 82         address_class[house_address] =  {‘num‘: 0, ‘house‘: []}
 83         address_class[house_address][‘num‘] += 1
 84         address_class[house_address][‘house‘].append(house_dict)
 85     # 按经纪人划分
 86     if broker_name in broker_class:
 87         broker_class[broker_name][‘num‘] += 1
 88         broker_class[broker_name][‘house‘].append(house_dict)
 89     else:
 90         broker_class[broker_name] =  {‘num‘: 0, ‘house‘: []}
 91         broker_class[broker_name][‘num‘] += 1
 92         broker_class[broker_name][‘house‘].append(house_dict)
 93 # 获取房产信息
 94 def get_info(p,index, house):
 95     house_url = house.xpath(‘h2/a/@href‘)[0]
 96     house_html = get_html(house_url)
 97     broker_name = house_html.xpath(
 98         ‘//div[@class="brokerInfo"]/div[@class="brokerInfoText"]/div[@class="brokerName"]/a/text()‘)
 99     broker_phone = house_html.xpath(‘//div[@class="phone"]/text()‘)
100     if broker_name != []:
101         broker_name = broker_name[0]
102         broker_phone = str(broker_phone[0].strip()) + ‘转‘ + str(broker_phone[1].strip())
103     else:
104         broker_name = ‘暂无相关经纪人！‘
105         broker_phone = ‘请直接联系客服  10109666‘
106     house_name = house.xpath(‘h2/a/text()‘)[0]
107     house_style = house.xpath(‘div[@class="col-1"]/div[@class="where"]/span[@class="zone"]/span/text()‘)[0]
108     house_size = house.xpath(‘div[@class="col-1"]/div[@class="where"]/span[@class="meters"]/text()‘)[0].strip()
109     house_address = house.xpath(‘div[@class="col-1"]/div[@class="other"]/div[@class="con"]/a/text()‘)[0]
110     house_price = house.xpath(‘div[@class="col-3"]/div[@class="price"]/span/text()‘)[0]
111     house_dict = {
112         ‘house_name‘: house_name,
113         ‘style‘: house_style.strip(),
114         ‘size‘: house_size,
115         ‘address‘: house_address,
116         ‘price‘: house_price,
117         ‘broker_name‘: broker_name,
118         ‘broker_phone‘: broker_phone
119     }
120     content = "名字：%(house_name)s 样式：%(style)s  大小：%(size)s  地址：%(address)s  " 121               "价格：%(price)s 经纪人：%(broker_name)s 联系电话：%(broker_phone)s " % house_dict
122     # 构建字典类型 {‘house_name’:{‘num‘:13, ‘house‘:[house_dict]}}
123     print(p, index+1, content)
124     return content,house_address,house_dict,broker_name
125 # 保存文件
126 def save_info(p, content):
127     with open(‘%s/%s.txt‘ % (‘链家房产信息‘, str(p)), ‘a‘, encoding=‘utf-8‘) as f:
128         f.write(content)
129 # 随机消息头, 这里修改后再用，应该是出问题了
130 # def random_agent():
131 #     header_str = ‘‘‘Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50#Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50#Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)#Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1#Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1#Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11#Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)#Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)#Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)#Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)#Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5#Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5#MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1
132 #     ‘‘‘
133 #     header = header_str.split(‘#‘)
134 #     return header[random.randint(1, len(header)) - 1]
135 # 数据分析
136 def analyze_data():
137     # 查询信息内房屋总套数
138     address_sum = 0
139     # 区域
140     for key, value in address_class.items():
141         print(key, ‘一共‘, value[‘num‘], ‘套‘)
142         save_info(‘房屋分类‘, key+ ‘一共‘+ json.dumps(value[‘num‘])+ ‘套‘+‘\n‘)
143         # with open(‘%s/%s.txt‘ % (‘链家房产信息‘, ‘房屋分类‘), ‘a‘, encoding=‘utf-8‘) as f:
144         #     f.write(key+ ‘一共‘+ value[‘num‘]+ ‘套‘)
145         # 每遍历到一个区域 房屋总数量变量address_sum 就将这个区域的房屋数量加上
146         address_sum += int(value[‘num‘])
147         # 遍历每个区域房屋信息
148         for item in value[‘house‘]:
149             print(item)
150             save_info(‘房屋分类‘, json.dumps(item)+‘\n‘)
151             # with open(‘%s/%s.txt‘ % (‘链家房产信息‘, ‘房屋分类‘), ‘a‘, encoding=‘utf-8‘) as f:
152             #     f.write(item)
153         print(‘----------------------------------‘)
154     print(‘当前查询房屋一共‘, address_sum, ‘套‘)
155     save_info(‘房屋分类‘, ‘当前查询房屋一共‘+ str(address_sum)+ ‘套‘)
156     # 创建字典：键为 经纪人 值为 经纪人所拥有房屋数量 num
157     broker_dict = {}
158     for key, value in broker_class.items():
159         # 打印 经纪人 和 其所拥有的房屋数量
160         print(key, ‘一共‘, value[‘num‘], ‘套‘)
161         save_info(‘经纪人分类‘, key+ ‘一共‘+ json.dumps(value[‘num‘])+ ‘套‘+‘\n‘)
162         # 将经纪人 和 房屋数量信息添加到 字典中
163         broker_dict[key] = value[‘num‘]
164         # 分别打印该 经纪人 下面每套房屋的信息
165         for item in value[‘house‘]:
166             print(item)
167             save_info(‘经纪人分类‘, json.dumps(item) + ‘\n‘)
168         print(‘----------------------------------‘)
169     # 如果存在 ‘暂无相关经纪人！‘这种情况，那么统计的联系人数量需要减一
170     if ‘暂无相关经纪人！‘ in list(broker_class.keys()):
171         # broker_sum 为经纪人 数量总数
172         broker_sum = int(len(broker_class)) - 1
173         print(broker_sum)
174         # broker_house 为 经纪人 拥有房屋总套数
175         broker_house = address_sum - int(broker_class[‘暂无相关经纪人！‘][‘num‘])
176         del broker_dict[‘暂无相关经纪人！‘]
177     else:
178         broker_sum = len(broker_class)
179         broker_house = address_sum
180     print(broker_dict)
181     # 整理出不含有 ‘暂无相关经纪人！‘ 的字典，方便下面进行数据分析
182     # if broker_dict[‘暂无相关经纪人！‘]:
183     #     del broker_dict[‘暂无相关经纪人！‘]
184 
185     print(‘当前查询经纪人共有‘, broker_sum, ‘人‘)
186     print(‘当前查询有经纪人的房屋‘, broker_house, ‘套‘)
187     # 存储前十名的列表
188     max_list = []
189     print(‘排序得到前十的经纪人‘)
190     for i in range(10):
191         # 取出手里拥有房子最多的经纪人
192         max_num = max(zip(broker_dict.values(), broker_dict.keys()))
193         # 将房子最多的联系人添加到前十的列表中
194         max_list.append(max_num)
195         # 打印，第几名，是谁
196         print(‘第 %d 名‘ % (i + 1), max_num)
197         save_info(‘排名‘, ‘第 %d 名‘ % (i + 1)+‘姓名： ‘+ max_num[1]+‘   ‘+str(max_num[0])+‘套‘+‘\n‘)
198         # 已经被取出的经纪人，从列表中删除掉，以免影响下一次筛选
199         del broker_dict[max_num[1]]
200         # 创建存储经纪人位置的字典，
201         broker_postion = {}
202         # 对经纪人手中的房子按照区域划分，并且存入字典中，统计各区域拥有房屋数量
203         # 房屋最多的区域就是 经纪人最有可能在的位置
204         for dict in broker_class[max_num[1]][‘house‘]:
205             # 如果此区域存在字典中，那么相应的区域数量 num + 1
206             # 如果不存在，那么将这个区域添加到字典中，数量 num + 1
207             if dict[‘address‘] in broker_postion:
208                 broker_postion[dict[‘address‘]][‘num‘] += 1
209             else:
210                 broker_postion[dict[‘address‘]] = {‘num‘: 0}
211                 broker_postion[dict[‘address‘]][‘num‘] += 1
212         # 取出经纪人按找区域分类的字典中 ，数量num最大的那个区域元组
213         postion = max(zip(broker_postion.values(), broker_postion.keys()))
214         print(‘最可能在的位置‘, postion[1])
215         save_info(‘排名‘, ‘最可能在的位置‘+ postion[1]+‘\n‘)
216         # 此经纪人数据分析已经结束，字典清空释放掉，方便下次其他经纪人使用
217         broker_postion.clear()
218     # print(‘排序得到前十的经纪人‘)
219     # print(max_list)
220 
221 
222 if __name__ == "__main__":
223     # 以地址划分， 创建以 address 为键字典
224     address_class = {}
225     # 以经纪人划分， 创建以 broker 为键字典
226     broker_class = {}
227     # 加锁
228     lock = threading.Lock()
229     # 运行初始提示
230     print(‘   -------------可供选择的区域--------------\n东城 西城 朝阳 海淀 丰台 石景山 通州 昌平 大兴 顺义\n亦庄开发区 房山 门头沟 平谷 怀柔 密云 延庆 燕郊 香河‘)
231     option = input(‘请输入相应区域的拼音，默认视为选择全部：‘)
232     page = int(input(‘请输入要获取的页数：‘))
233     # 创建文件夹
234     if not os.path.exists(‘链家房产信息‘):
235         os.mkdir(‘链家房产信息‘)
236     # 多线程列表
237     thread_list = []
238     for p in range(1, page+1):
239         if p == 1:
240             url = ‘https://bj.lianjia.com/zufang/%s/‘ % option
241         else:
242             url = ‘https://bj.lianjia.com/zufang/%s/pg%d/‘ % (option, p)
243         print(‘----------开始打印第 %d 页信息----------‘ % p)
244         lock.acquire()
245         t1 = threading.Thread(target=main, args=(p,url))
246         # 设置守护线程
247         t1.setDaemon(True)
248         t1.start()
249         thread_list.append(t1)
250         lock.release()
251         print(‘----------打印第 %d 页信息结束----------‘ % p)
252     for t1 in thread_list:
253         t1.join()
254     # 执行数据分析
255     analyze_data()