一，环境的搭建已经简单的工具介绍
1.selenium,一个用于Web应用程序测试的工具。其特点是直接运行在浏览器中，就像真正的用户在操作一样。新版本selenium2集成了 Selenium 1.0 以及 WebDriver；
2.webDriver作用如下：执行代码通过给Webdriver发送指令，让Webdriver知道想要做的操作，Webdriver再根据这些操作在浏览器界面上进行控制，例如查找页面元素、发送文本、实现事件点击等等；
3.pyquery作用如下：此处用到的pyquery主要是一个对html代码数据进行提取的库，可以用来替代beautifulsoup和正则表达式对h5的提取。
如何导入所需要的库：
大部分教程中对于库的导入都是使用的pip install指令，但是当安装了多个python版本或者自己不知道自己python路径的时候，在python中可能无法调用下载的python库，此处直接使用pycharm进行 导入，示例如下：
点击file->setting
点击python interpreter右上角的加号，
在界面中搜索想要的库，点击intsall package，便可以导入了。
二.使用selenium模拟浏览器访问京东页面。
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from webdriver_manager.chrome import ChromeDriverManager
from pyquery import PyQuery as pq
browser = webdriver.Chrome(ChromeDriverManager().install()) #打开Chrome 浏览器
wait = WebDriverWait(browser,10)
try:
browser.get(‘https://www.jd.com‘)
input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,"#key"))) #对输入框进行指定
sbmit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,‘#search > div > div.form > button‘))) #使用submit表示按钮
input.send_keys(‘内容‘) #输入内容
sbmit.click() #点击按钮
total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,‘#J_bottomPage > span.p-skip > em:nth-child(1) > b‘)))
get_product()
return total.text
except TimeoutException:
search()说明
上方实现功能为打开京东并在搜索框中输入内容框所指示的部分然后进行搜索，如果代码有报错无法打开chrome，是因为没有使用webdriver_manager库，添加该库，其作用是自动联网下载chromedriver是的webdriver.chrome可以运行。
三. 模拟连续翻页，方便进行搜索
函数代码如下：
def next_page(page_number):
try:
input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,‘#J_bottomPage > span.p-skip > input‘)))
submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,‘#J_bottomPage > span.p-skip > a‘)))
input.clear()
input.send_keys(page_number)
submit.click()
wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,‘#J_bottomPage > span.p-num > a.curr‘),str(page_number)))
get_product()
except TimeoutException:
next_page(page_number)
函数的功能为模拟在输入框中输入页码page_number，然后使用sunbmit.click语句吗，模拟点击翻页。
四.对数据进行抓取，并进行解析。
函数代码如下：
def get_product():
# wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,‘#J_goodsList .gl-warp .gl-item‘))) #检测图片是否加载完成
html = browser.page_source #获取网页源代码
doc = pq(html)
items = doc(‘#J_goodsList .gl-warp .gl-item‘).items() #获取所有的选择内容
for item in items:
product = {
‘image‘: item.find(‘.p-img img‘).attr(‘src‘), #通过获取src属性来获取图片
‘price‘: item.find(‘.p-price‘).text(), #获取文字内容
‘name‘: item.find(‘.p-name‘).text(), #获取物品标题
‘shop‘: item.find(‘.p-shop‘).text() #获取商铺信息
}
print(product)
此处使用到的库为pyquery，通过selenium库对网页源代码进行获取，然后通过pyquery的find语句查找相应的元素装载到product中，最后进行打印。
网络爬虫：利用selenium，pyquery库抓取并处理京东上的图片并存储到使用mongdb数据库进行存储
原文：https://www.cnblogs.com/barbar94009/p/13583625.html