爬虫 puppeteer

github

安装

npm i puppeteer --registry=https://registry.npm.taobao.org
// 如果安装出错 则可能是因为默认下载了安装包，禁止掉就好了，自己下载会比较快
// win 设置环境变量
set PUPPETEER_SKIP_CHROMIUM_DOWNLOAD=true
// 下载地址
const downloadURLs = {
    linux: ‘https://storage.googleapis.com/chromium-browser-snapshots/Linux_x64/%d/chrome-linux.zip‘,
    mac: ‘https://storage.googleapis.com/chromium-browser-snapshots/Mac/%d/chrome-mac.zip‘,
    win32: ‘https://storage.googleapis.com/chromium-browser-snapshots/Win/%d/chrome-win32.zip‘,
    win64: ‘https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/%d/chrome-win32.zip‘
}
// https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/588429/chrome-win32.zip

常用操作

• 输入字符

await page.type("#name", "iFan")

• 点击节点

await page.click(‘#btn-submit‘);

• 获取属性

const searchValue = await page.$eval(‘#search‘, el => el.value);
const preloadHref = await page.$eval(‘link[rel=preload]‘, el => el.href);
const text = await page.$eval(‘.text‘, el => el.textContent);
const html = await page.$eval(‘.main-container‘, e => e.outerHTML);
const text = await page.$eval(‘.main-container‘, el => el.innerText);
// page.$(selector) 与我们常用的 document.querySelector(selector) 一致，返回的是一个 ElementHandle 元素句柄
// page.$$(selector) 与我们常用的 document.querySelectorAll(selector) 一致，返回的是一个数组

• 获取属性集合

const textArray = await page.$$eval(‘.text‘, els => Array.from(els).map(el=> el.textContent));

• 等待页面加载完成

await page.waitForNavigation({ waitUntil: "networkidle" })

• 获取cookie，转为string格式

const cookies = await page.cookies()
const cookiesStr = cookies.map(cookie => `${cookie.name}=${cookie.value}`).join(";");

• 等待一哈

page.waitFor(1000)

• 滑动到页面底端

async function autoScroll(page){
    await page.evaluate(async () => {
        await new Promise((resolve, reject) => {
            var totalHeight = 0;
            var distance = 100;
            var timer = setInterval(() => {
                var scrollHeight = document.body.scrollHeight;
                window.scrollBy(0, distance);
                totalHeight += distance;

                if(totalHeight >= scrollHeight){
                    clearInterval(timer);
                    resolve();
                }
            }, 100);
        });
    });
}

常用参数

Page

Page 是 Puppeteer 中最重要的一个 API，也是它的核心所在，这里会介绍一些常用的 Page API。

设置页面环境

模拟动作

一般会先滚动视窗到相应元素那，再执行动作。

等待

执行脚本

页面跳转

获取内容

事件

命名空间

通过一些命名空间可以快速访问到该页面下的其他实例。

爬虫 puppeteer

原文：https://www.cnblogs.com/iFanLiwei/p/12824796.html