Puppeteer

Puppeteer是一款專業的 Node.js 庫，相當于一個可以用來操控Chrome的API，它可以用到的場景很多，如它具有強大的爬蟲功能，有點類似于PhantomJS，用來在網站抓取內容非常不錯，有需要的朋友歡迎使用。

Puppeteer核心功能：

利用網頁生成PDF、圖片

爬取SPA應用，并生成預渲染內容（即“SSR” 服務端渲染）

可以從網站抓取內容

自動化表單提交、UI測試、鍵盤輸入等

幫你創建一個最新的自動化測試環境（chrome），可以直接在此運行測試用例

捕獲站點的時間線，以便追蹤你的網站，幫助分析網站性能問題

Puppeteer 0.13改變如下：

Chroium 64.0.3264.0 (r515411)

browser.pages 可用于訪問 Chromium 中的所有頁面，包括由 window.open 創建的頁面。 (32398d1)

browser.close 可用于關閉 Chromium (2b79514)

Puppeteer爬蟲教學：

使用puppeteer.launch()運行puppeteer，他會return一個promise，使用then方法獲取browser實例，Browser API猛擊這里

拿到browser實例后，通過browser.newPage()方法，可以得到一個page實例， 猛戳 Page API

使用page.goto()方法，跳轉至ES6標準入門

在page.evaluate()方法中注冊回調函數，并分析dom結構，從下圖可以進行詳細分析，并通過

document.querySelectorAll('ol li a')拿到文章的所有鏈接

拿到所有鏈接之后，依次爬取各個頁面（也可以promise all同時抓取多個頁面），使用page.pdf()方法打印當前頁面

核心代碼如下：

puppeteer.launch().then(async browser => {

let page = await browser.newPage();

await page.goto('http://es6.ruanyifeng.com/#README');

await timeout(2000);

let aTags = await page.evaluate(() => {

  let as = [...document.querySelectorAll('ol li a')];

  return as.map((a) =>{

  return {

    href: a.href.trim(),

    name: a.text

  }

  });

});

await page.pdf({path: `./es6-pdf/${aTags[0].name}.pdf`});

page.close()

// 這里也可以使用promise all，但cpu可能吃緊，謹慎操作

for (var i = 1; i < aTags.length; i++) {

  page = await browser.newPage()

  var a = aTags[i];

  await page.goto(a.href);

  await timeout(2000);

  await page.pdf({path: `./es6-pdf/${a.name}.pdf`});

  page.close();

}

browser.close();

});