Puppeteer を使ってウェブスクレイピングしてみた
Puppeteer を使って初めてウェブスクレイピングしたことをメモします。 【目次】 ［１］はじめに ［２］感想など （１）Puppeteer に関する感想 （２）ウェブスクレイピングにおける留意点など ［３］Puppeteer の使い方など （１）参考にしたサイト （２）インストール （３）コードの骨格 （４）ページ操作のメソッドなど （５）画像のダウンロードなど （６）非ヘッドレスでの実行 （７）その他 ［１］はじめに ある事がきっかけでウェブスクレイピングをやる機会がありました。 ウェブスクレイピング （Wikipedia） 私にとっては初めての経験だったのですが、面白かったので（ほぼ自分用ですが）メモしておくことにしました。 さて、ウェブスクレイピングにもいろいろなやり方があるようですが、まとまった量のデータを目的とするデータの形式で収集しようとすると、プログラムを作るのが手っ取り早いです。 また、対象がとてもシンプルなウェブページであれば、HTTP GET のレスポンスをライブラリを使って解析するのが効率的だと思いますが、JavaScriptが動作に関係する（例えば、ボタンをクリックして動作する）ようなサイトは、欲しいページ情報を得るまでが少々面倒だったりします。 そのような場合は、実際のブラウザを使って人が行う操作を自動化するのが手っ取り早いように思います。 そこで、今回は Puppeteer というツール（ライブラリ）を利用することにしました。 Puppeteer https://pptr.dev/ Puppeteer（Github） https://github.com/puppeteer/puppeteer 上記 Puppeteer のページには以下のように書かれています（Google翻訳による）。 Puppeteer は、DevTools プロトコルを介して Chrome/Chromium を制御するための高レベル API を提供する Node.js ライブラリです。 Puppeteer はデフォルトでヘッドレス モードで実行されますが、完全な (非ヘッドレス) Chrome/Chromium で実行するように構成できます。 また、FAQによると、Chrome DevTools チームがライ