Webスクレイピングをする勘所
ショートカットを使用したWebスクレイピング方法
2パターンある
1. URLを渡してアクション内でGETアクセスした内容で実行
自動化処理の構築としてはURLを渡して実行できた方が他の処理と繋げやすくなる
欠点としては表示内容のデバッグがしづらい
認証が必要なサイトは出来ないかも?
公式のギャラリーではこちらのタイプばかり
「ソースを表示」のショートカットの内容がこちら
https://scrapbox.io/files/63b12066481e9f001d0bc510.png
2. Safariで開いているページでJavaScriptを使用してHTMLを取り出す
今表示されている内容を取得するのでデバッグしやすい
JSでレンダリングするようなサイトはこっちが良いかも
Instagramの投稿ページは1の方法だとレンダリング途中で終了するので2じゃないと処理できない
欠点としてはSafariであらかじめ開かないといけない
JavaScriptコードを書かないといけない
公式では無い方法な気がする
サンプル
https://scrapbox.io/files/63b11fa396b123001e9b537d.png