これから scrapy, selenium, headless chrome を動かす middlewareのあたりがまだわかってないかも。。。
手順
参考になる
firefoxだけど、説明が親切 seleniumとscrapyの組み合わせの話
scrapyの middlewareを実装して、登録する話。
chrome + selenium
これで作ったインスタンス(driver)を、scrapyのmiddlewareの実装で使えばできそう??? 日本語のfontをいれとかないと。 >> sudo apt-get install fonts-ipafont-gothic
あとは、コード書くだけだけど、2~3時間のまとまった時間があるとき #someday 方針変更
splashで clickもいけそうなので、splashでやるのがよさそう
local button = splash:select('button'
headless chromeでもそれなりのspeedがでると思うが、、 (おそらく) splashのが処理が早そう。。正しく?js動かすのは、chromeだろうけど。
button:mouse_click()
参考:
説明がはいっていて、単にコピペするより、納得感がある。
ケンタッキーの店舗の取得。