✅HTMLの変更に気づく仕組み

課題

Amazonやbookwalkerなどの対応サイトが増えてきた

HTMLの変更に気づけずに放置することがある

自動的に気づく方法を考えたい

解決策

スクレイピングに失敗したらissueを立てるcronを作成した

試しにBookwalkerをチェックするようにした

DMMなどの年齢チェックでアクセス拒否されるサイトはチェックできない問題がある

年齢認証ありはcookieで抜けられるがSPAなのでstaticなHTMLで要素チェックできない。ナイーブな方法ではダメ

実際のブラウザで確認したら大概OKだった

GitHubActionsのIPがアメリカなので海外版が出てしまってセレクターが機能したかったり、FANZAの海外版は挙動が日本版と異なることがあった

商品ページを見る前にログインを要求される。多分クレジットカード対策

日本のIPからアクセスする必要がある←今ここ 2025/9/15

Proton VPN経由でアクセスするようにした

限界

要素をすべてチェックしているわけではないので、一部だけ変わっていた場合には対応できない