設計防止爬蟲的網站
設計防止網路爬蟲的網站
2024-10-18 403: You are not authorized to access this material · Or using lots of little tools to aggressively reject the bots · (lambda (x) (create x))
403 Forbidden
@kaya_n_web: AI禁止を掲げるクリエイター向けの
イラスト投稿サイト「iRaFore」を
現在開発中です。
・右クリック禁止
・開発者ツール検知
・JavaScript無効検知
・アドブロック検知
・キーボード入力監視
・非アクティブ監視
全部は書ききれていませんが
他に必要だと思う機能はありますか?
@Fushihara: devtool禁止ではないけど、内部的に{debugger;}を毎秒実行しまくってdevtoolが実質的に使えない状態にしてるサイトは見たことある。
もちろんbreakpointを無効化すれば使えるけど、ソースコードのデバッグ機能が実質使えなくなるので結構痛い。
kujakujira.icon
力技すぎん???
零寬字元?
2023-05-14 異次元のスクレイピング対策
2018-11-03 スクレイピング対策の対策についての所感 #スクレイピング - Qiita
2025-09-24 スクレイピング・自動化対策について
常見案例
自動點擊
使用內部API
對策
1. 限制API使用量
Token Packet
使用者每隔一段時間就要更新令牌,耗盡後會進行限制
Twitch
Leaky Bucket
有空閒時才接受請求
Shopify
Fixed Window Counter
每秒內限制N次
當存取集中在切換時間點時,可能會造成兩倍的存取量
Sliding Window
基於過去一定範圍,檢測最新請求是否超越閥值
Sliding Window Log
Rate Limiter — Sliding Window Log | by yongjoon | Medium
Sliding Window Counter
Rate Limiter — Sliding Window Counter | by yongjoon | Medium
2. CAPTCHA
reCAPTCHA、hCaptcha、Cloudflare Turnstile
3. 裝置指紋
4. 混淆程式碼
X.com的X-Client-Transaction-Id
5. 區域限制
6. 限制帳號層級
搭配電話驗證或二階段驗證
7. 其他
例如藏進只有bot看得到的表單
2025-02-24 AIによるスパイクアクセスを受けたので、 robots.txtの調整などAIと排除しない対策を試みてみた | DevelopersIO
robots.txt
llms.txt
2025-02-25 急増するAIクローラー対策として「llms.txt」を導入してみた | DevelopersIO
2024-07-03 Declare your AIndependence: block AI bots, scrapers and crawlers with a single click
宣佈推出 AIndependence:一鍵封鎖 AI 機器人、剽竊者和網路爬蟲
2025-03-24 CloudflareがAIクローラーを無限生成迷路に閉じ込める「AI Labyrinth」を発表 - GIGAZINE
2025-03-20 FOSS infrastructure is under attack by AI companies
Anubis
Anubis: self hostable scraper defense software | Anubis
How Anubis works | Anubis
const hash = await sha256(${challenge}${nonce});
一部のウェブサイトで一瞬だけ表示される「ケモ耳少女のイラスト」は一体何者なのか? - GIGAZINE
you don't need anubis • fxgn
2025-11-13 Messing with bots | Herman's blog
AI干擾