scrapbox.io/robots.txt
scrapbox.ioのrobots.txtはすべてを許可している
https://scrapbox.io/robots.txt
やさしいtakker.icon
web scraping し放題だ！
crawlerじゃなくてユーザーがscrapingするのもだめなのかなyosider.icon
code:robots.txt
User-agent: *
Allow: /
scrapboxはリンクがたくさんあってクロールするの大変そう（しらんけど）