2025-03-23
履修
シラバスのスクレイピングが難航していたらその最中に有志によるスクレイピングを行って整形したサイトの更新があった 萎えた
一応スクリプトは作れたし来学期は最速で情報を整理できるぜ
更新が無ければ
Clineに頼むとブラウザを使ってスクリーンショットから読み取っていた スクリーンショットが絡むとトークン数が一気に増えて少ししか動かしていないのに2$もかかった
結局そのシラバスのhtmlファイルと以前のスクリプトと出力（JSON）を渡して作らせるのが一番早かった
CSSセレクタで上手く取得するの難しい
スクレイピングではアクセス負荷への対策とエラーハンドリングが大事ということを学んだ
厳しいっすねー