LLMで司法試験を解く
https://youtu.be/HgZRVkx-blU?si=8BCUIaKbEN2mEUme
2023年6月11日生成AIが司法試験「合格水準」 東大発スタートアップ、一部科目で 「GPT-4」ベースに独自開発 - 日本経済新聞
「GPT-4」をベースに独自開発した対話型AI(人工知能)を使い、日本の司法試験の一部科目で合格水準の正答率を達成した。会社法に関連する過去の問題に7割超で正解した
株式会社Legalscape | リーガルスケープ
アメリカの司法試験ではすでに余裕の合格
『実験! ChatGPTは司法試験に合格できるか』 - 弁護士ドットコムタイムズ
日本の場合 GPT-4は
結果は37問中15問正解で正答率40.5%。
日本の司法試験は判例をベースに選択肢の正誤を検討させる問題が多く、むしろAIにとっては有利とみられる。それでも合格点に及ばないのは、米国等諸外国に比べて裁判のIT化に遅れをとり、判例データの公開が進んでいないことにも原因がありそうだ。
2024.02.27 生成AIが弁理士試験に挑戦、「不合格」ながら見えてきた活用法 | 日経クロステック(xTECH)
弁理士は短答落ちてる
知財管理技能検定は3級までは合格。実務の問題ができない。
しかし実務の問題ができないのは単にそういうデータセットがないからでは基素.icon