GPT-4の性能低下
https://arxiv.org/abs/2307.09009
How is ChatGPT's behavior changing over time?
@2023/7頃
https://twitter.com/emollick/status/1681482007140761601
https://gyazo.com/cc52ea0fb621a0771617af085d390652
GPT-3.5の性能はタスクによって上がったり下がったり
GPT-4の性能が全体的に下がっている
特に数学系の問題を解くタスクがとてつもなく下手になった
正答率97%→7%
どうして低下したのかはわからない
https://gyazo.com/647f09181075d0d70f486d4b69628f24
逆に上がっている2024/4/14
#GPT-4