How is ChatGPT's Behavior CHanging over Time?
DeepL.iconGPT-4.icon このドキュメントは、GPT-3.5とGPT-4が特定の問題に対するPythonコードを生成する際のパフォーマンスに関する研究のようです。この問題は、ある数値が "魅力的 "かどうかをチェックする関数を作るというものです。例えば、n, 2n, 3nのように、数を2倍、3倍と連結した後、結果の文字列が1から9までのすべての桁をちょうど1回含む場合、その数は魅力的であるとみなされます。
この研究では、2023年3月と2023年6月にGPT-3.5とGPT-4の性能を比較している。その結果、直接実行可能なコード世代の割合が、この期間に両モデルで大幅に低下したことがわかった。GPT-4では、その割合は3月の52.0％から6月には10.0％に低下した。GPT-3.5では22.0％から2.0％に低下した。また、世代内の文字数で測定されるモデルの冗長性は20％増加した。
この研究では、直接実行可能な世代が減少した理由の1つとして、6月版のモデルが一貫して世代にコード以外の余分なテキストを追加していることが考えられると指摘している。例えば、GPT-4の6月バージョンは、コード・スニペットの前後に余分な三重引用符を追加し、コードを実行不可能にした。また、6月バージョンはさらにいくつかのコメントを生成した。
これはドキュメントの5ページの内容に基づいた要約であることにご注意ください。具体的な質問や、文書の他の部分からの情報が必要な場合は、遠慮なくお尋ねください！
GPT-4.icon The document seems to be a study on the performance of GPT-3.5 and GPT-4 in generating Python code for a specific problem. The problem involves creating a function that checks if a number is "fascinating". A number is considered fascinating if, after concatenating the number with its double and triple (e.g., n, 2n, 3n), the resulting string contains all digits from 1 to 9 exactly once.
The study compares the performance of GPT-3.5 and GPT-4 in March 2023 and June 2023. It found that the percentage of code generations that were directly executable dropped significantly for both models over this period. For GPT-4, the percentage dropped from 52.0% in March to 10.0% in June. For GPT-3.5, it dropped from 22.0% to 2.0%. The study also found that the verbosity of the models, measured by the number of characters in the generations, increased by 20%.
The study suggests that one possible reason for the decline in directly executable generations is that the June versions of the models consistently added extra non-code text to their generations. For example, the June version of GPT-4 added extra triple quotes before and after the code snippet, which made the code not executable. The June version also generated a few more comments.
Please note that this is a summary based on the content from page 5 of the document. If you have any specific questions or need information from other parts of the document, feel free to ask!