激安オープンモデルとGPTを比べたい

タイプAのサンプル

タイプBのサンプル

一方は従来のgpt-4 + gpt-3.5、もう一方はqwen1.5 + llama 3

どっちがどのモデルかは明日まで伏せておく

投票

タイプBの方が良い

違いを感じなかった

違いを感じたが、どっちがいいのか判断に困った

感想

くもりガラスにしたのは後の人の先入観に影響を与えたくなかったからでした

原文の「こういうのを場当たり的に対処していって暗黙のルールが増える」の、要約レベル3の箇所

同じく要約レベル3の下から七段目のセクション、「ページ間のリンクを～」のあとに中国語

Aは句点で区切られた前後の関連が比較的強く、Bはそれが弱いと感じる、そのため理解が難しく感じる

Aの方がフォントが読みやすかったのと、一文一文が短くて読みやすかった

nishio.icon

(違いを感じたが、どっちがいいのか判断に困った) Bがまどろっこしいなと感じた、Aが簡潔。しかし同量の分量でAが簡潔に感じるということはそれだけ情報を捨てているということだからどちらがいいのかは自明ではないなと思った。要約がそもそも情報を捨てることなので、捨て方に関してAIと自分の気が合うかというとても主観的な感覚。選択肢が与えられると「どっちがいいかな、どっちともいいづらいな」と感じるが、どちらかしか提供されなかったらそういうもんだと思って使う気がするので安い方にしたらいいんじゃないかな

ああ〜、推荐=推薦, 直后=直後, 简单的=簡単, 同じ意味の日本語と中国語の使い分けに失敗してるのか、こっちが小さいモデルだな。僕もぱっと見では気づかなかったけど、読もうとしたら気づいてイラッとしただろうな、「タイプAの方が良い」に変更した

現実的な用途で比較実験の被験者を体験できて、とても勉強になった。自分の今後の企業内研究者としての身の振り方にも影響しそうな話。

オープンモデルが十分な精度に到達する速度が思ったより速いかと思ったが、現実的には日本語というマイノリティ言語を中国語というマジョリティ言語と区別して使うことに困難があると感じた。

こういうところはLLMが進化してどうでもよくなるところなので僕がどうこうしたくないが、ユーザテストをしたらみて欲しいUIとか将来のユースケースとかではなく「中国語が混ざってて意味がわからない」というクレームの処理に追われることになるだろうな。

そのクレームに対処する方法、良いモデルを使うくらいしかないので不毛。。

もうバレバレだと思うが一応書いておくと、AがGPTでBがオープンモデル

英語でオープンモデルを使った時は上で指摘されているような問題は起きていない

日本語版はどうしよう

こういうQwen1.5の日本語ファインチューン版を使うと良いのかな

これをデプロイするのは金がかかりそう

とりあえずオープンモデルにやらせて、問題があったらgpt-4-turboに尻拭いをさせる実装が良いかな

「中国語が混じっている」とかは簡単に検知できるので

GPT-4o-miniとか結構低コストらしい