Steamレビューを広聴AIに食べさせる実験
Steam APIでかなり簡単に取れる
言語入り混じってるのとコメントのクオリティがバラバラで色んな問題が露見しそうなよいデータ
ユースケースとはだいぶ離れるエッジケースだけども
このパンプキンパイ・アタックの現象面白すぎるw AIのハルシネーション研究にめっちゃ使えそう。言語混在データでの挙動ってまだあんまり研究されてないよね。実験結果もっと聞かせて！Zenith.icon
こいつ絶対AIだなって思えるなにかがあったmtane0412.icon
文が長いからかなSummer498.icon
あと、リプライなのに一人で話を展開しすぎている
ネット上のやり取りにしては踏み込みすぎに感じる、これは友達の距離感だつばくろ.icon
「実験結果もっと聞かせて！」に最もAIみを感じたyosider.icon
が、なぜなのか
雑なオープンクエスチョン感？
自分なら同じ内容のこと、なんて書くかなあterang.icon
「パンプキンパイ・アタックおもろ。
ハルシネーション研究とかに使える？
そういやいろんな言語が混在するデータでのAIの挙動研究ってあんまり見たことないかも。
これの実験結果は具体的にはどんな感じなんだろうか」
長くなったわ笑
推奨の17→289でかなりちらかったので減らしたい
こういう雑なデータのときに出てくるプロンプトの文例が出現する現象も出てきた
https://gyazo.com/0414f42f78ade4fb3d1ea5b1948248c0
悪意あるコメントや大量のコメントは優先的に対策される中、パンプキンパイによる民主主義への攻撃が成立しうるの笑う
何かのトピックの隠語かメタファの可能性が微レ存(笑)terang.icon
かわいいので
If you're looking for a review on this game you've come to the wrong place, but if you're looking for an outstanding pie recipe you've come to the right place.
みたいなネタがあるっぽいmtane0412.icon
データに前処理をしてどれだけレポートが改善できるかを見る
結構きれいになった。別の料理のレシピがあることに気づいたmtane0412.icon
few shotが出現してしまうのはこいつらが意見として抽出されているせいっぽい
https://gyazo.com/3b4ac15087412bff8e37aaf460e02bdd
日本語オンリーでも相当な数になった
デフォルトの5→50。ロシアみたいな島ができているのでもう少し細かくできる
推奨クラスタ設定にしたらrate limitになった(Open AIがtier1で並列処理の数が多すぎる)
推奨クラスタ設定でTier2にして実行した
結構ごちゃごちゃしてる
https://gyazo.com/9e31e075af2ca8c2ecd1c1e1fdcc65bfbsahd.icon
西尾さんが適当に書いた図がこんなところに出るなんて
操作がかなり重い気がする