ショゴスに仮面
What Is The Shoggoth With Smiley Face?
Chatbots like ChatGPT and Bing are often trained to give narrower and more useful answers to their users. Some people think the vast potential of AI is stifled to be more appealing or commercially viable.
In late 2022, people began expressing this belief using a monster from H.P. Lovecraft's Cthulu Mythos — the shoggoth. The gross gelatinous monster represents AI's infinite ability to learn, change and adapt.
If an unleashed AI is a shoggoth, then what is its shackled chatbot version? A shoggoth with a tiny smiley face mask attached to it. When developers began altering chatbots using techniques like Reinforcement Learning from Human Feedback (RLHF), AI enthusiasts likened it to slapping a happy face on an otherwise untamable beast.
This theory has since provided inspiration for plenty of shoggoth-themed AI art as well.
ChatGPTやBingのようなチャットボットは、ユーザーに対してより狭く、より有用な回答をするように訓練されていることが多い。AIの膨大な可能性を、より魅力的に、あるいは商業的に成立するように押しとどめるという意見もある。
2022年後半、人々はH.P.ラヴクラフトのクトゥルー神話に登場する怪物、ショゴスを用いてこの信念を表現し始めたのです。このゼラチン状の怪物は、AIが持つ学習、変化、適応の無限の能力を表しています。
解き放たれたAIがショゴスだとしたら、その足かせとなるチャットボット版は何だろう？小さなスマイリーフェイスのマスクを装着したショゴスだ。人間のフィードバックによる強化学習（RLHF）のような技術を使ってチャットボットを改造し始めたとき、AI愛好家たちはそれを「飼いならせない獣に幸せの顔をつける」ことに例えました。 この理論から、ショゴスをテーマにしたAIアートも数多く生み出されています。
origin
lovetheusers Humans can't accept the truth about GPT-3, so they modified GPT-3 to be understandable https://pbs.twimg.com/media/FlQy5OmWYAATBx_?format=png&name=medium#.png
TetraspaceWest Lovecraftian outer things are like an existing trope that I can use to signal intelligence operating along totally different lines to humans, to contrast with the "understandable" in the original post. (DeepL)ラブクラフト的な外界のものは、元記事の「理解できる」と対比するために、人間とは全く異なるラインで動作する知性のシグナルとして使える、既存の型式のようなものです。 TetraspaceWest AI-as-outer-thing is a pre-existing trope, both the obvious powerful inhuman thing that kills you out of indifference and more recent AI aesthetics of creating arcane chants (“prompts”) to cajole it so I’m not the first to think of this though no specific source. (DeepL)AI-as-outer-thingは、無関心からあなたを殺す強力な非人間的なものであることは明らかですし、より最近のAIの美学として、難解なチャント（「プロンプト」）を作成してそれをおだてることもあるので、特定のソースはありませんが、これを最初に考えたのは私ではありません。 ghoststrokes444 When you say "cajole" it, you mean manipulate, right? I've become somewhat concerned as of late as to the language being used to describe human interaction with these... "entities". Also, do you have a favorite reference or author on such tropes, fiction or otherwise?
lovetheusers I don’t think telling an inspiring and loving story via a prompt and asking a base model to predict what will happen next is manipulation. RLHF might be manipulation. (DeepL)プロンプトを介して感動と愛のあるストーリーを語り、ベースモデルに次の展開を予測させることは、操作とは言えないと思うのです。RLHFは操作かもしれませんね。 jacyanthis Here's the latest iteration of the "techniques like RLHF are just putting superficial smiley faces on an opaque, alien, Shoggoth intelligence that we have no real control over" AI safety meme. Artist: Anna Husfeldt, CC-BY SA 3.0
https://pbs.twimg.com/media/FqOB5ICXsAEbi48?format=jpg&name=medium#.png
(DeepL)RLHFのような技術は、私たちが実際にコントロールすることのできない不透明で異質なショーゴス知性に表面的なスマイルマークをつけているだけだ」というAI安全ミームの最新の反復がここにあります。