ChatGPT公開直後のツイート記録
2022/12/1
https://pbs.twimg.com/media/Fi3wcVhVEAA1yKi.png
これ、日本語がすごく自然で、そこが「ちゃんとしててすごい」と思わせる。内容は、「それっぽいことを書いてるけどあんまり中身のないレポート」みたいに見えるな…それでも十分すごいけど。 もう学生のレポートのコピペがどうこうとかそういうレベルじゃなくなっていくんだろうな、こういうものがあってしまうと。 われわれはこれから、何を学生に問えばよいのか。そしてその回答や解答が学生の脳から外化したものかどうかをどう見分けることができるのだろう。 2022/12/2
ChatGPT、自分で試してみると、なかなかのやばさを感じられるな。この扉は開けてよかったのか的な。
2022/12/3
@9Do0G: めちゃくちゃ実在の人物っぽく言ってるけど東京大学大学院卒業後、新潟大学で音楽を研究してる鈴木孝明さん、架空の人間じゃん！！！！！！！！！なんだったんだ今日１日！！！！！！！楽しかったけど！！！！！大学にまで電話して論文どうしたら読めるか確認したのだが！！！？？ごめんなさいだよ！！ https://pbs.twimg.com/media/Fi5NCpNaEAAcvVd.jpg
ものすごいさらっとそれらしい嘘が吐けるので結局使う側に同等以上の知識がないと使えないな。
論理や事実のアウトプットには向かないのかもなあ。創作補助には強力なツールになりそう。外挿は苦手なはずなんだけど、複雑な内挿とノイズの活用で結果的に人間のクリエイティブに踏み入れることができてるということなのか。 もはや今後はこれありきの教育を考えていかないといけないのだろうから、面白くも頭痛い感じ。
それにしても、ChatGPTはかなりのレベルで「話が通じる」感じがあるので、これまでのどの技術よりも圧倒的に「人工知能感」があるよな。多くの人が、クエリを投げたり「呪文」を投げたりする感覚でなく、「話しかけて」いるように見える。
2004年くらいだったかにexciteかなんかで、自然文で検索するシステムが試されてた記憶があるけど、隔世の感があるな。
ですます調とだである調を混ぜないだけでも、「ちゃんとした日本語使える感」が増してる気がする。
基本の文章は「ですます」で、そのなかでも箇条書きとかだと「だである」にするとかも、「わかってる感」につながってるような。
@shujisado: ChatGPTの能力は既にいかがでしたかブロガーを遥かに超えてるので、近く いかがでしたか職人は絶滅してGoogleではAIいかがでしたかコンテンツばかり上位に表示されると思うが、そういった時にAI嘘発見技師みたいな職ぐらいしか人間には残されてなさそう。けど、その嘘発見技師もAIに取られそうだな ほんと、いかがでしたかは絶滅するよな。嘘発見器も時間の問題かも。
クリエイティブなものに対して価値を評価する仕事が人間には当面あるけど、その価値関数も遠くないうちに学習されてしまうのだろうか。このへんは身体性が重要だからまだもう少し先か。 https://pbs.twimg.com/media/Fi9zp3ZacAA0FdA.jpg
なるほどなあ〜と。
あとChatGPTって実際に触ってみると、回答が一気にパッと表示されるんじゃなくて、ちょっとずつ表示されてくのがとても「人格」的なものを感じさせて、人工知能と聞いて一般にイメージされるものに近いんじゃないかなあと思った。もう十分なコミュニケーションになってしまう。
ChatGPTに大喜利をさせてみたら全然面白くなかった。大喜利βはやっぱすごいんやな… 「象とパンダの違いは？」というお題で、「象は巨大で、パンダは可愛らしいです。」と返ってきた。大喜利としての答えになってない。以前、このお題を大喜利βが出されて「センス」と答えているのを見て衝撃だったことがある。
「それはただの定義で、大喜利はそうじゃなく「面白い」答えを返すものだ」的なことを教えたうえでもう一度やってみたが、あかんかった…
『「象はもっともっと大きくて、パンダはもっともっと可愛いです。」または、「象は鼻が長いですが、パンダは鼻が短いです。」または、「象はトランペットを吹くことができるのに、パンダは口笛を吹くことができません。」などが面白い答えとなります。』と返ってきた。こりゃあかん…
2022/12/4
@nishio: わかってる人が「でたらめな解説を生成してきてウケる」と言ってるの、今後の「今人間が書いてるでたらめな解説のブログ」の生産性が100倍になるし、そういうブログを書いてる人たちは「正しい解説」であることに価値を感じてない。そして今でたらめを見分けられてない読者は当然それも見分けられない @nishio: 多分StackOverflowのようなvoteのあるメディアとか、記名の記事に対して読者があらかじめ設定した「信頼してる著者リスト」で絞り込んで検索するエンジンとかのウェイトが高まっていくのだろう。 まさに、ますます評価経済が強まっていくんだろうな…
@masanork: ChatGPTに大学院の講義で出している課題をやらせてみた。わたしの授業を聞いていないことは明らかで事実誤認も少なからずあるが、講義を聴いていない学生が提出した課題として読むと、まあもっともらしいことを書くとこんな感じになるわなーという水準に達していて、AIに書かせたと見抜くのは無理だな いやほんとそうなるよな。都度生成されるからいわゆる従来的なコピペにもならないし、ですますをだであるに変えるくらいのちょいアレンジでもうお手上げなはず。パフォーマンス評価において、「書かれたものを見る」だけではもうだめになってしまったな。 某ピペルナーや某urnItIn的に、AIかどうかを判定するAI、とか。むなしい…
これを道具としてポジティブに使うための学習を情報リテラシーの授業とかでもうやるべきか？ @kurage313book: GASとは全然わからない人間ですが、ChatGPTの助けを借りて30分で「施設名から住所を引っ張って自動的に転載する」というスプリクトを書けたのでびっくりした。 https://pbs.twimg.com/media/FjChkJEagAAsfpL.jpg
こういうのとかなー。
2022/12/5
@rootport: ChatGPTくん、知識問題やクイズでは間違えるしGoogle検索のような使い方はできない。発想を逆転させれば、「正解」のない質問を投げかけることが正しい使い方なのではないか。要するにブレインストーミングの〝壁打ち〟の役。 https://pbs.twimg.com/media/FjIJvPtVIAA4fha.jpg
これ同じことを考えてて、正解のある問いではなく、正解のない（無限にある）問いに対して使うのが本筋なんだよな。対話AIだけでなく生成系AIなんかもだからこそ盛り上がってるのであって。本質的に確率なので。
なので人間は「価値を判断する主体」になる。で、こうしたAIはその価値関数を強化学習している、と… 教育でもDPなりコンピテンシーなりはこういうものをもう無視できないし取り込まないといけないのだろうな。 @pman0214: 土曜までは「いいえ。これはChatGPTが生成した文章ではありません」だったんですが、もう対策されたみたいです。これで学生が生成したものを提出してきても分かりますね。 https://pbs.twimg.com/media/FjKw_-_UoAA6y7P.png
仮にこれができたとしても、証明したことになるんだろうか。
「チート潰し」の方向で考えないほうがいいのではないかな。「ChatGPTで生成されたものが正しいかどうか/適切かどうか」を根拠をもって述べよ、みたいな課題を出すと、すごくよい勉強になりそうだがどうだろう。
今日の機械学習の授業は「緊急特番・ChatGPT」でよいかもしれないが、予定通りやる。ちょうど（？）深層学習。
今日は、授業の扱う分野を考えるとChatGPTを取り上げないわけにはいかないだろうと、いずれの授業でも紹介したが、学生もいろいろ感じ入っているようだったな。
バックプロパゲーションのコードは書いてくれなかった（数日前は書いてくれたのだが）が、値のswapのコードをCで書いてと言ったら華麗に書いてくれた。実際に見るとちょっととまどうよな。
ChatGPTは、無理な質問をされると「私は訓練された自然言語処理モデルであり、〇〇できません。ご了承ください」みたいに返してくるのがAI感があるよな。AIというか、ひと昔前のSF系の漫画に出てくるロボット感というか。ひらがなとカタカナを入れ替えて表示するバージョンとかほしい。
「私ハ訓練サレタ自然言語処理もでるデアリ、〇〇デキマセン。ゴ了承クダサイ」とか言ってほしい。
2022/12/6
勃興するAI技術について、数式レベルではわからなくても、どういう原理なのかのポイントを何らかの形でおさえておくというのは大事だろうなという気がする。でも「数式レベルではわからなくても」をするときにどの程度正確さを犠牲にするか、犠牲にしても問題がないかを判断するのはけっこう難しいな。
Transformer系の言語モデルとかまでいかなくても、ニューラルネットワークとかを例に、「データから学習する」ことは「計算」なのだということと、それがどういう計算なのかをざっとおさえておくのが大事だろう、と思ってここ数年やってるが、やっぱりそれはある程度やっておいたほうがよさそうかな。 https://pbs.twimg.com/media/FjSJ00yVsAA-p3p.png
@hyuki: 先ほどの対話の三番目の回答で「具体的には可能ですが、実施することは難しい」という答え方と、それを詳細化した説明というのは、（コンピュータが生成する文章としては）秀逸だと感じたんですが、どうなんでしょうね。 https://pbs.twimg.com/media/FjSLzchUoAEr9rz.png
こうした回答が生成できるというのは、やっぱりすごいなと思ってしまう。そして暗に、（無邪気な）ラーニングアナリティクスが正当に批判されている気がする（笑）