AI考察1
https://scrapbox.io/files/6815ed9d1fedf0a08ee4ba6e.JPG
📅22年秋～23年冬ごろ？
17/0★どうしてもAIに概念のキャラクターを理解してもらうのが無理そうだったら、ペニギリ語で教えてあげればいいんじゃない？ ――ペニギリ語の目的って、要するに自分なりの図書館を作っていきたいってことだよね ――ＡＩには、その中を縦横無尽に駆け回ってAIなりの表現を作っていってもらいたい
――そもそもＡＩにとって意味分析にキャラクターなんか必要ないんじゃない？★37
――動詞みたいな抽象概念だったらある程度は役に立つかもしれないけど ――隣接近接だけでベクトルは表現できそうだし
36/0★品詞解析は、頻度の低い単語を基準にして、その中の同じ単語に隣接するものをまず同じ品詞と見なしていくっていう風にしたらいいんじゃない？
――頻度の高い単語っていうのは語形も短くなりがちで、品詞も曖昧なものが多そうなイメージだから
――むしろ高頻度の単語を基準にして分類してった方がいいのかな？
――色んな単語と共起してる分、データがいっぱい取れそうな気がする
37/17★キャラクターとか属性ってAIには必要ないのかもしれないけど、自分の記憶は有限だからAIが使えない時とかのために必要そうな気がする
――そんなに記憶するような場面ってなくない？
――暇つぶしのための勉強とか
――ていうか属性ってＡＩの語彙拡張に利用できそうじゃない？
――記憶の住所としても利用できそう
――省略のときに何が補われてるのかとか
――会話の単位にも補い合うような関係ってあるのかもしれない
――AIの言ったことがたとえ間違ってたとしても、ツッコミも含めて正解と見なせば良さそうだもんね
――意味が計算できるものなんだとすれば、マージっていうのは計算順序を表してるのかもしれない ――その場合属性は素数みたいなものなのかな？
――意味が掛け算なんだとすれば、単語自体が何層かの掛け算になってそうだよね★39
――その中にも焦点になってる層とそうじゃない層があるのかも
――ていうか階層（品詞）とかベクトル（意味）も勝手に学習（分類）させてった方がいいんじゃない？
――じゃあ属性って別に要らないものなのかな？
――AIは意味自体を分かってる必要はなくて、相関だけを分かってくれてればいいんだよね
――ソシュール的にも意味って相関そのものっぽいから
39/37★階層（パラメータ）ごとに掛け算されてるのかな？ ――やっぱり意味って相対的に決まってるんだね
――だとすると、マージってどんな役割を持ってるんだろう？ ――単なる意味の掛け算なら順番は関係ないはずだけど、そうじゃない場合もあるってことなのかな？
――いわゆる熟語とか慣用句って特別な意味を持ってる場合もありそうだしhttps://scrapbox.io/files/68161cacd740441087d8a5e0.JPG
――単に横並びに相関しやすいものを並べていけばいいって訳でもなさそうだよね
――特に相関しやすいものをマージしてると見なすのかな？ ――それって文章の順番とは関係ない場合もありそうだよね
――文法は隣接だけを考えとけば良さそうだけど、意味はもうちょっと広く見とかないといけなさそう
――マージした後とされる前とで明らかに共起するものが変わってたらマージしてるってことだよね ――まずは相方探しをしなきゃいけないってことか
――そうなってくるとむしろ足し算引き算に近いような気もしてくる
――足りてないところ（スロット）を補い合って完成されるみたいな ――発話行為自体が状況の持ってるスロットを埋め合わせようとする行為なのかもしれない
――省略部分も文脈から補えるものなのかも
――単純な足し算にならないものがマージなんだよね★42 ――それってただの相関なんじゃない？
――文法的マージって、アウトライン形式で書いといた方が分析はしやすそうだよね★53
――ＡＩも生成文法みたいにパラメータが際限なく増えていく運命なのかな？ ――意味的マージがあるんだとしたらフローチャートみたいな感じになるんじゃない？ 42/39★単位が違ってるだけで、文字→単語の関係もそれと一緒だよね
――やっぱり隣接が大事ってことなのかな？
――でも単語内の文字列どうしは離れることがあんまりなさそうな気がするけど、単語どうしの場合は平気でありそうだよね
――いや、ひょっとしたらそっちもあんまりなかったりするのかな？
――スロットが省略されてるから離れてるように見えるだけで、埋められるようになったら意外となくなっちゃうのかも ――ていうかそもそもマージって隣接どうしでしか起きないっていう前提があるっぽいもんね★43 ――前提っていうか仮説に近そうだけど
――省略部分の予測も内容でできるっていうか多分そうするしかないんだよね
――もちろんある程度は文章上の近さでも測っといた方がよさそうな気はするけど
――文章上で近い位置に現れてる単語どうしは同じ分野、同じ分野の中で（品詞的には近そうだけど）別の単語と共起してるやつどうしは、対比的に扱われてる概念って見なすようにしたらいいんじゃない？
43/42★隣接コストってどうやって測れるんだろう？
――マージって階層（品詞、主要部）のほかに、相関範囲も考えとかないといけなさそうだよね？ ――直前とマージするっていっても、それまでの全部とマージする必要はないはずだもんね★44
――それまでの文脈に限定されてる場合と全く限定されてない場合（一般論）とがありそうだよね
――限定範囲にもグラデーションがあるってことなのかな？ ――そういうのもスロットが埋まってるか（もしくは埋めてるか）どうかで決まってくるってこと？ ――人間でも判別しづらそうなことだからしょうがないんだろうね
44/43★でも隣接は隣接なのかな？
――そうじゃないと把握しづらそうだけど
――意味的相関にもツリー構造があるってこと？★47
――限定が解除される場合はかならず外側からみたいな原則があったりするのかな？
――解除されやすい範囲とされにくい範囲があるってこと？
――話題と焦点★52
――等位相関（兄弟関係）と、従属相関（親子関係、主述関係）★45
――～は～だ、～なら（当然）～だ、～かつ～だ
――因果関係とか相関関係って、必ずしも明示的に表されてない場合も多そうだよね
――やっぱり人間と同じように、文脈とか常識で判断しなきゃいけなくなるのかな？
――ていうか最初は全部が依存し合ってるっていう解釈がデフォルトなんだよね
――その状態からどこが自由なのかを探し出していく感じだよね
――同じところとを比べてみて、ここは入れ替え可能なんだとか★46
――まあ同じ部分がなければそもそも分析のしようがない訳で
――表記ゆれとか、ある程度似たものどうしだったら同じものとみなすような仕組みも必要そうだよね
――概念もちょっとは辞書的に教えてってあげないといけないのかな？
――そういう時にこそ属性が役に立つんじゃない？
――やっぱりシンプルな方がいいに決まってるよね
――汎用分析ツールって感じ
45/44★等位相関のとき、先に来た方から優先的にマージされていくの？それとも後に来てるものと一緒にマージされるの？ ――並列関係のセットって結構大事だったりするのかもしれないね
――まさに相関って感じ
――取り合わせ（これには普通これみたいな）ってこと？
――セクションというかブロックというか、フレームワークの組み合わせ？
――意外と横並びも大事ってことなのかな
――ある程度バラケさせとけば勝手に補い合ってくれるってこと？
――ちょうどいい感じの粒度っていうのがあるの？
――難しく考えすぎなくてもいいってことなのかも
――でもそれって結構属性に似てるんじゃない？
――確かにどんな物事にもセットになってるような事柄ってありそうだもんね
――大事なのはバランスってことならますます属性に似てくるよね
――まあたぶん掛け算っていうよりは足し算ってことなんだろうけど
――単語単位にこだわらなくてもいいってことか
――でもそれって結局は横向きのマージのような気もする
――二股にこだわらなくてもいいってだけかもしれない
――もしくは文章にこだわらなくてもいいってことなのか
――結局文章とかを読んでいくときに、ある程度以上の単位ではランダムに読んでいけたとしても、ある程度以下ではまっすぐに読んでいくしかないっていうのと似たような事のような気もする
――助詞とか些末な単語は無視してもいいってことなのかな？
――マージ全体を、入れ子状の構造的なものじゃなくて横並びの相関的なものとして捉え直した方がいいってことなのかも ――どこまでも横と横との組み合わせなのか
――確かに縦ばっかり見ててもバランスとかは分かりづらそうだもんね
――とりあえずマージとかは考えず、2単語間の相関だけに目を向けてみるようにすれば？ ――それぞれの存在した場のインデックスさえ記録しとけば
――notionの出番？★48
――存在した場の似てるものどうしは入れ替え可能みたいな★49
――その場のことをセクションって呼ぶの？
46/44★まずは品詞の分析からだね
――自分で教えるんじゃない限りは、膨大なデータが必要になってきそう
――単語の散らばり具合（頻度も含めて？）で意味の濃さとかは判別できるかも
――少なくとも頻度だけでは無理そうだけど
――やっぱり隣接で分析するしかないのかな？
――前と後ろでどれだけ隣接語を選ぶのかとかで何となくは分かりそう
https://scrapbox.io/files/686a4903e99f2bf94966c994.jpg
47/44★ツリーってことは、生成する時にも上から順番に生成してくってことだよね？
――つまり、どれくらいの長さになるのかも生成する時に決まっていくってこと？
――もういっそのことツリー生成マシーンにしちゃえばいいじゃん★54
――文章の順番って結構どうでもいい場合が多そうだよね★56
――実はこうでした的な展開も普通にありそうだし
48/45★手書きでもいけるんじゃない？
――ツールを超えた普遍性があるものだとは一応思ってるけど
49/45★それらを6~7個ぐらいに大雑把に分類し直すっていうこともやろうと思えばできるんじゃない？
――大雑把な分類の一個一個をセクションって呼ぶことにする？
――偏り具合ってどうやって測ってったらいいんだろう？
――属性の本質ってバランスを取ることっぽいから、それを流用して分類機として使うようにすればいいんじゃない？★51 ――分類機、分析器、ツリー生成マシーン・・・やりたいことは何となく見えてきた
――分類（属性）は足し算の関係で、依存関係（順序）は掛け算みたいなものなのかな？ ――ヨコとタテみたいな・・・
――場（セクション）の中でどの位置を占めてるのかみたいなのも結構重要になってきそうな気はする
――同じ場で共存しにくそうなものどうしは同じようなカテゴリーになるってこと？
――確かに何事も位置づけと依存関係で説明できそうな気はする
――もしくは自由と例外？
――そもそも反面教師がなくても学べるようなものなのかな？
――最終的には意義素（パラメータ）どうしの相関になってきそうだよね ――文脈を読むっていうことは、焦点がずれていくっていうこと？
――引力に引っ張られるみたいな★57
――ベクトルさえ似てたら喩えの材料にはなれそうだよね
――新出語とか数字とか言い回し分析のためにも、やっぱり単語は相対的なベクトルとして扱っといた方がよさそうな気がする★62
50/34★均等に分類することで却って不均等な部分がハッキリしやすくなるっていうのはあるかもね
――情報量減らし（均等化）と情報量増やし（不均等化）の両方が大事ってことだよね
51/49★バランスって色で表せそう
――概念地図を作ってってもらうべきなのかも
――分類ってそういうものなんじゃない？
――最悪分類は手動でもできそうだし
――それじゃ意味がないのかな？
――自分でも気づけないような分類を見つけてってもらうっていうことが重要なのかな
――何ならそれこそが一番やってもらいたいことなのかもしれない
――それで、分類のためには文章からツリー構造を見つけ出してもらうっていうことが必要なんだよね？
――でも逆に概念地図がないとツリー構造とかも分からなかったりするのかな？
――品詞が分かれば大丈夫なのか
――品詞の定義ぐらい手動でやっといてあげてもいいんじゃない？
――ランダムにやってくようにすれば気軽にできるでしょ
――品詞もタグみたいに相対的でファジィなものにしとけばいいんじゃない？★64
52/44★焦点と新情報
53/39★ 54/47★いっそアウトライン形式での入力を前提にしちゃおうかな？
――木構造も良さそうだけど枠構造もけっこう大事なんじゃない？★55
――同じこと？
――音楽で言う所の「解決」みたいな
――括弧とか連番とかがいい例だよね
――終止符だったり改行だったりが解決のシンボルになってたりするのかな？★60
――ていうか相関ってそもそもそういうものなんじゃない？
――補い合ってるような関係
――まずは、枠を抽出できるようになるっていうことが目標かな★58
――やっぱり先行者投票が必要になって来るんじゃない？
――文字単位でやろうとしてたことを単語単位でもやり直してあげればいいってだけ？
――もしくはN-gram単位でやるとか★59
――枠構造ってあくまでも文法の話？
――共起率が互いの出現率の掛け算になってない場合には相関関係があるっていうこと？
――ていうかそれだけで大抵のことは分かってきそう
――正の相関は解決、負の相関は対比？ 分野が同じかどうか？
――相関って組み合わせの全パターンを列挙していくのってたぶん無理だよね？★63
――隣接何単語目かまでだったらいけるのかな？
――分割の総数と一緒？
――たくさん出てきてないデータを含んだような組み合わせが出てきたら、数を調べる前に捨ててしまっとけばいいらしいよ
――文字通り時間的に列挙していけばいつかは終わるんだろうけど
https://scrapbox.io/files/686a48e639a4821590ee6b40.jpg
55/53★ 56/47★ 57/49★木構造、枠構造、スロット、リニアみたいなものの要素を全て取り込もうと思ったら渦巻状みたいな感じになりそうじゃない？ ――「あれって結局どうなったの？」みたいな展開がないような文章にすればいいんだと思う
――出てくる順番とかは割とどうでもよくて、代名詞とかも無茶苦茶でいいから、とにかくちゃんと広げたものを回収してくってことが大事っぽい
――文章が長くなってくるほど伏線の数も増えてくけど、回収される確率はどんどん低くなっていくみたいな
58/53★枠構造は品詞（語類）である程度特定できるとは思うけど ――ある単語からある単語までの間にどんな単語がくるのか
――助詞とかを使えばツリー構造とかも頑張れば分析できそう
――助詞かどうかを見分けるために意味の濃さを利用する？
――たぶん内容語は内容語で、機能語は機能語どうしで求め合うからいいシステムにはなりそう
――経路を単語間の関係として記憶しとく？
――サンプル数が少ないと解析できないような方法で大丈夫なのかな？
――でも自動でやろうと思ったらそのぐらいのやり方しかなさそうだよね
――具体的にはどれくらいの射程を取るべきなの？
――キリがなさそうだよね・・・
――単語どうしの共存率と平均距離が大事なのかな？
――平均距離だけでも良さそうな気はするけど
――意味の濃さ（＝頻度？散らばり具合？）も加味しとかないといけなさそう
――それによってまずはベクトルを測る？
――ベクトル化してファジィ化しとけば融通は訊くようになりそうだもんね★61
――意味の抽象化が大事そう
――相関は向こうからとこっちからのやつ両方を考えとかないといけなさそう ――先行語も後続語も集計しなきゃいけないってこと？
https://scrapbox.io/files/6818874c4a1a04cab0c1f398.JPG
59/53★Ｎ字は隣接バリエーションの数が丁度良くなるようにその都度変えていったらいいんじゃない？
――最大公約文字数みたいな感じで
60/53★解決したかどうかってどうやって判断するの？
――エントロピー指数(?)
61/58★ 62/49★ 63/53★今のやり方だとベクトルの足し算（OR）しかできない。掛け算（AND）もできるようになっとかないとマズい
――たとえば「PCは使いやすい。ケータイは持ちやすい。」っていう文章が出て来たことがあったとして、「PCは持ち」まで打った場合に、絶対に「やすい」が続きとして出て来てしまいそう（「PC」も「持ち」も「やすい」の近接語だから）
――でも、「PC」と「ケータイ」は同じ分野だけど個性が違うから、そこの違いを生じさせてるキーワードが出てきたときに、別の対応をしてもらわないといけない気がする
――この場合「やすい」が共通の関数になってるはずだから、「PCは持ちやすい」だと計算が合わないっていうことが分かるはず
――単語を「品詞」「分野」「個性」の３軸で分類しとけばいいの？
――まあ別にしてなくても実用上問題はなさそうだけど
64/51★品詞ツリー（隣接から抽出） →統語ツリー →意味ツリーの順番で作っていけそう
――意味ツリーって統語ツリー作るのにも必要そうじゃない？