離散と連続

離散(discrete)と連続(continuous)

ガンプラの原料から完成品までをとりあげて離散と連続を考えてみよう。原料であるプラスチックのペレットから、完成品のガンプラまでには一連の流れがある。この一連の流れを初めて見る子供が見たら途切れのない連続した流れに見えるだろう。

ペレットを高温で溶かし、金型の中に射出されて成型する。金型の中にプラスチックを高圧で押し込むことで、細部まで形が成型される。成型されたプラスチックを金型から取り出し、冷却する。プラスチックは硬化し、形状が維持されるようになる。冷却されたプラスチックは、品質検査される。箱や袋に梱包され、取扱説明書やシールなどの付属品とともにパッケージングされる。

プラモデルはこのように作られるが、専門家か見ればひとつひとつの工程に名前が付けられ、それぞれにノウハウがある。このようにして「分けられる」。

p142

言語は複雑な記号体系と言えるが、そのため、言語は離散的という特徴を持つ。「離散的(discrete)」とはどういうことだろうか。これと対になることばは「連続的(continuous)」である。例として、スポーツカーを走らせることを考えてみよう。車が停止している状態から、エンジンをかけ、アクセルを踏み込んで、発信し、スピードを上げていく。スピードメーターが時計の文字盤と針のようなアナログなものなら、速度を上げるにつれてスピード表示の針がまさに切れ目なく動いていく。この速度表示が「連続的」というものだ。これに対して、デジタル表示のスピードメーターであれば、速度表示は 20…21…22…23…*というふうに、刻々と数値が変化しつつ表示される。時速20キロと21キロの間には20.25キロや20.257キロ*などの速度のときもあったはずだが、それらは表示されない。このような速度表示は「離散的」だ。ここで、スピードを上げながら走っている車の速さを言語で表すことを考えてみよう。言語表現では、「遅い」、「ゆっくり」、「速い」などがある。ことばによる車の速さの表現は、どうがんばってみても「離散的」にしかできない。時速80キロで走っているときに「この車、速いね」と言ったとする。さらにスピードを上げて100キロになったら、どう言うだろうか。「この車、ものすごく速いね」と言うかもしれない。この「速い」と「ものすごく速い」は、ちょうどデジタル表示の80や100みたいなもので離散的だ。アナログのスピードメーターのような連続的な表現はことばではできない。

*漢数字表現をアラビア数字に変えた。

出典

参考

関連

連鎖式パラドックス

砂山から砂粒を一つずつとっていったとして、あるときに砂山ではなくなる。

さて、複雑な計算過程を、別のニューラルネットワークが学習するときに重要なのが離散化である。離散化とは、連続値を０や１などの離散的な値に変換することである。言葉でいうと、「ネコ」や「イヌ」などのカテゴリで表すことである。我々の世界には、「ネコ０・７、イヌ０・３」という動物はいない。ネコはネコ、イヌはイヌである。つまり、我々は世界を離散化して見ている。信号処理における離散化の効果は、ノイズを除去できることだ。微小なノイズが乗っても、それが０か１かのどちらかと決まっていれば、０・０５を０に戻せるし、０・９８を１に戻せる。長距離の伝送もできるし、長い計算もできる。

これと同じことが学習にも当てはまる。教師あり学習では、通常、クラスラベル（離散化したラベル）が付与された分類問題と、それが連続値である回帰の問題があるが、よく研究されているのは分類問題である。分類問題は、「ネコ」「イヌ」などのクラスを与え学習する。

クラスを学習した結果としてのニューラルネットワークを見ると、最終層は、「もつれが紐解かれた」（disentangleされた）要素が並んでいる（図３・５）。「イヌ」「ネコ」などのラベルは、こうした「もつれが紐解かれた」要素の組み合わせとして学習される。つまり、この要素とこの要素は「ネコ」であることに本質的であり、それ以外は関係ない（don't care）ということを、離散化されたクラスラベルを教師データとして使うことによって効率的に伝えることができる。人間同士の通信（つまり言葉のやり取り）はバンド幅が狭いので、離散値は都合が良い。

https://gyazo.com/ac87113621a22f85f2f5e4f65ae60ba2

こうしたことをあわせて考えると、我々の社会ではこういうことが起こっているのではないか。

1.　専門家が何らかのタスクにおいて試行錯誤を通じて学習する。

2.　学習した結果得られた概念に名前をつけ、新しい言葉を作る。

3.　その言葉を学習データとして、次の人が学習をする。蒸留によって、より小さなネットワークで学習できる。

4.　より小さなネットワークで学習すると容量に余裕があるので、学習した人はさらに先のことまで学習できる。１に戻る。

専門家が学習し、新しい世界を切り拓くときには、さまざまなことを学ぶ。しかし、いったん概念が構成され、タスクが明示されると、次の人はそのタスクに必要な概念を効率的に学ぶことができる。これは我々日本人が「熟練の技」として世代を超えて伝承している技術に対しても成り立つし、科学技術、芸術、スポーツ、エンターテインメントなど、さまざまな分野でも同様である。新しい概念（言葉）は、先まで進んだ専門家たちによって、試行錯誤的にたくさん創発され、たまたま後進の人たちの学習の教師データとして効果の高いものが生き残ってきたのだろう。

こうしたプロセス全体を「社会的蒸留」と名付けてみよう。人々が新しいことを学習し、新しい概念に名前をつけ、他の人がそれを参考に学ぶ。こうした行動を通じて、社会全体でますます多様な概念体系が生まれ、それが整理され、人々はますます多くのことを学習できるようになる。