クラス分類モデルの非線形への拡張
非線形変換を何度も繰り返して、徐々に複雑な関数を表現していく
=ディープラーニング
深層学習を、非線形変換の手段の一つとして捉える
以前学んだ時は、なんでこれであんな複雑なタスクが出来るんだろうと気味が悪かった
コンピューターの「建築学」
どのようなハードウェアを選んで(素材)、繋げば良いか(構造)
そのようなシステムの設計方法、モデルを探究
あんまり講義動画見る前は興味持ってなかったけど、めっちゃ面白かった
アルゴリズムとハードウェアの協調設計
汎用的ではない、あるドメインに特化したコンピューターアーキテクチャ
ある環境専用のアーキテクチャを考えるなら、超低レイヤーから高レイヤーまで全て作り替えることもできる
物理, 回路, アーキテクチャ, OS, コンパイラ, プログラミング言語, アルゴリズムなど (低-->高レイヤー)
広い視野を持つべき?
https://twitter.com/yam_eye/status/1274161755090907136?s=21
二つの相反する要素のどちらを取るか、あるいはその良い妥協点はどこか、と言うようなフレーミングはしばしば現状肯定的である。イノベーションは大抵その線上にはない。
kinetoもトレードオフを壊す的な発想
Field Programmable Gate Array
「やわらかいハードウェア」
論理回路の形を変えられる
設計方法
1. ハードウェア記述言語: アセンブラ書くようなもの、細かくいじれるけど大変
IoTとエッジコンピューティングの講義
サーバーと通信して全ての計算をやっていると大変
なので、エッジ側で計算をやろうという方針
エネルギーや計算資源が限られている中で、近似計算等をして頑張る
エッジのコンピューターに求められる物
機械学習の課題(?): ベクトル以外のデータ構造を扱う機械学習は自明ではない (非主流という意味?)
ex: グラフ
グラフ扱えれば、友達関係とか化合物とか(あくまでも一例)いろいろな物に使えるように
グラフカーネル
グラフディープラーニング
話のストックとしてメモっておく
ライフゲーム
生命とは?みたいな話に
ソフトウェアにおける一般化
AIって結局何なの?という話
巨人の肩みがあってありがてーと感じる(?)
ディープラーニングで映像の先のフレームを予測する系研究まとめ
https://arxiv.org/pdf/2004.05214.pdf
パターン認識の講義
人工知能の歴史
最初期はチェス(知性っぽいタスク)の研究がメインだった
画像認識とかは人間が簡単にできるのだから簡単なタスクだろうと思われていた
1980年代、「ルールさえ設定できればどんなタスクでも解決できるのでは?!」と盛り上がる
ここには、主に一般社会(非専門家)にとっての概念の「AI」について書く。
社会との関係とか、人間とのインタラクションとか
キズナアイが自称「AI」という時の「AI」もこのページの内容にあたる
技術的なことは #機械学習 #ディープラーニング #人工知能 とかに書く、AIタグはつけない
講義
人工知能: ディープラーニング,機械学習, etc
(伝統的)ロボットと(伝統的)人工知能
ロボットは現実の話(物理モデル, 線形近似)(電気と機械)
人工知能は形式世界の話(グラフィカルモデル)(情報と通信)
チューリング賞レベルのブレイクスルーを生み出したければ、トレンドを追ってちゃダメよ
的なニュアンスのことをYoshua Bengioさんが言ってたよーって話
トレンド: 今で言うならディープラーニング
ほとんどのアルゴリズムのパラメーターは、稀にしか使わない
本に乗ってること以外はとりあえずスルーする
#機械学習 #ディープラーニング
キックオフ会議の話から
コミュニケーション時の「時間共有感」という感覚について考えた (for kineto)
要約:
「時間を共有している」という感覚は、情報を受け取る側の一方的な感覚
情報の送り手と同じ何か(映像、現実など)を共体験(追体験)しているときにそう感じる
ある程度の計算誤差を許容する(大体合ってる計算を目指す)
その代わり、回路の処理速度向上/省エネルギーを目指す
「RMS (Recognition, Mining, Synthesis)」のタスクに使える
機械学習とか画像生成とかみたいな、あいまい性のあるタスク
映像のShot Boundary Detectionのアルゴリズムを比較
カラーヒストグラム、エッジ、ウェーブレットのそれぞれを用いる方法を比較
カラーヒストグラム
24ビットカラーのうち、各色上位4ビットを使って12ビットカラーにした
合計2^12=4096色 #量子化
授業映像の文字を認識して、スライドとシンクロさせる技術
文字認識(OCR)は二つ方法がある
1. Geometry-based approach
2. Texture-based approach
Geometry-basedの方は、ノイズに弱いけど実装楽で効率も良い
ニューラルネットワークのニューロン同士のつながりのグラフ構造の話ではなく、単に入力がグラフだという話か
グラフニューラルネットワーク(GNN)徹底解説!用途と仕組みからPyGでの実装まで
例えば畳み込みをグラフに対してやる、とかか なるほど
Spectral な手法 と Spatial な手法
ML=機械学習
研究や開発する上で、高度な機械学習や深層学習などのtechniqueを使えていないことに対してのコンプレックスがある
「APIが提供されているAIサービスやモデルを使う」より高度なことをやったことがほとんどない
ただ、これは高校生の頃に構築した高いハードルのイメージが更新されていないだけな気もする
線形代数どころか微積も学びたてだった
認知ロボティクスの講義
分析的手法
理解したい対象を観察・分析する
ex: 心理学, 認知神経科学など
人間の応答とか、脳の反応とかを計測する
「計算論的精神医学」
予測誤差最小化に基づく脳・認知の計算モデル #構成論的手法
予測(出力)と感覚(入力)との誤差(予測誤差)を算出
予測誤差を、その時の感覚入力自体の不確実性(信頼度みたいな?)で重み付け
普通に考えると、感覚から動作へのマップを作ろうと思ってしまう
例: ものを掴むロボットの場合、視界の画像を与えられて、それにどういう運動をするのかという学習をしてしまいがち
しかし、動作したことによって自分自身の状態・感覚が変わってしまうことも多い(これが本質であることも)
自分が知覚しているもの全て(環境だけではなく、自分自身の感覚(身体性)含む)を全て予測していく、という考え方が有効 #身体知
Bicliqueなグラフ: 二部グラフのある左から全ての右、ある右から全ての左に繋がってる
(イメージ: ニューラルネットワークの二層をグラフにしたみたいなものはbiclique)
違反枝、違反非枝の個数を用いる
#性質検査
自然言語処理の講義
言語モデルの定義の一つ: 文の「もっともらしさ」を評価する
音声認識とかのいくつかの認識結果候補から一つを選ぶのにも使える
確率的言語モデル
「文」の数学的表現
aka x_損失関数
どのくらい間違っているかの評価関数
連続値でないといけない
離散値だと、ちょっとだけ変えたときに変化が起きないから困る
/c4j/proj-poverty yuiseki 2021-07-15#60f0208dbb24d40000920a2c
ソフトウェアエンジニアリングでは計算機科学で解決できることしか解けない
膨大な情報の収集
膨大な情報の分析
情報の整理を含む
脳における、認知系vs情動系について
認知は理解を与える
情動は価値の評価を与える
評価関数的なやつ
情動系がないと取捨選択ができない
(タイトル、行動である「自信を持って大声で発信する事」より、結果である「たくさんの他者に自分の考えが伝わる事」の方が的確だな)
前提
人生の根本的な評価関数を考えて追求したい
適度な向上心と諦め
原因
個人的に大事にしている考え方
ただ、なんだかんだ自分はある程度実績等を持てているからこういう考え方をholdできるのかもとちょっと思った
まあなんか、何かをしない言い訳にも容易に使える主張な気もするので、逆の考え方も意識しておきたいな〜と思った
「生き急ぐな」という主張をしている物をcherry-pickしていれば、そりゃそう思えてくる
→ 生き急げ!
テクノロジーによる拡張
エンパワーメント、人間の能力を拡張するもの
身体的特徴、知的能力、表現の自由を拡張
自転車のようなもの
AIが目指す方向性とは違う、
https://twitter.com/kaitou_ryaku/status/1301730960736530432
これを意図して書いたのです!我々ソフトウェアプログラマにとって、電子回路とかハードウェアって
「よくわからん謎の怖い物体」
じゃないですか。なので回路全域の構造を「矢印」によって直接的にソフトウェア化することで、統一的に見通し良く議論して、全てを理解した気持ちになりたかったのです