音声工学・音響工学
音声工学
基本的に教科書を読んでいく感じの授業
教科書を買わないとついていけない
第1講
宿題のビデオを見ておけ
日本橋、日本刀、日本海の違いを認識できないのは日本語に毒されているからである
留学生の気持ちで日本語を考える
ばに対応するのは、はではない
留学生でこれをするのはまずいない
ぱをいれる
曲げ伸ばしは OK？？
これは違う
物理的には違うもの
波動方程式の境界条件が違う
いちいちこれを気にしたら説明がめんどくさい
音は空気の粒の振動現象？
空気の密度の変化
第2講
共振はどこにエネルギーが集まるかということ
人間は位相に鈍感
アートをやる人は位相を大切にする
物理と心理を区別するべきである
第3講
離散フーリエ変換から
第4講
2.2 音声とモデルから
第5講
隠れマルコフモデル、混合正規分布の後から
第6講
統計的言語モデルによる言語的制約から
第7講
HMMを使った音声合成の後
第8講
3の形態素解析の後ぐらいから
第9講
3.2係り受け解析から
第10講
3.4文脈解析から4を飛ばして5.1ぐらいまで
第11講
第12講
—教科書---
1 音声と言語の諸相
音声科学と音声工学
ニューラルネットワークの一部は可塑的で残りは遺伝子によって決められているとする説が有力
脳の基本原理である並列分散処理に学ぶべきことは多い
言語科学と言語工学
工学的なアプローチでは生得的に備わっているとされる文法も工学的に大規模データから獲得しようとする
音声学, 音韻論と言語学
話し言葉と書き言葉
話し言葉と書き言葉には様々な違いがある
言語の獲得
幼児が言語音やその体系を獲得するためには音声/無声の対比、母音の対比、調音位置の対比、調音様式の堆肥など、いくつかのカテゴリー知覚が可能となることが必要である
2 音声言語処理のモデル
音声の音響的分析とそのモデル
音声記号は音素記号をより丁寧に記述しているが、それでも少し抽象化している
音に対する心理学的属性として、高さ、長さ、強さ、音色がある
音の高さは基本周波数
音の強さは波形振幅
音声の長さは継続時間長
音声の音色はスペクトル包絡である
音声の認識とそのモデル
音声の合成とそのモデル
深層ニューラルネットワークに基づく音声認識と音声合成
3 自然言語処理のモデル
形態素解析
構文解析
意味解析
文脈解析
4 検索・質問応答システム
文字列照合
文書検索
質問応答
音声と情報検索
5 対話システム
談話と対話
対話システム
対話制御
マルチモーダル対話
6 翻訳システム
機械翻訳の歴史と代表的なアプローチ
規則に基づく機械翻訳
コーパスに基づく機械翻訳と統計的機械翻訳
ニューラル機械翻訳
音声翻訳
7 テキスト, 音声入力インターフェース
ヒューマンインターフェース
テキスト入力インタフェース
音声入力インタフェース
マルチモーダル入力インタフェース
8 フリーソフトウェアによる演習
音声分析、ラベリング
音声認識
音声合成
形態素解析
係り受け解析
全文検索
統計的機械翻訳
深層学習フレームワーク
応用音響学
講義前半では，音声分析，音声符号化，音声認識，音声合成，音響信号処理などに関連する基礎知識について講義する。応用として，携帯電話などの音声音楽情報圧縮技術や音声認識技術や音声合成システムなどがある。統計的信号処理の基礎，スペクトル解析，パターン認識，確率モデル，統計学習，最適解探策などの基本概念とアルゴリズムを理解し，これらの技術の基礎になる知識と概念の習得を目指す。
講義後半は，音響現象の数理的なモデリング方法を理解することを目的とし，音波の伝播，反射，回折，散乱などの現象を数学的に記述するための基礎事項について講義する。応用として，フェーズドアレイによる集束音場の計算方法や，その応用について話す。これらの基本概念を理解することで，様々な波動場の計測・制御技術の基礎となる知識の習得を目指す。
【講義前半】
１ 統計的信号処理の基礎
２ 音声分析・符号化 (音声スペクトル，ケプストラム解析，線形予測(LPC)分析，偏自己相関(PARCOR)分析，線スペクトル対(LSP)分析)
３ 音声認識 (動的時間伸縮マッチング、隠れマルコフモデル(HMM))
４ 音響信号処理 (多チャネル音響信号処理，独立成分分析)
【講義後半】
１ ヘルムホルツ共鳴
２ 音波の伝播
２ 音響管・自由空間中の音波
３ ホーン，呼吸音源
４ フェーズドアレイによる集束音場
５ 固体中の音，縦波，横波
音響音声学
「Speech and NLP」
音響・音声工学
1 序論
音と分類
研究の歴史
2 音波の基本的性質
物理的性質
感覚を考慮した物理量
伝搬
室内音響
3 聴覚の基本的性質
聴覚機構
マスキング
両耳効果
4 波動理論
波動方程式とかよくあるやつ
5 機械振動系
単振動とか
6 電気・機械・音響系の対応
等価回路
機械素子
7 電気・機械・音響変換
電気・音響変換
電磁形変換方式
静電形変換方式
抵抗変化変換
マイクロホン
スピーカ
8 オーディオ機器
アナログ録音技術
デジタル録音技術
その他のデジタルオーディオ技術
9 音場の音響信号処理
新しい音響信号処理技術
音響エコーキャンセラ
マイクロホンあれい
音像定位ステレオ通信形式
音場抑制
10 音声の基本的性質
音声と言語
発声器官の構造と機能
音声の物理的性質
音声生成モデル
音声情報処理の階層構造
11 音声分析法
音声は系ので実あるか
音声スペクトルの分析法
音声分析合成系とピッチ抽出法
線形予想分析
12 音声符号化
音声符号化の原理
時間領域での符号化
周波数領域での符号化
分析合成系と波形符号化の組み合わせ
符号化音声品質の評価
13 音声合成
音声合成の原理
録音編集方式とパラメータ編集方式
規則合成方式
14 音声認識
音声認識の原理
DPマッチング
HMM法
ニューラルネットワークによる方法
連続単語音声認識
文音声認識
不特定話遮音性の認識
15 話者認識
話者認識の原理
話者認識に用いる音声の物理的特徴
発生内容依存型話者認識
発生内容独立型話者認識
16 超音波とその応用
超音波の性質
超音波の発声器
超音波の応用