2025/7/18の発表の構想を再考する
構成と内容
テーマ: 自立生活支援のための音響イベント検出モデルの連合学習(仮)
テーマ概要
少子高齢化で医療と介護の負担は増大
自立的な生活を情報技術で支援し,在宅介護で問題を解決するAALが存在
従来手法は主にカメラを用いるが,高価で,受容性に難がある
音で行動認識を行い,異常検知を基本に,健康状態の把握など目指す
本研究は異常検知を目指す一連の研究の中で,音による行動認識モデルの構築を目指す
音特有の行動の兆候があり,他のセンサと差別化できる
カメラより安価
ウェアラブルは充電や装着し忘れ,侵襲生の問題がある
機械学習で環境に対する柔軟性を獲得
行動認識自体も対象が柔軟に
音響イベント検出でいつ,どんな行動を取ったか,何が起こったかを理解する
入力の音声に対し,イベントの開始と終了,そのイベントが何かを付加
こういった情報を踏まえ,異常検知できれば説明性のあるモデルが組めるのでは?
テーマで取り組む課題
総合的には: プライバシーの問題を連合学習で解決
AALはプライバシー性の高いデータを扱う
従来の中央集権的な機械学習手法ではプライバシー性に課題
この課題を連合学習で解決
エッジデバイスでの解決策も提案されている
それを踏まえた上で,より柔軟なモデルに拡張できるFLに着目
問いを立てる
1. 中央集権的手法と比べ,連合学習でどれだけ精度を維持できるか
2. どの連合学習アルゴリズムが家庭内環境に対して適切か
* 今後の展望として,SEDを手がかりに異常検知の説明性向上を図る 実験評価計画
音響イベント検出モデルの学習・比較: 8-9月
課題
in its entirety appear in all copies of this Work, and the original source of this Work,
(Machine Listening Group at Tampere University),
is acknowledged in any publication that reports research using this Work.
Any commercial use of the Work or any part thereof is strictly prohibited.
学習に使う半教師あり学習の手法を検討
精度への影響を調査: 9月
前処理,後処理
モデルの構成要素
連合学習の集約法を考える: 9月
実験・考察は適宜行う
評価方法
ベースラインやSOTAと比較
課題は二つ
指標及びその程度はのSupplementary metricsを参照 FLを適用した場合の精度を比較
従来手法と比べて遜色ない精度が出せればOK
特段必要なリソースはない
実機は使用しない
余力あればやるかも
内容に対する問い
Gemini: プライバシーが保護された連合学習環境において、各クライアント（家庭）が持つラベルなしデータを半教師あり学習で活用することは、AALにおける行動認識の精度を、データを中央サーバーに集める従来の手法と比較してどの程度維持、あるいは向上させることができるか？ 僕の疑問: 拡散モデルによる合成データ生成など,ラベルなしデータを使わずに済む手法があるが,本当にラベルなしデータを使う必要はあるのか?
回答: ラベルなしデータを使う,というより,ローカルのクライアントのデータを使うことが重要.理想としては,それぞれの環境に応じたモデル最適化を行いたいが,それは今後の展望となる.
疑問2: DCASE 2024は確かにデータの異質性に対処するような話だが,ローカルクライアントでもそのような工夫が必要なのはなぜ? それ該当ページ見れば書いてあると思う
ドキュメント化のために調査が必要な点
x 半教師あり学習は連合学習でどう行う? > 多分そのまま集約 ある論文には表現学習をするとあったが
これよく見たら2021年じゃん
疑似ラベリングのバイアスが課題
より頑健な半教師あり学習手法の採用が求められる
あるいは表現学習?
異常検知モデルの説明性
そもそもAAL関係の異常検知モデルがどうなっているか
出来なければ今後の展望になる
エッジデバイス向けのモデル縮小
量子化
知識蒸留
セキュリティやプライバシの担保
異常検知の実装
異常検知層の追加
スケーラブルなモデルか
計算量やエネルギー効率を見る
イベント情報が異常検知の説明性向上に貢献するのか
将来的に考えたい仮説
サーベイが不足している
異常検知の手法を理解していない
気になるのは
? 音響イベント検出について,複数種類の異常イベントを検出する研究はあるか 埋め込み空間の距離で異常の特性を推測できる
異常音検知は単なる異常か正常かの判断から,どんな異常かの識別に移行している
先行研究は?
僕がやりたいのは異常音検知ではなく,時間的文脈に関する異常検知
異常な音は音響イベントとして学習しておく
異常音検知として処理するアプローチもあるのか?
考えられる異常イベントを網羅できそうにないなら,正常なデータから学習を行う手法もあり
まだデータセットを探している段階だし,以前の研究で異常イベントの検出をSEDでやっていたはずなため,検討段階で良いと思う
半教師あり学習で対処できそう
予め集まっている異常イベントは学習
他のイベントはその他として弾く
平常時を学習し,それ以外を異常として判断する
? 音響イベント検出は異常検知の説明性向上に貢献するか ! SEDの出力を手がかりに異常検知する先行研究を探す 異常検知に関する部分が非常に参考になる
参考論文を読みにいけば良さそう
? 音響イベント検出 > 時間的異常検知の順でやるよ,と言っているが先行研究どれだ? 少し違いそうな論文
? AALにおける,日常生活パターンからの逸脱を捉える異常検知はどのような仕組みか 音による異常検知はあるか
卒論の今後のサーベイを考える
異常音検知を全く調べてない
時系列の異常検知について理解が不足している
一部は自分で読んでいるが,ほんの一部
必要なところだけ読み,メモを残す形が良い
LLMは触りや疑問の解消など家庭教師的に使う
改めて論文を読んで行こう
必要そうな論文を予めピックアップする形式は今回だと非常に面倒
一本ずつ読んでいき,都度次に何を読めばいいか考える形式に変更する
説明自体は概ね間違っていないが,僕が読んでないので実感がなく,あまり効果がない
読むかどうか判断するのにはフレームワークは良い