HAR-FLで想定されるシナリオ
目的
音による見守りシステムの構築
労働量を削減し,人手不足の改善に貢献
特に介護や医療
夜の巡回
容態の急変など,異常にリアルタイムに対応
これが問題になっているかは要サーベイ
備え付けのバイタル系の装置で分かりそうなものだが...
主に転倒などのイベントを検知
要検討?
比較的安価に実現し,見守りシステムの普及を推進
音である理由
プライバシー保護: 音響データ、特に音声データは会話内容や声の特徴など機密性が高く、中央集権的な収集にはプライバシー上の強い懸念が伴います。FLは生データをデバイス外に送信せず、モデル更新情報のみを共有するため、このプライバシー課題に対応する効果的な手段です。
非侵襲性: 利用者がセンサーを装着する必要がなく、日常生活への影響を最小限に抑えられます。これは、特に高齢者ケアなど、利用者の負担を減らしたいAAL（環境支援型生活）の文脈で重視されます。
情報量: 活動、安全、健康状態に関する豊富な文脈情報を提供し、特定の緊急事態の検知に有用です。
音利用について
HARシステムは、音が発生する時間的な文脈や、その特定の利用者の「正常」なパターンの学習に基づいて音を解釈する必要があります。FLは、グローバルモデルで一般的な音響シグネチャを学習しつつ、各デバイスでローカルに適応することで、個人化された正確な異常検出を可能にします
前処理を考える必要がある
より良いモデル構築のため,どのようなデータの特徴を捉える必要があるか,そのためにどのような前処理が適切か考える
ノイズなども考慮する??
プライバシー性の高いタスクを出来るだけリスクを抑えて実行
必要ならさらに施策を打つ
パラメータを細工
エンドツーエンドな通信
個々のクライアントに適応した検知を実現
空間などの環境に適応
場所
病院や老人ホームなどの施設
各部屋に集音器含むIoTデバイスを設置
クライアント数はおよそ30~100(なんとなくの値)
手法
FLを使用
どのような行動をしているか判断
異常をリアルタイムに検知
転倒
異様な咳き込み
窓ガラスの割れる音
苦痛に満ちた声
など
懸念
対応したいイベントの整理とデータ収集が必要
オープンデータがあればそれの活用
多様なイベントの対応を考える
バランスよく学習する必要がある
確率論的に学習すれば,少しずつ分布がずれて望ましい結果になると思われる 最終的に全体を区別できるいい感じのモデルになる
対応したいイベントを考える
イベントに応じたデータで学習
いい感じのデータを選ぶ
クラスタリングなどでデータを分析
目的に必要そうなデータを選択
少量のデータでモデルを構築
モデルを使って良さそうなデータを選別
繰り返して良さそうなデータを集める
ラベルなし学習とラベルあり学習のどちらが望ましいか
パーソナライズは可能か
ユーザごとの行動の傾向などに適応していると,その環境にいるユーザが変わった時が大変そう
せっかくFLを使うなら,そういった特徴も活かしたいが...
実環境での学習をどうするか
緊急イベントは滅多に発生しない
データの偏りが生じる
検出精度に不安
事前学習済みモデルを使用とか?
他
プライバシーリスク: 生データの機密性や、共有されるモデル更新からの情報漏洩（勾配漏洩）。音響特徴の選択によってもリスクが変動します。
ノイズと異質性: 実世界の家庭環境は音響的に複雑で、背景ノイズや異なる家庭間の音響特性の異質性が課題となります。
データ不足と不均衡: 実世界の緊急イベントデータは希少であり、データセットが不均衡になりがちです。質の高いアノテーションを付与することも難しいです。
モデルの汎化性能とドメインシフト: ある環境で訓練されたモデルが別の環境で性能が低下する「ドメインシフト」が発生する可能性があります。
計算・通信リソース: オンデバイスでの特徴抽出や訓練、モデル更新の通信にリソースが必要であり、特に低電力デバイスや低帯域幅ネットワークでは課題となり得ます。
ユーザー受容性: カメラやマイクロフォンへの抵抗感、特にプライバシー意識の高い文化圏（例：日本）で顕著です。
倫理的考慮: 公平性、説明責任、透明性、システムの安全性（見逃し・誤報の防止）などが重要です。
新規性
リアルタイム性
緊急性のある音響イベントの検知と異常検知
FLであること??
HAR-FLの先行研究との比較が必要
将来性
説明性の向上