2025/7/18 研究計画書発表会
自分の発表
メモ
もっと先行研究をサーベイした方がいいよね〜
AAL * SED | SED * FLとか
まだ不足してるんだよな
補強していこう
具体的な資料を補強する
口頭で言うので録音しておこう
世界的な資料とかドキュメント化するために集めよう
DFL研究のスキーム的な図が参考になる
僕も作ろうかしら
関連研究で地図を作るイメージ
僕はシミュレーション環境などを考えていない
どこかでそれらを設定する必要がある
今気になっているのは,現状だと内容が浅いこと
技術的な込み入った話を全部避けているので仕方ないか
これからはそういった部分も読んでいこう
もちろん,理解が不足している部分は,研究目的含めて適宜調査する
反省
話そうと思っていた内容を話してない
反省点は色々ありそうだが,一旦落ち着こう
録音したから後で聞き返せるよ
特に疑問とかを聞いてくれ,とか言うのを忘れた
先生の指摘
SEDについて,先行研究を交えて,自分の工夫点を主張した方が良い みんなのコメント
後でみる
批判的なコメントが欲しかったのだが...
先輩のコメントが一番参考になりそう
ありがたい...!
圧倒的感謝
背景から目的までの流れが自然で理解しやすかった。ネットワークの構成イメージがつかみづらい気がしたので、フローチャートなり構造図を一回作成すると、今後進めるうえでもよいかと思った。
連合学習だから、エッジ完結ではなく中央に学習後のパラメータを集めて、何を解決したいのか（つまり、精度比較は何を対象に行う）？
音響イベント検出では、AALのプライバシー解決できない？
CNN＋RNNのほかに、Attention機構をエンコーダにしたRNN手法もあるから、試してみても良いかも。
精度比較は幾つかのパターンに従って作った音響イベント検出モデルを連合学習し,それと従来研究のモデル+自分のモデルの非連合学習と比較する想定でいる
音響イベント検出はAALのプライバシー問題を解決できない
と思う 確かに,指摘の通りできるかもしれない
エッジ完結であればデータが移動せず,問題ない
中央集権的な手法を使うとなると無理だと思う
エッジ完結の手法なら問題ないが,それだと柔軟性に欠けたシステムになる
と思う
複数の環境に適応するのが難しそう
実はローカルのデータを活用してモデルを組むのが一貫して理由になっている
ローカルに眠る豊富なデータを用いて,より柔軟かつ精度の良いモデルを組む,という想定
ただ,継続学習による破滅的忘却が問題になる
! エッジ完結の手法と比べて精度が本当に出るのか,という問題もある エッジで閉じれば
プライバシー的な問題がなくなるし
適応的な手法を取ればパーソナライズも問題ない
システムとして保守が大変そう
FLであればモデル更新した際に配布するなどの対応が取れる あとはなんだろうな〜
もしかするともっとサーベイしないと足りないかもね
Attension機構をエンコーダにしたRNN手法
僕が最初に言っているのは割とそれだと思うんですよね
? 事前学習済みモデルを特徴抽出に使うのとエンコーダとして用いるのがどう違うのかがよく分からない ! モデルアーキテクチャや学習法を模索する予定だったので,合わせてサーベイしよう 楽曲の推薦
アイテムベースかユーザベースで迷っている
手法次第で利用するデータが異なる
アイテムなら曲の特徴量を利用
ユーザなら該当データセットを適宜利用すれば良いらしい
データセットは捜索中みたい
使用モデル
決定木までは聞いたことがあるが,SVDとはなんだろう
評価指標
マーケティングの推薦で聞いたことのある係数が多い
ユークリッド距離は特徴量空間上で距離を見るということ?
ユーザが持つ視聴履歴を用いるらしい
継続学習を行うのか?
多分違う
完成したモデルに入力を与える形
視聴履歴を用いない手法はちょっと複雑?
強化学習で動的なVNF配置を実現
5Gネットワークを念頭に置いている
DRL: 強化学習のこと
DDPG,PPOは個別の手法名
研究の課題
汎化性能が不明確,という点が一番気になった
確かに改善すべき課題に感じる
そもそも一般化が難しいテーマということなのかな
評価指標は研究によってバラバラだったということか?
想定している環境が同一であれば,それぞれ比較することに意義を感じる
研究目的に注意が必要では
交通に関するサイバーフィジカル同時最適化
道路や信号などの物理的リソースと通信を同時に扱う
これも強化学習で信号制御と通信負荷に関する制御を行うみたい?
どのくらいの計算リソースが必要になるのだろう?
あとリアルタイム性が気になる
セマンティック通信
精度保証をどうやって求めるのか,精度をどこまで追求するかが気になる
従来の通信手法について,セマンティック通信以外の,効率的な通信手法を比較するのかが気になる
感情分析をLLMで補助
従来手法の精度向上が目的
それは何が目的?
補助文を含める以外の手法は検討されている?
インフルエンザの感染推定
従来手法は時系列データを使用
感染者の分布とかかな
提案手法は空間的な情報を使用
都市の構造や人流を考える
可視化をなぜ先にやるか気になったが...
モデルを構築してその結果を可視化するまでを研究として行いたい
そこで事前に可視化を作っておきたい,ということでは
HTTPリクエスト異常検知の効率化?
オートエンコーダだと教師あり学習モデルに精度が劣るらしい
特徴抽出に使用している事前学習済みモデルを置き換えて検証中
推論時間の観点で疑問が残る
これから検証する予定
先行研究が気になる
LLMを多段階に使ってコード生成タスクを解く
CodeRagを使った方がより性能が出る問題が前提
ADASWITCHを色々活用したい
これまでは限定的な用途を考えていた
補足の情報量が多い!
集中して聞いた方が良かった...
多段階利用って何をするの?
各タスクにLLMを適用するイメージで合ってる?
LoRA層を切り替えると言うのはタスクごとだろうか?
各タスク向けにファインチューニングしておく?
DFLとP2P
オーバーレイネットワークでは現実と距離で齟齬がある
論理と物理の距離が一致しない
想定外の遅延が発生する可能性
論理・物理における齟齬がDFLに与える影響を見る
研究の目的が気になる
結局何がしたいの?
多分DFLの実環境での応用に際して齟齬が問題になるのだと思うが...
ネットワーク異常検知のリアルタイム性を向上
Transformerで異常検知するんだって
T-NAE: これ二値分類なのかな
僕も異常検知を将来的に考えているので気になる
異常音検知とか何かやっていた気がする
僕はどちらかというと時系列異常検知だが
Transformerは多分僕も使うので,どういった手法か気になる
T-NAEにはリアルタイム性に難点がある
推論にある程度まとまった入力が必要なため
これをAERの一部を導入して解決
過去のデータを活用して異常検知を行う部分が存在
それを活用し,リアルタイム性を向上する
各クライアントで用いるデータの分布は異なっており,学習すると特徴が異なるので自然とデータが異なることになる
統合する際に偏った空間を平均化することになり,お互いの重みなどが潰しあうなどが考えられる?
損失関数に工夫がある
ローカルモデルをグローバルに寄せる
? 損失関数に正則項を加えてグローバルに寄せる手法とどう違うのか良く分かっていない 課題意識が理解できてない
多分ロジットが理解できてないため
蒸留で出力するモデルの情報だったような
SVMによるIoT機器向けの異常検知システム
SVMでどのように異常検知を行うのかよく分からない
* 半教師あり学習を調べていた際,LLMでデータを生成し,大量のデータを前提とした大規模な事前学習済みモデルの用意するといった研究があったと記憶している 僕の場合は事前学習済みモデルが既にあるのと,その学習に用いる音データは十分揃っているので不要に見える
異常イベントに関するデータは,もしかしたら生成を活用することになるかも?
祖母に協力を求めた方がよさそう
謎