杉田が今まで読んだ論文リスト

2024/08/23

発表会議：DEIM 2024

著者：澤田一正、坂地泰紀、野田五十樹、小山聡

所属：北海道大学、名古屋市立大学

詳細：条件付き画像検索の精度と多様性を向上させるため、生成AIと 従来の画像検索モデルを組み合わせた手法の提案

＜メモ＞

既存の条件付き画像検索システムの使用の選定

従来の画像検索モデルを強化する生成AIの導入

提案手法と既存の条件付き画像検索モデルの検索クエリに対する適合比と検索結果の多様性を評価

特徴量抽出：CLIP

コサイン類似度

2024/08/30

発表会議：DEIM 2022

著者：片山一、牛尼剛聡

所属：九州大学

詳細：ユーザの目的に関連した POI 推薦と目的に対応付けた各 POI の説明を提示するシステムの作成

＜メモ＞

追加の事前学習とfine-tuningによるデータの学習

クエリに基づいたPOI推薦制度の評価

クエリに関するレビュー文の抽出方法の比較

POI (（Point of Interest）

地図上に掲載されている特定の場所や施設のこと

BERT　の2種の事前学習「MLM」（マスク言語モデリング）「NSP」（次文予測）

2024/09/06

発表会議：DEIM 2024

著者：藤原 虎留、王 元元、岳 五一

所属：山口大学、京都情報大学院大学

詳細：観光地の魅力をより効果的に伝えるためのショートビデオを活用した観光地紹介ビデオの自動生成手法の提案

＜メモ＞

データ収集とラベル・タグ付け

関連する観光地の特定と観光地紹介ビデオの生成

有用性を評価するアンケート調査

「Word2vec」：単語を数値ベクトルに変換するための技術

CBOW（Continuous Bag of Word）：前後の単語から中心の単語を学習

Skip-gram：中心の単語からその周辺の単語を予測し学習

2024/09/13

発表会議：DEIM 2024

著者：河田 友香、山本 岳洋、大島 裕明、藤田 澄男

所属：兵庫県立大学、LINE ヤフー株式会社

詳細：商品属性とレビューの関連性を予測するためのモデルを構築し、レビューがその商品属性に関連しているかどうかを判断する手法を提案

＜メモ＞

商品属性とその商品に関連するレビュー（正例）および関連しないレビュー（負例）をデータセットとして準備

BERTモデルをベースに、レビューと商品属性の関連度を予測するモデルを構築

レビューや商品属性のトークンにマスク処理を施し、そのマスクされた部分を予測することで、レビューと商品属性の関連性をより正確に学習するための追加事前学習を行う

モデルの評価

関連度予測タスク：レビューが商品属性に関連しているかどうかを二値（関連あり・関連なし）で予測するタスク。

レビューランキングタスク：商品属性に基づいて複数のレビューをランク付けし、最も関連性の高いレビューを上位に表示するタスク。

シグモイド関数（活性化関数）、バイナリ交差エントロピー（損失関数）、誤差逆伝播法

2024/09/20

発表会議：DEIM 2024

著者：前田 直宏、山本 岳洋

所属：兵庫県立大学

詳細：Webページの記事からサムネイル画像を生成する手法の提案

＜メモ＞

Webページ記事を分割し要約することでプロンプトを作成

プロンプト分類における分類モデル評価

サムネイル画像の生成における手法・モデル評価

プロンプト分類モデル：ランダムフォレスト、XGBoost（←アンサンブル学習）

LexRankによる重要度抽出

2024/10/04

発表会議：DEIM 2024

著者：藤井真梨乃、河田 友香、山本 岳洋

所属：兵庫県立大学

詳細：商品レビューの検索を行い要約文を表示するインタフェースの提案

＜メモ＞

クエリと類似するレビュー文の抽出と要約

ユーザ実験のアンケートによる手法の評価

システムのレビュー検索精度評価

Few-shotプロンプトを用いた大規模言語モデルの効果的な利用

インタフェースの提案をしており、発表の仕方が肝

2024/11/1

発表会議：IEEE Access 2019

著者：FARHAN ULLAH, BOFENG ZHANG, REHAN ULLAH KHAN

所属：Shanghai University, Qassim University

詳細：画像ベースの類似商品検索システムの提案

＜メモ＞

RFによる商品のカテゴリ分類を行うことで精度が向上

DLとRFを組み合わせることでさらに高精度な分類が可能

画像から特徴量を抽出

画像のカテゴリを分類するモデルを作成

特定されたカテゴリ内の商品から類似する商品を検索

2024/11/8

発表会議：ECCV 2024

著者：Viraj Shah、Nataniel Ruiz、Forrester Cole、Erika Lu、Svetlana Lazebnik、Yuanzhen Li、Varun Jampani

所属：Google Research、 Illinois University

詳細：訓練されたLoRAの効率的な統合方法の提案(ZipLoRA)

＜メモ＞

提案手法が既存のLoRA統合方法に比べて高い評価を得た

被写体、スタイルのLoRAを作成

2つのLoRAを統合

定性的、定量的実験評価

LoRAの統合の際、「マージ係数（学習可能な係数）」を利用し、互いの持つ情報が干渉しあわないように必要な情報のみを取捨選択している

LoRAのスパース性

マージ係数同士のコサイン類似度が大きいほど情報が干渉してしまう

統合LoRaと統合元LoRA間で生成画像を比較し差を算出

「コサイン類似度」と「画像間の差」が最小になるような損失計算でマージ係数を決定

＜キーワード＞

DreamBooth、StyleDrop、学習可能な係数（名前忘れた）、SDXL、LoRA

2024/11/13（発表なし）

発表会議：DEIM 2023

著者： NgocAnh VUTHI, Yoshiyuki SHOJI, Huu-Long PHAM, and Hiroaki OHSHIMA

所属：静岡大学、兵庫県立大学

詳細：与えられた画像を生成するのに適したLoRAの発見手法

＜メモ＞

サンプル画像を各LoRAを用いて変換し、学習データセットを作成

学習データセットを用いてResNet50というCNNベースの多クラス分類器を画像分類タスクでファインチューニング学習

変換後画像とラベル（各LoRA名）でResNet50の一部をバックプロバケーションで学習

完全接続層を１つ追加（分類精度の向上）

入力画像がどのLoRAであるかを確率で計算し、上位を表示

2024/11/14（発表なし）

発表会議：なし（arXiv preprint）

著者： Youcan Xu , Zhen Wang, Jun Xiao, Wei Liu, Long Chen

所属：Zhejiang University, Hong Kong University of Science and Technology ,Tencent

詳細：LoRAのように訓練を用いず被写体の構造を保ちつつスタイルを変換

＜メモ＞

被写体の構造とスタイルの億丁を分離してそれぞれを個別に操作（２段階生成））

与えらえた画像から被写体の画像を再生成することで被写体の基本的な特徴を保持

被写体に追加情報（どこで何をしているか）

スタイル画像から特徴（美的な要素９を抽出しそれを基に被写体の外見を変更

モデルマージとは異なる（異なる画像の特徴を分離・結合）

生成したい被写体を含む画像と、その被写体に適用したいスタイルを含む画像の2枚を基にして、特定の被写体を特定のスタイルで生成する手法

LoRAのように訓練が必要なモデルを利用しない

2024/11/19

発表会議：COLM 2024

著者：Chengsong Huang, Qian Liu, Bill Yuchen Lin, Tianyu Pang, Chao Du, Min Lin

所属：Sea AI Lab, Washington University, Allen Institute for AI

詳細：複数の事前学習済みLoRAモジュールを統合する「LoRAHub」を提案

＜メモ＞

LoRAモジュールをランダムに20個選択し係数をかけて統合

係数をタスクに合わせて最適化

BBHベンチマークタスクによる評価

LoRAモジュールの統合手法としてのCMA-ESアルゴリズムの効果

少数ショットデータを活用した効率的な学習プロセス

結構怪しい論文

2024/11/29

発表会議：ECCV 2024

著者：Yarden Frenkel, Yael Vinker, Ariel Shamir, Daniel Cohen-Or

所属：Tel Aviv University, Reichman University

詳細：1枚の画像の被写体・スタイルを個別に学習するB-LoRA学習の提案

＜メモ＞

Stable Diffusionの特定ブロックが画像生成に大きく影響

B-LoRAは低い計算コストで高い精度

画像生成モデルの分析

B-LoRAモジュールの作成

定性的・定量的評価で各手法の精度評価

2024/12/11

発表会議：DEIM 2024

著者：ファムフーロン、三林 亮太、山本 岳洋、加藤 誠、 山本 祐輔、莊司 慶行、大島 裕明

所属：兵庫県立大学情報科学研究科、筑波大学図書館情報メディア系、静岡大学 情報学部、名古屋市立大学データサイエンス学部

詳細：K近傍法による特定のタスクに最適なBERTモデルの検索

＜メモ＞

特定タスクの訓練データによるモデルの出力ベクトルと訓練データラベルより１近傍モデルを構築

構築したモデルに検証データによるモデルの出力ベクトルを適応し計算されるラベルの正解率を計算

ラベルの正解率の高い順にBERTモデルランキングを作成

作成したベンチマークデータセットによる手法評価（正しく検索できているか）

2024/12/17

発表会議：ACL 2024

著者：Ziyu Zhao, Leilei Gan ,Guoyin Wang, Wangchunshu Zhou, Hongxia Yang, Kun Kuang ,Fei Wu

所属：Zhejiang University, ByteDance, AIWaves INC., Shanghai AI Laboratory

詳細：入力タスクに基づいた最適なLoRAの動的な検索・統合

＜メモ＞

自然言語処理タスクでLoRAを作成

入力に対応するLoRAを検索するモデルをFT

複数の条件下で提案手法の検索精度を評価

入力に基づくLoRA検索と統合が既存の手法より高い精度

未見のタスクにも高い一般化能力を示した

MoE(Mixture of Experts)

2024/12/23

発表会議：arxiv 2024

著者： Takuya Akiba, Makoto Shing, Yujin Tang, Qi Sun, David Ha

所属：Sakana AI

詳細：進化的アルゴリズムを用いた自動的モデルマージ手法の提案

＜メモ＞

パラメータ空間とデータフロー空間両方でモデルの最適化を行い統合

パラメータ空間：モデルのレイヤーレベルのパラメータを混合するための重みを進化的に最適化

データフロー空間：モデル内のレイヤーの並び替えを進化的に最適化（データがどの層をどのような順番で通過するのか）

＜要点＞

TIES-Merging

モデル巻の干渉を軽減するため、冗長なパラメータや矛盾するパラメータを調整

パラメータのスパース化（重要でないパラメータの削除）

DARE

微小なパラメータ差異を無視し、大きな差異を強調して融合

進化的アルゴリズム（CMA-ES）

重みの初期値を設定しタスクの性能に基づいて進化的に最適化

2024/ /

発表会議：EMNLP 2024

著者：Zhiqi Wang, Shizhu He, Kang Liu, Jun Zhao

所属：University of Chinese Academy of Sciences

詳細：質問文に対して最適なLoRAの選択と統合を行う手法の提案

＜メモ＞

選択候補LoRAの作成とエンベッディング

質問文に最適なLoRA選択と統合

BBHベンチマークタスクによるタスク処理精度の評価

提案手法が「LoRAHub」のような既存手法より高精度

高度に構造化されたタスクが苦手

入力に質問文に加えて複数の入出力例を利用（Few-shotプロンプト形式）

2024/ /

⑯

発表会議：

著者：

所属：

詳細：

＜メモ＞

2024/ /

⑰

発表会議：

著者：

所属：

詳細：

＜メモ＞

2024/ /

⑰

発表会議：

著者：

所属：

詳細：

＜メモ＞

2024/ /

⑰

発表会議：

著者：

所属：

詳細：

＜メモ＞

2024/ /

⑰

発表会議：

著者：

所属：

詳細：

＜メモ＞

2024/ /

⑰

発表会議：

著者：

所属：

詳細：

＜メモ＞

2024/ /

⑰

発表会議：

著者：

所属：

詳細：

＜メモ＞