モデルの内部構造解析
Large Language Model
Transformer
Embedding model
ニューラル構造探索(NAS)
統計的機械学習
説明可能AI
深層学習の原理
AIの圧縮・高速化
動的transfomerの実験
https://zenn.dev/if001/articles/248e90428738eb
The Landscape of Memorization in LLMs: Mechanisms, Measurement, and Mitigation
https://arxiv.org/abs/2507.05578
関東Kaggler会LT: 人狼コンペとLLM量子化について
https://speakerdeck.com/nejumi/guan-dong-kagglerhui-lt-ren-lang-konpetollmliang-zi-hua-nituite
深層学習が多層の膨大なパラメータを学習できる雰囲気を理解する
https://zenn.dev/green_tea/articles/2875587a23442a
Exploring Direct Tensor Manipulation in Language Models: A Case Study in Binary-Level Model Enhancement
https://areu01or00.github.io/Tensor-Slayer.github.io/ai/research/tensor-manipulation/2025/07/19/tensor-slayer-framework.html
従来の勾配ベース手法とは異なり、既存の重みを外科的に修正してパフォーマンス向上を目指す。大規模言語モデルを使用してターゲットモデルのアーキテクチャと重み分布を分析し、特定の修正案を推論とともに生成する。
https://bbycroft.net/llm
https://note.com/npaka/n/n0741bdca11f5
attention viz
/work4ai/Attention Viz
WHAT MATTERS IN TRANSFORMERS? NOT ALL ATTENTION IS NEEDED
https://arxiv.org/pdf/2406.15786
機械論的解釈可能性の紹介
https://zenn.dev/rtakatsky/articles/b1dba521879845