Gemma 4 12B
https://gyazo.com/51dfaa992d6b24007f1e112e338fdd8c
https://blog.google/innovation-and-ai/technology/developers-tools/introducing-gemma-4-12B/Introducing Gemma 4 12B: a unified, encoder-free multimodal model
https://developers.googleblog.com/gemma-4-12b-the-developer-guide/Gemma 4 12B: The Developer Guide
https://huggingface.co/google/gemma-4-12Bgoogle/gemma-4-12B
従来のMLLMにある重いVision Encoder / Audio Encoderを外したencoder-free multimodal model
https://gyazo.com/fc793f2f651d8e612246efb57a61b14e
画像は48×48pxパッチに分割し、1層のvision embedderでLLM hidden dimensionへ射影
音声は16kHz波形を40msごとのフレームに切り、同じく線形射影でLLM入力へ変換
画像・音声の理解もLLMにやらせる