Molmo
https://youtu.be/spBxYa3eAlA
https://molmo.allenai.org/
Demo
https://molmo.allenai.org/blog
blog
https://molmo.allenai.org/paper.pdf
Molmo and PixMo: Open Weights and Open Data for State-of-the-Art Multimodal Models
https://huggingface.co/collections/allenai/molmo-66f379e6fe3b8ef090a8ca19
Molmo
MolmoE 1B
Molmo 7B-O
Molmo 7B-D
Molmo 72B
オープンソースの
VLM
PixMo
:
データの質は量に勝る
データの質に強く焦点を当て、1M(100万)未満の画像とテキストのペアで強力なモデルを訓練
多くの競合アプローチに比べて、データ量が3桁も少ない
既存のVLMを使った蒸留は行わない