Osprey
https://gyazo.com/aff30565db016870fdab5e19f753a74f
https://github.com/circleradon/osprey?tab=readme-ov-fileCircleRadon/Osprey
https://huggingface.co/sunshine-lwt/Osprey-7b/tree/mainsunshine-lwt/Osprey-7b
Ospreyは、MLLMを拡張するマスクテキスト命令チューニングアプローチであり、ピクセル単位のマスク領域を言語命令に組み込むことで、きめ細かな視覚的理解を可能にする。
https://youtu.be/YsxqHBBnDfk