3Dガウシアンスプラッティング

3D Gaussian Splatting(以下3DGS)とは、複数の視点から撮影した画像から、3Dシーンを作成する手法

動画や複数枚の写真から精巧な3Dモデルを自動生成できるようになるとのこと。

稲荷神社のガウシアンスプラッティングです。生成したスプラットを見た瞬間に驚愕しました。

空間3Dシーン化に関わっている人ほどヤバさが分かるはず。ZV-E1の4K動画からPostshot(@jawset

)でスプラッツ生成。

Rust実装

ガウススプラッティングを使用した3D再構築エンジン。

macOS/windows/linux、AMD/Nvidiaカード、Android、ブラウザなど、幅広いシステムでレンダリングとトレーニングが可能。

これを実現するため、brushはWebGPU互換の技術を使って構築されており、実質的にどこでも実行できる！ポータブルなwgpuバックエンドを持つBurnフレームワークを使う。

このプロジェクトは現在まだ概念実証であり、開発されたガウス・スプラッティングの拡張機能はまだ実装されていませんし、パフォーマンスもまだ最適化されていません。