Sora
https://openai.com/sora
https://openai.com/research/video-generation-models-as-world-simulatorsVideo generation models as world simulators
https://arxiv.org/abs/2402.17177Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models
OpenAI
text2video / world simulator / image2video / video2video
https://zenn.dev/mattyamonaca/articles/e234e57834d7ad【AI動画生成】Sora 要素技術解説 by 抹茶もなか
https://huggingface.co/collections/fffiloni/sora-reference-papers-65d0c8d4891646a27b84c4a8Sora Reference Papers
diffusion Transformerと言う新単語？が出てる基素.icon
diffusion modelであり、transformerをつかってスケーリングしている
まともに読んでないですが、この論文から来てるのかな？nomadoor.icon
Diffusion Transformer
映像を学習しまくった結果世界モデル(物理シミュレータ)風に動くようになった、とあるwogikaze.icon
最近LLMをどうコンパクトに動かすかの研究が多かったけど、創発は結局のところ数で殴ることでしか起きないのかなnomadoor.icon
最近だとBase TTSも同じように数で殴ったら感情を表現できるようになった
みんなサム(パラハラの終焉)に騙されたんだぜ！
TinyLlama-1.1Bとか見てると小さくても学習数を増やせばどうにかなるみたいな流れは結局あるwogikaze.icon
AK(@_akhaliq)
Open AI introducing Sora
text-to-video model
Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions.
http://openai.com/sora
https://video.twimg.com/ext_tw_video/1758190624732512256/pu/vid/avc1/1280x720/UkX1I85YBuFLY26w.mp4?tag=12#.mp4