メモリが足りません。
このエラーメッセージは、AviUtlのversion 1.00までが出すメッセージ
version 1.10以降はメモリの確保に失敗しました。キャッシュサイズを調整して再試行しますか?になっています。
1.10で一部のメモリを共有メモリに置いてくれるようになったので、メモリ使用量を減らすが期待できます。
1.00でしか出来ないことというのは無いはずなので、1.10に更新して下さい。
#トラブルシューティング