faster Whisper

このリポジトリでは、Transformerモデルの高速推論エンジンであるCTranslate2を使って、Whisperのトランスクリプションを実装する方法を示しています。

この実装は、同じ精度でopenai/whisperと比較して、より少ないメモリ使用量で最大4倍高速です。CPUとGPUの両方で8ビット量子化を行うことで、さらに効率を向上させることができます。

https://gyazo.com/fee2091daf16cd8d4a4dd5f62d52d26d

4GBで動くのか