Whisperを試す
2022/9/23
Whisperを試す
https://github.com/openai/whisper
https://github.com/openai/whisper#setup
Colabで試せるけどオーディオのアップがメンドクサイ。macでやってみる
インストール
code:zsh
brew install ffmpeg
# cloneしたリポジトリのrootで
python3 -m venv env
source env/bin/activate
pip setup.py install
ModuleNotFoundError: No module named 'setuptools_rust'
# なんで〜！
pip install setuptools_rust
#　もう一回
pip setup.py install
#　通った
実験1. NFTアート複製してみた（短尺動画）のずんだもんの声
actual: NFTアートは複製できないアートのことなのだ
code:zsh
whisper 001_ずんだもん.wav --language Japanese
The cache for model files in Transformers v4.22.0 has been updated. Migrating your old cache. This is a one-time only operation. You can interrupt this and resume the migration later on by calling transformers.utils.move_cache().
# 461MBのモデルのダウンロードが始まる...
00:00.000 --> 00:02.660 NFTアートは複製できないアートのことなのだ
これぐらい綺麗だと完璧
Google Cloud Speech-to-Text APIは有能なので、それで処理できていないようなものができるのか試したいけど、使い倒していないので知見がない
例えばVTuberの配信は背景音が入っているので結構難しい印象があるが、確認してみたら多少の背景音程度ではrobustだったので差異がわからなそうだった
https://gyazo.com/5abddb8fdd4f7453b1e08cc374d23c40
https://youtu.be/6v62DqV7PcY?t=319
実験2. 歌
歌は背景音が大きいし、メロディに合わせて言葉を載せるので話し言葉とは全然違い、難しい印象がある
君の名は。のO.S.T.からRADWIMPS スパークルをWhisperに文字起こしさせた結果
基素.icon
前半は結構いい（冒頭に謎の誤認識がある）
ここが変
「8月のある朝」が「八月のあるアルワイト」
クスッとした
「はにかんではすましてみせた」が「はにかんではすましてミスター」
後半は音声がループしてておかしい。計算が狂っているか音声がちゃんと処理されていない印象
一番最後はあってる
結果がstreamで吐き出されるのいい
途中経過がわかりやすい
実験3. ラップ。YouTubeの翻訳（おそらくGoogle Cloud Speech-to-Text API）が役に立たないケース
YouTubeの翻訳は日本語のラップを全く認識しない
https://gyazo.com/023a40fbf0d86354edd9b12d3bb9593f
https://www.youtube.com/watch?v=odRbaCjFQxQ
code:翻訳結果
00:00.000 --> 00:04.800 先行 リョーカルマー コーコー アウソリティ レディ ファイ
00:06.100 --> 00:09.000 結晶で会えるといいと思ってた アウソリティと
00:09.000 --> 00:12.400 こんなとこで会うことになる ターナ ワカメナ
00:12.400 --> 00:15.300 パーマーじゃなくて やなさけの上でやるだけ
00:15.300 --> 00:20.300 頭 花畑 咲いた花 お前がはちらした花 一瞬で散らす
00:20.300 --> 00:25.000 女装 財布にまえて青森 真っ黒にしてある 覚悟し時計や
00:25.000 --> 00:29.700 今日は俺がチャレンジャー めちゃ前者 めっちゃ危ねえ わかってんか
00:29.700 --> 00:35.000 今日は俺が挑戦者 挑戦者 わかってんか 俺は危ねえな
00:35.000 --> 00:39.400 いつも上から目線だけど 今日は下からえぐり上げて行く
00:39.400 --> 00:44.400 この後に守ってる先輩に ボリファスインドを渡しに行く
00:44.400 --> 00:48.000 なんでそんなこと言うの なんでそんなひどいことをするのって
00:48.000 --> 00:50.700 ここはバトルの現場だよ わかってんか バーカー
00:50.700 --> 00:54.900 甘えてる奴らには容赦しねえぞ 奥さん年中と違う
00:54.900 --> 00:57.900 下ネタを使わなくても 首を刺したおばすだけだ
00:57.900 --> 01:03.100 女でも容赦しない エースがやってたイベントだぜ わかってんか ここは
01:03.100 --> 01:07.400 お前アイドルで活性で 飯食ってきたくせに 無価するとはなった
01:07.400 --> 01:13.100 俺はランパーって言われたって 平気だって ラップで活性で来た 飯で食ってくからな
01:13.100 --> 01:18.000 暴力ふるうったって ガンジャースったって ステージに上がれるのが ランパーがわかるか
01:18.000 --> 01:23.600 司会者は別だぜ だがランパーにはタブはねえんだよ バーカーが
01:23.600 --> 01:28.300 俺がしがみついてんのか 俺の後についてきてんのか
01:28.300 --> 01:33.100 その判断もつかない奴が 何でかい口叩いてんだ
01:33.100 --> 01:38.100 一度やめて戻ってきた奴にも 一数を用意してやってんのは
01:38.100 --> 01:42.200 俺たちが血と汗を流して 守ってきたからだろ
01:42.200 --> 01:47.000 片葉小説3本が超距離って 体力なさすぎ
01:47.000 --> 01:51.700 お前単距離って そんなボソボソが スピードならば遅すぎ
01:51.700 --> 01:56.700 俺はもっと速い所にいるから お前もう届かない 残念
01:56.700 --> 02:01.100 もう一回やり直して来なきゃ また来年に期待するか 残念
02:01.100 --> 02:05.800 吐き出した感謝は言ったまんま 一度吐き出したら後はねえ
02:05.800 --> 02:10.400 俺は背中にリスペクト信用 期待受けて振り返らねえ
02:10.400 --> 02:15.500 先行くから風が当たる 矢を持てに立つ恋心のつぶても喰らう
02:15.500 --> 02:20.500 だけど日々の一つのハイラーネ 光鉄の心臓とスキル言うの
02:20.500 --> 02:23.500 分かるよ そう思うやんね みんながそうやって思って
02:23.500 --> 02:26.800 ここのステージに立ってる でも運命ってやつはあるってこと
02:26.800 --> 02:31.200 俺は知ってる 俺の上に輝いてる 一番星 お前見えてるぜ
02:31.200 --> 02:34.700 主張生 ここで主張生よ お前の言葉でやっていこう
02:34.700 --> 02:37.500 出張してきたんだろう 坂からわざわざ
02:37.500 --> 02:41.100 俺のインドをもらうよ 意味わからん 俺にインドを渡すならいいけど
02:41.100 --> 02:44.600 お前がもらうんか お前がやめるんか こんなどうぞ 誰も当面
02:44.600 --> 02:48.500 お前の背中をしたるから 当人房から大分どうぞ
02:48.500 --> 02:52.500 俺は相当起きてる頭の中 後ろのあの嘘つきをぶっ倒すためだ
02:52.500 --> 02:55.000 お前じゃねえ どいとけ ハンサムとか言ってるけど
02:55.000 --> 02:57.700 お前のツライ イケたに雪をだな
02:57.700 --> 03:00.900 パタパタ当分じゃねえ 超はフワリ フワリだぜ
03:00.900 --> 03:03.100 それも分かってないの 頭割り
03:03.100 --> 03:09.000 そこに財布 そこにジャケット キット サングラスで魔法人完成
03:09.000 --> 03:12.800 完璧だぜ 俺の描いた手のひらの上で踊ってら
03:12.800 --> 03:16.500 お前ら見てみ これがファンタスティックマジックヒンポップラップ
03:16.500 --> 03:18.500 お前の心に刻むぜ
03:18.500 --> 03:22.300 はっきり言っとく 地元から出ないのはダッセージゾ
03:22.300 --> 03:26.200 はっきり言っとく 俺は今だに地元に暮らしながら
03:26.200 --> 03:31.300 全国に呼ばれて飛び回ってる 外で稼いだ金を地元で使う
03:31.300 --> 03:36.500 地元で宇宙寺しているのとは違う レペゼンの意味 完全に把握違えてる
03:36.500 --> 03:38.800 お前ら騙されんなこのおっさんに
03:39.800 --> 03:41.300 せーのーです
03:41.300 --> 03:44.200 よくわかんねえ お前に勝てんのはお前だけ
03:44.200 --> 03:48.400 でも俺お前に何回も勝ってんだけど ってことは俺はお前で
03:48.400 --> 03:51.700 お前は俺でワフわかんねえことを言ってんじゃねえよ
03:51.700 --> 03:54.600 死に滅烈 ブロウガドウ インガドウ
03:54.600 --> 03:56.900 声とか言ってるからそう 言うことになる
03:56.900 --> 03:59.500 俺のアーソールでもよくオガンドキな
03:59.500 --> 04:02.700 言葉の意味ってやつを大事にしなくちゃな
04:02.700 --> 04:07.500 今が踏んだしないわ インガ 死んじゃったら仕方がないな
04:07.500 --> 04:13.000 インは貴重だ 尊いだ 無駄遣い スーナークソガギに教えてやるか
これはすごい基素.icon