Whisperのサンプリングレートは16kHz
audio.pyに記載されている
https://github.com/openai/whisper/blob/28769fcfe50755a817ab922a7bc83483159600a9/whisper/audio.py#L12-L13
https://github.com/openai/whisper/blob/28769fcfe50755a817ab922a7bc83483159600a9/whisper/audio.py#L98-L99
The path to audio or either a NumPy array or Tensor containing the audio waveform in 16 kHz
https://nikkie-ftnext.hatenablog.com/entry/my-first-shion-speech-recognition-whisper-microphone-repeatedly#fn:4
に書いていた