用Whisper官方的模型跑了一下中文的语音识别,结果很奇怪,时不时会识别出“请不吝点赞订阅转发打赏支持明镜与点点栏目”,而且对应的音频位置都没有声音,再看结果又识别出一些“中文字幕由xxxx提供 ”的文本。突然意识到他们应该用了大量油管视频的音频字幕,所以会在没有声音的地方会加这种字幕内容,结果整个模型都训脏了...变成在没有声音的片段随机投放广告了otz

@wyzzw 遇到过与视频内容完全无关的部分,比如:“For more UN videos visit www.un.org” 、“字幕由Amara.org社区提供” 。

Follow

@ezeli0 对,每个语种都有这种情况,可以先用VAD过滤一下没声音的部分,以及看到这个 github.com/EtienneAb3d/Whisper

Sign in to participate in the conversation
alive.bar

你好,欢迎使用 alive.bar 社交媒体实例。 alive.bar 仅仅是一个服务器位于美国的网站,它使用了「长毛象(Mastodon)」服务。