视频内容不但占用空间大,想要全文索引,又或者要回溯查询时,都是一件非常困难的事。
将一个 20GB 的视频教程,压缩为 2MB 的文本内容。然而现在,有了人工智能的加持,这一切都变得触手可及
在线转录
国内最早免费开放在线语音转文字的应用,是网易见外。不但是速度快,准确率还超出了人们的预期,真正做到了一键转录,被盛赞业界良心,然后没多久,它就下架了。1.1、飞书妙记
飞书妙记是抖音旗下产品,注册登陆后,就直接上传音频或者视频,即使不需要介绍,也一看就知道怎么用。地址:
https://www.feishu.cn/product/minutes
1.2、使用测评
速度:快,10 分钟视频花费了 1分 25 秒分钟。准确率:绝大部分内容都能正确识别,且能区分不同说话人。特色功能:支持中、英、日 3 种语言,能自动添加标点符号和章节分段,支持免费导出为 TXT 和 SRT 格式。
1.3、同类产品
如果要说有什么缺点的话。那就飞书妙记免费用户的存储空间,从原来的 100G 变成 2G,一下子就寒酸了许多。比如讯飞听见、钉钉闪记、阿里云、百度云等产品,它们要么免费额度少,要么需要申请 API,使用门槛高。你可以将视频转换为音频来缩小体积,又或者,你还可以通过删除已经转写的内容来释放空间。软件转录
如果你需要转录的内容很多,又或者很长,那么使用桌面软件来操作会更加方便。
2.1、剪映
剪映也是是抖音旗下产品,它是一款桌面视频剪辑软件,但同时提供了识别语音功能,使用时需要联网使用。使用方法也很简单,点击导航栏的“文本”,然后选择“智能字幕”,即可一键生成字幕。
2.2、使用测评
由于同样是字节系产品,剪映的准确率非常高,转录速度也非常的快,同样 10 分钟的视频,剪映只用了 32 秒。因为抖音不会担心自己的语音识别技术被白票,它担心的是没有人上传视频到抖音。抖音推出剪映的目的,是为了降低用户制作视频门槛,让更多的人参与到视频制作来,抖音的收益在别处而已。
2.3、同类产品
目前国内能与剪映对标的,当属 B 站推出的“必剪”了。它的产品逻辑一样,也是为了方便用户创作视频,然后上传到 B 站。然而在免费额度上,必剪远不如剪映,必剪支持 15 分钟的音频转录,而剪映最大支持 2 小时且不限次数使用。而且,剪映现在已经支持导出字幕,你可以将导出的字幕用在其它的软件上,抖音格局打开了。离线转录
上面的两款应用都需要联网使用,如果你比较在意隐私的问题,那么你需要一款离线的语音识别工具。OpeanAI 推出的 Whipser 语音识别模型,是目前最好的选择,没有之一。3.1、Whisper
Whipser 多语言语音识别模型,通过了 68 万小时的语音数据训练,支持 99 种语言,对英文的表现更是强无敌。地址:
https://github.com/openai/whisper为应对不同的语音转录需求,Whipser 一共推出了 tiny、base、small、medium、large 五档模型。在相同的硬件条件下,large 模型的耗时是 medium 的 2 倍,small 的 6 倍,base 的 16 倍,tiny 的 32 倍。Whisper 官方使用 Python 开发,安装后,在文件所在目录打开终端,运行 whisper audio.mp3 即可进行转录。想进行自定义设置,则可以在后面追加命令参数,具体包括:
指定转录方式,默认使用 --task transcribe 转录模式,--task translate 则为翻译模式,目前只支持英文。指定使用模型,默认使用 --model small,Whisper 还有英文专用模型,就是在名称后加上 .en,这样速度更快。指定转录语言,默认会截取 30 秒来判断语种,但最好指定为某种语言,比如指定中文是 --language chinese。指定硬件加速,默认使用 --device cuda ,也就是显卡,--device cpu 为 CPU, --device mps 为 M1 芯片。
3.2、WhisperDesktop
如果使用 Python 命令行的这种形式,槛太高,那么图形化软件 WhisperDesktop 会是一个好选择。地址:
https://github.com/Const-me/Whisper为了方便下载,我已经将 WhisperDesktop 和模型文件搬运到了国内的不限速网盘。下载 WhisperDesktop 后,点击运行,然后加载模型文件,最后选择文件即可进行转录。由于支持 GPU 硬解,转录速度也非常的快,我测试了一个 2 分钟的视频,使用 medium 模型,花费不到 20 秒。3.3、Buzz
另一款基于 Whisper 的图形化软件是 Buzz,相比 WhipserDesktop,Buzz 支持 Windows、macOS、Linux。地址:
https://github.com/chidiwilliams/buzz为了方便下载,我也将 Buzz 和模型文件搬运到了国内的不限速网盘。Buzz 的安装包体积稍大,同时 Buzz 使用的是 .pt 后缀名的模型文件,点击运行后会自动下载模型文件。但你可以提前下好模型文件,然后放在指定的位置即可。
Windows:C:\\Users\\<你的用户名>\\.cache\\whisperMac:~/.cache/whisper
由于 Buzz 使用的是 CPU 硬解,目前还不支持 GPU 硬解。同样一个 2 分钟的视频,使用 medium 模型,耗时花费了 2 分 30 秒,比例大概 1:1.2,花费时间还是很长的。
3.4、使用测评
三款产品里,飞书妙记和剪映,在中文识别上的效果更好,大体与 Whipser 的 large 模型相当。飞书妙记甚至还有标点符号、文章分段,智能纠错等功能,在测试中,飞书妙记是唯一个正确转录“谷爱凌”的。原因是联网转录,通过“云词库”可以自动选择更符合上下文的同音词。Whisper 的音频数据集只有 1/3 来自非英语,在准确性方面,Whisper 对英文的识别错误率为 4.2,中文为 14.7。如果转录的音频是英文,那么用 samll 模型就能保证绝大多数正确。而如果转录的音频是中文,那么至少要用到 medium 模型,才能保证绝大多数正确。Whisper 强在多语言支持,还有超高的英语识别率。飞书妙记和剪映都需要联网上传,其中剪映的速度最快,而 Whisper 的转录速度极度依赖显卡的加持。下面是使用显卡加速,同一段 10 分钟视频的速度对比。
语音识别技巧
无论怎样,任何一款语音识别工具都没办法保证 100% 准确,我们还需要有一定的技巧。
4.1、纯净输入
如果转录的是歌曲,又或者有嘈音,背景音乐太大,使用人声分离工具,突出人声,那么识别效果将大大提高。这样的工具很多,可以选择在线应用,也可以选择免费开源的 UVR5。在线应用:https://vocalremover.org
UVR5:https://ultimatevocalremover.com4.2、字幕翻译
Whisper 有时转录出来的文本是繁体中文,又或者你想把字幕翻译为英语来做双语字幕。一个简单的方法,就是将字幕文件在 Chrome 浏览器中打开,使用自带的翻译功能,即可一键翻译为想要的语言。当然,你也可以用更加专业的字幕工具,比如 Subtitle Edit。地址:
https://github.com/SubtitleEdit/subtitleedit
4.3、标点符号
除了飞书妙记外,其它工具都没有标点符号,而且也没有章节分段,如果你想把语音识别后的文本保存为文章。一个简单的方法,是利用 ChatGPT 来重新排版,只需要提前输入提示词就可以了。具体:“修复下面这段文章的标点符号并分成段落:<文本内容>”。需要注意的是,GPT-3.5 输出的最大限制是 777 个字符,所以每一次输入最好不要超过 777 个中文。但如果你用的是 GPT-4 的话,就没有这个限制。
4.4、一键转录
如果我有大量的视频转文字,和视频字幕生成需求,有没有办法一键转录?有的!奶酪研究了一套方法,只需要一个 bat 文件即可一键转录,具体我们在下期《语音一键识别》中再做介绍。
4.5、实时转录
除了转录现有视频,有没有办法实时转录直播中的视频?当然也有!我们同样可以利用 Whisper 来实现同声传译,具体我们在下下期《同声传译》中再做介绍。2022 年末,OpenAI 发布的 Whisser 多语言语音识别模型,绝对算得上是一个“游戏改变者”。其次,视频的语言屏障将会彻底打破,视频一键生成字幕,甚至自动生成字幕,已经成为现实。还有,视频也将转向文字化,一个 20GB 的视频内容,可以压缩为 2MB 的文本内容,并且能被全文索引。最后,Whisper 的入场,也会加速人工智能从单模态模型,向多模态模型的发展。
回复关键字
A
查看本系列的所有文章,
回复关键字
i24
获取本文提到的所有资源1、点在看,可以帮助更多的人看到这篇文章。
2、写留言,有问题写评论,我会尽可能回复。