虽然问法杂七杂八,但总结起来都是同一个问题:如何实现无字幕视频实时翻译?
先不说其他的,从这点就看得出藏藏粉丝里喜欢钻研小众领域知识的粉丝还真挺不少
毕竟电影、美剧这类视频一般都可以等专业字幕组,但某些小众领域的国外视频,还真可能就只有自己想办法解决了
总而言之,无论你是出于哪种目的,藏藏今天就简单来写下「视频实时翻译」这个问题
之所以说简单写,是因为藏藏稍微一研究才发现,解决途径实在太多了
1
无字幕翻译
藏藏都不用猜,99%的粉丝更感兴趣、更需要的,肯定都是无字幕的生肉视频怎么实时翻译
1.1
手机系统自带
但其实无字幕实时翻译在很多手机厂商都已经得到了解决,就比如:
华为的AI字幕:https://consumer.huawei.com/cn/support/content/zh-cn15830859/
小米的小爱翻译:https://web.vip.miui.com/page/info/mio/mio/detail?postId=27833671
OPPO/Realme的语音字幕:https://support.oppo.com/cn/answer/?aid=SI2106986
PS:以上功能都是系统内置功能,除非给手机进行换系统刷机,否则没法在其他手机上使用
▲小米的实时字幕
虽然厂商展示的效果似乎看起来还挺不错的,但当你自己体验后就肯定只会说——这玩意儿也就那样吧
主要是语言输出这件事,本身就是一个词一个词进行信息输出的,除非你本身就能听得懂,否则再怎么实时翻译,也不可能说「话都还没说完」字幕就已经显示上了吧?
更别说,英语这种语种经常搞后置,你得等他一整句说完才知道整句话的意思
不过我们也可以设想一下,以后能开发出这样一款软件:把视频导入进去之后,对音轨进行预处理,然后前台显示字幕的时候,或许就能实现「像事先就翻译好的一样」了
1.2
翻译APP
不过目前除了华为、小米、OPPO系统自带的AI翻译,藏藏还真没另外找到其他手机可通用的无字幕视频实时翻译APP,但在研究的过程中,却发现了另一种曲线救国的办法
其实方法也很简单,就是利用「有道翻译官」这类大家都知道的翻译APP
为了解决「外国旅游」的交流场景,这些APP早在几年前就都有了「同声传译」的功能——就是打开APP,你说一句,APP就会给你翻译一句
而你仔细一想,这功能显然不就能用于解决「无字幕视频实时翻译」的问题吗?
最关键的还是:这些翻译APP都是完全免费的啊!!!
容易想到的用法是:你打开这些APP,然后把你的手机架在平板、电脑、另一台手机前,无字幕视频实时翻译的问题便就轻松解决了
稍微聪明一点的用法你知道是什么吗?
如果你在电脑上看视频,借助安卓模拟器,你可以轻松实现更好的体验!
上图为一个讲解较慢的日语做菜视频,实时翻译虽然都有延时,不过因为翻译APP都会保留一段时间的翻译历史,对比翻译结果,你会发现完全是可以理解视频大意的
而关于安卓模拟器的选择,可以看藏藏之前的这期文章:
注:想要安卓模拟器能接收电脑声音,需要在电脑声音设置中打开声音控制面板,点击录制,设置立体声混音为默认设备,然后重启模拟器,打开需要翻译音频的外文网页,打开模拟器的翻译APP,点击实时翻译的功能,应该就可以翻译了
而更更聪明的用法你知道是什么吗?
用好你平板、手机的分屏功能,或者用上视频的悬浮窗播放功能,无字幕视频实时翻译问题便可轻松解决!!!
但并不是所有翻译APP都适用,藏藏自己也测试了一番,发现目前只有这几款APP可以无缝实时翻译(其他多数需要按一下才能翻译一下):
百度翻译
腾讯翻译君
有道翻译官
谷歌翻译(iOS端用不了,安卓端好像还可以用)
而关于翻译APP的选择上,B站有位UP主做过详细的评测,藏藏这里就不重复做无意义工作了
简单总结一下她的评测结果:
百度翻译、谷歌翻译、腾讯翻译君、有道翻译官这4个APP中,有道翻译官APP好像是唯一支持日语实时翻译的
谷歌翻译不能设置中英文字幕同时显示,其他APP都可以
谷歌翻译翻译相较起来最快和准确,腾讯翻译君也准确但出结果太慢了
详细的评测过程与结果,大家可以访问此链接查看:https://www.bilibili.com/video/BV1y34y1t7o9/
1.3
Chrome
其实早在19年的 Android 10 系统,Google 就带来了实时字幕(Live Caption)技术,随后此功能也更新到了在2021年的 Chrome 89 版本中
你只需要将 Chrome 更新到89版以上,然后在浏览器设置 » 高级 » 无障碍中即可开启实时字幕功能
另外你还需要在Chrome浏览器地址栏访问:chrome://flags/
并将 Live Caption 功能改为 Enabled(修改之后需要重启浏览器)
这时你再播放一个英文视频(该技术目前只支持英文),应该就会有一个悬浮窗口显示AI识别的英文字幕了
是的,这时依然没有翻译,如果想让其实现翻译功能,你还需要搭配后文2.1.2节处提到的团子翻译器等软件才能实现
另外这个功能结合网上的反馈+藏藏测试半天后发现:应该只有首次按以上步骤开启实时字幕+Live Caption功能时,打开的第一个视频实时字幕才能使用!随后只要关闭浏览器,再打开时实时字幕就没有了(除非重装浏览器才能解决)
具体为什么会有这个BUG就不知道了,反正藏藏的解决办法是在虚拟机内创建了一个「开启Chrome实时字幕功能前的」系统快照,有需要的时候切换到这个快照就能使用了
关于虚拟机的安装和使用,可以复习藏藏之前的这期文章:
1.4
付费方案
当然除了以上免费方案,其实各大厂商早就有进军同传翻译/同声传译AI技术领域,并纷纷都有推出自家的产品
各家的AI同传产品一般都用于国际会议、商业演讲、产品发布会等场景,而付费带来肯定是更高的翻译质量&更低的翻译延迟
虽然主要应用场景是如上所述哈,但也不代表普通人就不能用,有些大厂很良心的提供了免费试用额度,也不是完全就得花钱的
藏藏这里就简单列一下有哪些付费产品:
百度AI同传:https://tongchuan.baidu.com/
有道同传:https://tongchuan.youdao.com/
录音啦:https://www.luyinla.com/zhibo.html
联想语音:https://lva.lenovo.com.cn/#/plugin
讯飞听见同传:https://tongchuan.iflyrec.com/
iTourTranslator:https://www.itourtranslator.com/
彩云小译同传:https://fanyi.caiyunapp.com/#/interpretation
小白浏览器:https://www.minibai.com/
具体价格见下表,大家可以自行选择使用:
产品名称
2022年6月的价格
客户端
百度AI同传 同传助手限时免费中 Win/Mac
有道同传 试用版每天免费1小时/企业版2元每分钟 Win
录音啦 每天可免费试用(实时识别=每次30分钟/文本翻译每次5000字符)/30月/120年/288三年/629永久 Win全平台
联想语音/实时翻译 联想语音(浏览器扩展)免费试用至7月31日/实时翻译(安卓)3元每小时 浏览器扩展/安卓
讯飞听见同传 机器转写语种:2元每分钟/机器翻译语种:15元每分钟 Win/Mac
iTourTranslator 小时套餐(普通同传:10小时186/20小时348/30小时486/50小时750)
月套餐(普通同传:20小时330/20小时456/30小时699)
年套餐(普通同传:40小时599/80小时1119/120小时1499) 全平台
彩云小译同传 0.6元/分钟(限免使用时长:普通用户15分钟,标准会员45分钟每30天) Win/Mac
小白浏览器 1000分钟35元(原价50)/2400分钟60元(原价110)/5500分钟110元(原价200) Win
1.5
非实时翻译
藏藏在上文提到的「预先对视频进行处理,再进行视频翻译得出字幕」,其实我原来就有专门写过一篇文章:
虽然不是实时的,但相比错误百出、可能根本不能看的AI实时字幕,对于某些真需要学习研究国外视频内容的朋友,应该还是上面这篇文章介绍的方案更好
2
有字幕翻译
多数人需要的应该就是以上这些内容了,不过如果你想看的视频已经有外文字幕,仅是需要中文翻译字幕,那可以再接着看看下面的内容
2.1
Windows
Potplayer
如果你能下载到视频的SRT、ASS 等外挂字幕,或者说你下载到的是MKV等容器封装了外文字幕的视频——那么其实你可以利用藏藏长期有在推荐的 Potplayer 来解决字幕翻译问题
PotPlayer 实际在 1.7.20977 版本之后,就内置了在线字幕翻译功能(不过这个功能只能根据字幕文件来进行翻译)
如果你的 PotPlayer 还没有这个功能,可以到藏藏储物间4-7-1栏下载最新绿色版
另外这个功能并不是直接点击开启就能使用的,想要使用这些在线翻译,都需要自己去申请翻译API来使用,而必应/谷歌等的翻译API申请起来可一点都不容易
还好这个功能类似于插件,而国内有开发者针对性的开发了百度翻译和腾讯翻译的插件:
百度翻译:https://github.com/fjqingyou/PotPlayer_Subtitle_Translate_Baidu
腾讯翻译:https://github.com/BlackGlory/subtitle-translate-tmt
如果你访问Github困难,建议了解《2022 Github加速访问教程》
插件文件都需要到 Github 上下载,安装方法在 Github 上也都有写(就是下载好之后把插件放到 Potplayer 的对应文件夹)
百度翻译和腾讯翻译的API都是可以免费申请的,申请教程其实也都非常简单,可以参考藏藏原来这篇文章的第5点
API申请好之后,填到 Potplayer 在线翻译插件的「账户设置」中就行了
开启功能前:
开启功能之后:
团子翻译器
如果你没有字幕文件,比如想看YouTube上的视频哈(UP主做了字幕但只有外文字幕),这种就需要靠OCR技术先识别出文本内容,再进行文本翻译了
而OCR技术经过这几年的发展,已经算是相当成熟了,甚至有了不少开源的离线OCR数据库
Windows端藏藏之前就介绍过了一款名为团子翻译器的实时字幕翻译软件
它功能实现的原理就是藏藏上面所说的:框选某个固定区域,然后软件会通过OCR技术自动识别区域内字幕文本,然后再进行即时的翻译
这款软件用来玩文字冒险等等一类游戏倒是完全没问题的,因为本身对话都是一句一句显示的
不过想要用来看视频的话,最大的问题便在于:首先调用识别接口需要花时间,其次再调用翻译接口也需要时间,所以基本上只有在人物台词比较精短的时候,勉强能使用
这款软件具体的介绍藏藏这里就不重复写了,感兴趣的话,可以自己复习之前文章的第5点:
类似的翻译器还有VNR/御坂翻译器,但这俩软件主要用作游戏翻译,藏藏这里就不多做介绍了,感兴趣可以自己去B站找相关教程学习
2.2
安卓
除了Windows端,其实更多厂商还是聪明的看上了移动端市场,藏藏稍微一调查才发现,现在安卓端的AI翻译APP还真不少
iOS端由于系统限制,APP没有悬浮在其他APP上运行的权限,所以应该暂时都不会有类似的APP
虽然这些APP主要都是用于解决游戏翻译的,但实际上一样能用于电影/国外视频翻译,因为他们的原理都是获取屏幕内容后提取文本再进行翻译
比如下图是「帮帮字幕翻译」对YouTube实时字幕进行翻译的效果,由于YouTube字幕的实时字幕是一个个出词,所以翻译效果只能说是一言难尽吧…
B站@阿雷科技
如果用这类APP对已经做好每一句字幕的视频进行翻译,效果会稍微好一点,但当语速很快,字幕加载很快的时候,依然效果不咋样
还有就是,这类APP都是调用各大厂商的翻译接口,少数APP可能出于公益,目前还是可以免费使用,但大多数还是需要付费的
上述APP具体的付费价格如下:
APP名称 2022年6月的价格
帮帮字幕翻译 19月/49半年/69年/298永久
芒果游戏翻译 9.9连续包月/12月/25.8连续包季/36季/48连续包年/68年
游戏翻译助手 会员套餐:6月(666次)/18月(无限次)/46终身
加油包(限30天内使用)首充优惠:1元=200次/5元=500次/10元=1100次/36元=5000次/66元=8888次
次数套餐:(限30天内使用):4元=200次/10元=500次/22元=1100次/100元=5000次/170元=8888次
Yuka 5月/同传翻译14元每小时
DB翻译 会员每天领取1-2000字符等权益:18.8年(额外赠送5万翻译字符)/28.8永久(额外赠送10玩翻译字符)
岛风游戏翻译 会员套餐:8两天/16连续包月/18月/48连续包年/58年/288永久
次数套餐:10元=1200次/18元=2400次
Tap translate 免费
Hi translate 免费
搜狗翻译 免费
由于大家都是调用翻译接口机翻,所以翻译效果其实都差不太多,也就是每个APP的细节使用体验上会有区别,如果有需要的粉丝可以自行根据价格依次体验(这类APP基本上都有免费体验翻译次数)
3
YouTube视频翻译
另外之前也有粉丝在问 YouTube 视频翻译插件等问题,不过YouTube相关的东西这里就不细写了,有需要的粉丝就自己下载使用吧
3.1
浏览器扩展
网页端的YouTube手动自动翻译之后,就没有原文了,可利用以下扩展来实现双语字幕(字幕均由YouTube生成)
YouTube™ 双字幕
比较久的一款扩展了:https://chrome.google.com/webstore/detail/hkbdddpiemdeibjoknnofflfgbgnebcm
SubTrans
新出的一款扩展:https://chrome.google.com/webstore/detail/oflioiciloahhlekagfajdkigboemklf
3.2
移动端
YouTube有些视频没有中文翻译字幕,亦或者想解决YouTube的APP没有字幕翻译功能,又不想用网页版的话,你可以安装以下APP来解决问题
zTranslate(安卓/iOS)
Lingotube(安卓)