首页 > 财商 » 正文

B站持续完善海外用户产品体验,用户可体验原汁原味多语种视频

来源:无  

自今年5月哔哩哔哩(以下简称B站)宣布将下架原国际版APP,与国内版合并为一个统一APP后,B站的出海下一步便引来各方关注。

在今年的世界人工智能大会上,B站公布了其为服务海外用户而全新自研的「AI原声翻译功能」,以便海外用户更好体验游戏、科技、二次元等主推内容。在完成了APP合并、海外用户页面多语种适配、特别是视频原声翻译功能上线后,B站似乎已经做好准备蓄力开拓海外市场。

(海外用户页面)

本次发布的「AI原声翻译」功能--除了自动擦除中文字幕改为英文、弹幕翻译及各类按钮英文适配等基础的文本互译之外,还能完美还原UP主的声线、音色、气口,而非传统的机器音翻译,同时还能基于翻译语言进行口型模拟。这意味着在未来中文用户观看外语UP主视频或海外用户观看中文UP主视频时能无差别体验原汁原味的“本地化”翻译视频。后续,B站还将视需求把日语等语言加入「AI原声翻译」功能中,持续扩展在海外市场的适配能力。

(AI原声翻译开启页面)

据悉,目前B站「AI原声翻译功能」中,跨语言声音还原技术源自内部代号为「 IndexTTS2」的语音生成模型 ,其整体框架如下图所示。该模型引入了一种新颖、通用且兼容自回归架构的语音时长及情感控制方法。该方法支持指定token数量,从而实现对语音时长的精确调控,降低了翻译任务的难度。另外对情感表达与说话人身份进行了有效解耦,实现了高质量地复刻原片语音中蕴含的情感。

为攻克「AI原声翻译功能」中的核心挑战——尤其在游戏、二次元等专名梗点密集领域——实现原风格精准保留与语音时长完美对应,B站技术团队基于大语言模型(LLM)构建翻译引擎,独创性基于语音时长匹配、原声翻译标准与UP主独特风格构建多目标奖励模型,并采用对抗式强化学习(RL)训练驱动模型持续进化与精准适配。同时,引入Deep Research深度挖掘技术,专攻专有名词与流行梗点的翻译难点,确保最终译文准确、地道、传神。字幕擦除部分则结合了先进的多模态大模型OCR技术和基于STTN网络的视频重绘技术,实现字幕区域的精准检测与与高还原度擦除。

b站大模型AI
Snapchat 全新展台亮相 ChinaJoy,任命中国游戏和应用行业负责人,推出多款全新广告产品
Soul App 在 ChinaJoy ,发布“莫比乌斯·第三弹”ChinaJoy特别款