首页 » 软件开发 » 厦大研发闽南方言人工智能语音系统 覆盖多种口音(闽南话口音语音系统人工智能)

厦大研发闽南方言人工智能语音系统 覆盖多种口音(闽南话口音语音系统人工智能)

admin 2024-07-23 21:16:56 0

扫一扫用手机浏览

文章目录 [+]

一位女士正对着手机用闽南话进行语音输入。

用闽南话对着手机语音录入“爱拼才会赢”,语音输入后屏幕上立即显示“爱拼才会赢”字样。
近期,一款名叫“闽南话识别”的软件在网络上走红。
只要是日常对话的语句,不管你说的闽南话是厦门口音、泉州口音,或是漳州口音,它基本都能识别出来并翻译成文字,识别准确率高达85%。

这款软件是厦大信息科学与技术学院副教授洪青阳、厦大人文学院中文系助理教授许彬彬带领的科研团队合作研发的。
目前,这一软件已经过多阶段的内部测试,并开放供广大市民免费试用。

厦大研发闽南方言人工智能语音系统 覆盖多种口音(闽南话口音语音系统人工智能) 软件开发
(图片来自网络侵删)

与几位同学分别用厦门口音、泉州口音、漳州口音的闽南话,对着软件语音输入:“今天天气很好。
”不到2秒,系统翻译出了相同的对应文字。
又以略微不同的表达方式对着软件语音输入“今天天气很好”,系统依旧能准确识别。

近日,采访了软件背后的科研团队,为您揭秘软件开发过程。

调查

采集多地语音资料连国外也不放过

首先,该软件背后的语音资料库就很强大,这是基于许彬彬近10年来的研究成果。
许彬彬带领团队借鉴、整理了大量语音资料——囊括福建省内厦、漳、泉多地的闽南方言、文本,甚至收集了国外多处讲闽南话的地点的语音材料。

除了厦大的语音资料库外,每到寒暑假,许彬彬团队还会去各地进行田野调查。
“省内的漳浦、东山等,以及菲律宾北部城市、美国的东部地区,每一个地点至少要停留5天,尽可能全面地描写该地区语音面貌。
”她说。

整理

标注每个音节发音录入不同口音

有了丰富的“食材”,烹制好这道“菜肴”还需要“配菜”。
为此,许彬彬团队做了大量的整理工作。
在许彬彬的电脑里储存着大量文档。
“我现在有5台电脑,10个硬盘,全都装满闽南话文件。
”许彬彬说,闽南话的声母有15-18个不等,韵母有73-90个不等,声调有5-8个不等,都要逐一整理,录入系统。

别以为只是简单的标注,每个音节的发音以及发音时长,都必须详细标注下来。
以“他们坐车去台北”为例,许彬彬就标注了16个音素,音素与发音时长还要逐一对应。
而这只是一个句子的其中一种口音。

许彬彬告诉,单单是厦门地区,细微的语音差别就有十几种。
“思明区鹭江街道是一种口音,厦港街道又是另外一种口音,海沧东孚街道的口音又接近漳州口音,这些都要逐一标注。
”她说,系统录入的不仅仅是厦门口音,还有泉州口音、漳州口音、潮汕口音等。

建模

收集十万句日常对话邀志愿者测试

为了让这一系统的闽南方言数据尽可能全面,洪青阳团队又历时一年,先后收集近十万句闽南话日常对话。

除了许彬彬所提供的语音资料外,测试阶段,他们还邀请了几百名志愿者参与测试,让系统“学习”不同口音的闽南话。
待系统基本“学会”不同口音的闽南话后,洪青阳又给系统加大了难度——文读和白读都要会。

闽南话中存在大量多音字,有着复杂的文读白读现象,以“大学”这一词为例,就有文读和白读两种读法。
该团队对闽南话语音识别采取了特定规则的发音词典标注,并用革新后的算法建立了闽南话语音识别模型。

链接

将实现闽南话与普通话无障碍沟通

当发音速度不一、吞音等情况出现时,软件如何准确识别?系统的背后还有一位“把关人”。
当遇上系统无法识别的语音时,许彬彬团队就会进行分析,把新的表达整理成文档,扩充词典和句子语料。
与此同时,洪青阳团队在系统后台不断完善算法,以学习到更多口音和生僻词汇。
现在,系统依旧在不断完善升级。

据了解,基于深度学习方法,他们目前正在研发闽南话合成系统,最终可以实现闽南话与普通话之间的无障碍沟通。
洪青阳说,该系统预计在今年上半年上线。

声明:转载此文是出于传递更多信息之目的。
若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢。

相关文章

C语言表白代码,编程之美,爱意绵绵

在这个科技飞速发展的时代,编程已经成为了我们生活中不可或缺的一部分。而C语言作为一门经典的编程语言,更是备受青睐。今天,就让我们用...

软件开发 2024-12-04 阅读9 评论0

16倍速生活方式,高效工作与生活的完美融合

随着科技的飞速发展,我们的生活节奏也在不断加快。在这个快节奏的时代,如何高效地平衡工作与生活,成为了许多人关注的焦点。本文将探讨1...

软件开发 2024-12-04 阅读8 评论0

C语言编程猜数游戏,编程与娱乐的完美融合

在科技日新月异的今天,编程已经成为一项重要的技能。作为计算机科学的基础,编程不仅可以锻炼我们的逻辑思维,还能提高我们的动手能力。而...

软件开发 2024-12-04 阅读8 评论0

C语言病毒代码介绍,技术与道德的双重挑战

随着信息技术的飞速发展,网络安全问题日益凸显。病毒作为一种恶意软件,严重威胁着计算机系统的稳定运行。C语言作为一种功能强大的编程语...

软件开发 2024-12-04 阅读6 评论0