您的位置:首页 >国内科研 >

研究发现发声时大脑在听什么

导读 为了使人类获得准确的语音识别并彼此交流,听觉系统必须从连续的传入声音流中识别不同类别的声音(例如单词)。当考虑具有不同口音,音调或语...

为了使人类获得准确的语音识别并彼此交流,听觉系统必须从连续的传入声音流中识别不同类别的声音(例如单词)。当考虑具有不同口音,音调或语调的个人产生的声音的可变性时,此任务变得复杂。

在最近的《自然通讯》论文中,匹兹堡大学斯旺森大学工程学院的生物工程博士候选人刘士彤详细介绍了一种计算模型,该模型探索了听觉系统如何解决这一复杂任务。这项研究是由神经生物学助理教授Srivatsun Sadagopan领导的,他的实验室研究在现实的聆听条件下对复杂声音的感知。

萨达戈潘说:“一个单词可以用不同的声音以不同的方式发音,但是您仍然可以将所有这些话语都归为具有不同含义的类别(特定单词)。”“在这项研究中,我们研究了大脑如何通过使用动物叫声作为大大简化的模型系统来实现这一目标。诸如mar猴,猕猴和豚鼠之类的声带动物会发出几种带有不同行为“含义”的声音,但它们也面临着这样的问题,即不同的动物会产生很大的变异性。”

已发表的论文“用于听觉分类的最佳功能”(DOI:10.1038 / s41467-019-09115-y)着重于普通mar猴的发声。约翰·霍普金斯大学生物医学工程教授王小琴提供了大量的mar猴发声,这些发声捕捉了这些声音的广泛变化。然后,该团队使用信息论和“贪婪”搜索算法来找到每种发声类型的特征,尽管存在所有可变性,这些特征仍会持续出现。他们的策略是选择一组可以共同提高性能的功能,但要避免使用过于相似的功能。

Liu解释说:“我们给算法提供了大量的mar猴电话,并要求它找到最有用且始终可识别的功能。”“最终的输出是一组特定于特定呼叫类型的'最具信息量的特征',非常类似于面部的区别特征(例如,在图像中发现眼睛或鼻子)。通过检测传入声音中这些最有用的功能的存在与否,该模型可以非常准确地识别发声类型。”

当这些特征在理论模型中被证明是有效的之后,研究小组回到动物身上,测试大脑是否实际上在寻找这些信息特征。当他们将模型中的数据与萨达戈潘(Sadagopan)在王小琴实验室攻读研究生时从mar猴听觉皮层记录的神经反应进行比较时,发现了有趣的结果。

Liu说:“神经证据支持我们的模型,这意味着它可以用作未来研究的坚实基础。”“我们的模型可以提供强大而准确的大脑发声预测。这项研究在推进语音识别技术和听觉假体方面具有应用价值,我计划利用这项工作来更好地理解大脑如何隔离拥挤空间中的相关声音。”

免责声明:本文由用户上传,如有侵权请联系删除!