打造会聆听的机器
内容提要
MIT教授Paris Smaragdis致力于研发“超人听觉”机器，应用于语音识别、音乐理解与环境监测。他生于希腊，自幼学习古典吉他，后就读于伯克利音乐学院，并在MIT媒体实验室转向机器学习处理声音。他曾在三菱和Adobe工作，后任教于伊利诺伊大学，参与修复披头士纪录片录音并获艾美奖。2025年加入MIT，研究音乐工具与音频处理新算法，并指导学生。
延伸解读
从音乐到机器听觉的跨界路径
Smaragdis的成长经历展示了音乐背景如何转化为技术研究优势。他自幼学习古典吉他，因合成器对声音创造产生兴趣，后于伯克利音乐学院学习电子音乐制作，并在MIT媒体实验室转向机器学习处理声音。这种从演奏、创作到算法设计的连贯经历，使他更关注机器如何“理解”声音而非仅处理信号，也为跨学科研究提供了独特视角。
机器学习为何更适合机器听觉
文章指出，Smaragdis在媒体实验室时刻意选择当时较少人用的机器学习方法，而非传统信号处理。他认为人类自身缺乏描述“聆听”的词汇，难以直接告诉计算机如何听，因此需要训练模型从数据中学习。这一思路后来应用于声音分离等任务，说明机器听觉的进步依赖于让算法从示例中归纳规律，而非仅靠人工规则。
从产业到学术：应用驱动的技术转化
Smaragdis在三菱电机研究实验室开发过分析视频音轨的AI系统，用于识别体育比赛精彩片段，该技术被整合进个人录像设备、交通监控和手机。在Adobe，他创建音频研究团队，开发面向艺术家和制作人的易用声音处理工具。这些经历表明，机器听觉研究不仅停留在论文，还能转化为消费产品与专业创作工具，并反过来催生更深层的学术问题。
修复披头士录音：工程与艺术的平衡
Smaragdis利用神经网络分离混合声音的技术，吸引了纪录片《披头士：回归》团队，参与清理档案录音。他提到，这类工作与学术研究不同：结果必须“听起来好”，而不必在论文指标上漂亮，且每段录音挑战各异，难以用统一公式优化。这揭示了音频处理在真实场景中的复杂性——技术需服务于艺术表达和听觉体验，而非仅追求客观指标。
Q&A
Paris Smaragdis教授的研究目标是什么？
他致力于研发具有“超人听觉”的机器，让机器能比人类更好地聆听和理解声音，应用于语音识别、音乐理解和环境监测等领域。
Smaragdis教授目前的研究组主要关注哪些方向？
研究组主要关注两个方向：一是开发让计算机成为音乐家更有用工具的系统，例如让机器理解如何聆听音乐并向音乐家提供建设性反馈；二是开发科学家和艺术家处理、分析和操纵音频的基础工具，包括探索不依赖固定采样率、帧大小等传统参考框架的算法，以及将大语言模型等最新技术融入语音识别和音频增强。
Smaragdis教授是如何从音乐转向机器听觉研究的？
他从小学习古典吉他，父亲带回的小型合成器让他对创造新声音着迷。后来他进入伯克利音乐学院学习用计算机和合成器塑造声音，并与MIT媒体实验室的Barry Vercoe教授合作开发软件合成器。在媒体实验室读研期间，他的兴趣转向计算机音乐中的计算机部分，决定研究能理解声音的计算机，并选择当时较少人使用的机器学习方法。
Smaragdis教授参与过哪些实际应用项目？
他在三菱电机研究实验室工作时，开发了能扫描视频音轨并理解画面内容的人工智能系统，用于识别体育比赛精彩片段，该技术被应用于个人录像系统、交通监控系统和手机。在Adobe，他创建了音频研究团队，开发帮助艺术家、音乐人和制作人轻松操纵声音的工具。他还利用神经网络分离音频混合中的单个声音，并帮助清理披头士档案录音，用于2021年纪录片《The Beatles: Get Back》，因此获得2022年艾美奖声音编辑奖。
Smaragdis教授为什么选择机器学习而不是传统信号处理来让机器理解声音？
当时媒体实验室许多学生使用信号处理技术，他选择较少人探索的机器学习方法以脱颖而出。他发现训练机器学习模型理解声音具有传统信号处理无法达到的优势，并认为我们需要教计算机如何聆听，而不是仅仅告诉它们如何聆听，因为人类甚至不知道自己是如何聆听的，也没有词汇解释聆听的含义或区分猫叫和小提琴声。
Smaragdis教授对AI在声音和音乐领域的应用有什么看法？
他认为AI是极其强大的工具，但尚未找到将其用于声音和音乐的理想方式。他的团队正在探索将大语言模型等最新技术融入语音识别和音频增强。
