文章讨论端侧音视频降噪:语音降噪在频域用DNN估计0~1掩码并乘回频谱,RNNoise风格模型约150K参数,可实时运行;视频降噪结合时域多帧对齐与空域CNN,低端机可退化为单帧。核心是平衡降噪强度与听感、实时预算和场景泛化,并给出掩码下限、帧间重叠、旁路音乐、运动补偿等问题的修复方法。
本研究提出了一种自监督视频降噪方法“restore-from-restored”,通过伪清晰视频微调网络提升降噪性能。该方法无需光流估计,利用连续帧的相似补丁显著提高了降噪效果。同时,研究探讨了视频重缩放、超分辨率和压缩失真等问题,并提出多种新方法,在各类基准测试中表现优异。
该团队通过多种算法提升抖音直播赛事的画质稳定和清晰度,包括自适应ToneMapping、视频降噪、ROI编码、视频插帧、BAS采样、端上超分等。团队还提供多种画质增强技术,呈现更加沉浸感的超高清画面。
完成下面两步后,将自动完成登录并继续当前操作。