美团技术团队
·
AutoConsis：UI内容一致性智能检测
💡
原文中文，约4800字，阅读约需12分钟。
📝
内容提要
美团与复旦大学合作研发的自动化智能检测流程AutoConsis，解决了移动App中UI内容一致性问题。该技术通过目标区域识别和信息提取，提高了检测效率和准确性，已在美团特价团购中应用，覆盖700个城市和4000个页面，发现多个业务问题。相关研究成果被国际会议ICSE 2024收录。
🎯
关键要点
- 美团与复旦大学合作研发了自动化智能检测流程AutoConsis，解决移动App中UI内容一致性问题。
- AutoConsis通过目标区域识别和信息提取，提高了检测效率和准确性。
- 该技术已在美团特价团购中应用，覆盖700个城市和4000个页面，发现多个业务问题。
- 相关研究成果被国际会议ICSE 2024收录。
- 移动App业务页面复杂，UI信息常常分散在不同团队负责的页面内，导致用户体验受影响。
- AutoConsis的核心优势在于其低成本、高泛化性和高置信度。
- AutoConsis的工作流程包括目标区域识别、目标信息提取和一致性校验。
- 在目标区域识别中，使用了CLIP模型以提高识别的准确性和泛化性。
- 一致性校验分为数值逻辑类型和语义类型，使用预定义规则进行判断。
- AutoConsis在特价商品营销场景中有效识别商品价格的一致性。
- 该技术在多个业务场景中形成了标准化工程流程，快速完成落地应用。
- 未来将继续改进AutoConsis，结合更多业务需求，并与业界同行交流反馈。
➡️
