InfoQ
·
DoorDash在聊天和通话中应用AI安全技术，事件发生率降低50%
内容提要
DoorDash推出了AI安全系统SafeChat，实时监控Dashers与客户的交流，检测不当内容并采取措施。该系统结合机器学习与人工审核，显著降低安全事件发生率。
关键要点
-
DoorDash推出了AI安全系统SafeChat，实时监控Dashers与客户的交流。
-
SafeChat结合机器学习与人工审核，检测不当内容并采取措施。
-
该系统专注于安全，而非参与度或自动化，旨在保护平台完整性和用户福祉。
-
SafeChat采用分层AI架构，处理每日数百万次互动，分类文本、图像和语音通信。
-
文本审核分为两个阶段，第一阶段使用三层方法，自动清除90%的消息。
-
第二阶段使用内部模型作为第一层，处理99.8%的流量，提高了可扩展性和降低了成本。
-
图像审核通过计算机视觉模型处理，经过人类审核调整阈值和置信度。
-
语音审核最初以观察模式部署，验证阈值后可自动采取行动。
-
SafeChat的执行层根据违规的严重性和重复性采取相应措施。
-
该系统自部署以来，低中严重性安全事件减少了约50%。
延伸解读
AI安全技术的优势
DoorDash的SafeChat系统通过结合机器学习与人工审核，显著提高了对不当内容的检测效率。这种分层架构不仅能快速处理大量信息，还能在保障用户安全的同时，降低运营成本，提升平台的整体安全性。
用户信任的重要性
SafeChat的推出旨在增强用户对DoorDash平台的信任。通过实时监控和快速响应，用户在使用服务时能感受到更高的安全保障，这对于提升用户体验和忠诚度至关重要。
潜在的局限性
尽管SafeChat在降低安全事件方面取得了显著成效，但系统仍可能面临误判的风险。特别是在图像和语音审核中，如何平衡自动化与人工审核的效率与准确性，将是未来需要持续关注的挑战。
延伸问答
DoorDash的SafeChat系统是如何工作的？
SafeChat系统通过机器学习和人工审核实时监控Dashers与客户的交流，检测不当内容并采取措施。
SafeChat系统如何处理文本审核？
文本审核分为两个阶段，第一阶段使用三层方法自动清除90%的消息，第二阶段使用内部模型处理剩余消息。
SafeChat系统对安全事件的影响如何？
自部署以来，低中严重性安全事件减少了约50%。
SafeChat如何处理图像和语音审核？
图像审核通过计算机视觉模型处理，语音审核最初以观察模式部署，验证后可自动采取行动。
SafeChat系统的设计目标是什么？
SafeChat旨在通过AI创新和周到设计，建立平台上每个人的信任和信心，创造更安全的用户体验。
SafeChat系统的执行层如何处理违规行为？
执行层根据违规的严重性和重复性采取相应措施，如阻止或编辑不安全消息、终止通话等。
