美团RASP大规模研发部署实践总结

美团RASP大规模研发部署实践总结

💡 原文中文,约12500字,阅读约需30分钟。
📝

内容提要

RASP是一种应用程序安全技术,能够在应用程序运行时检测并阻止应用级别的攻击。美团采用了agentmain方式部署RASP,并进行了灰度部署、业务性能优化、热更新、监控体系建设等措施。未来,美团还计划在新型容器形态支持、低打扰无感接入和管控、监控自动化等方面进行进一步的规划和优化。

🔎

延伸解读

RASP部署方式的选择:权衡灵活性与性能

美团在建设RASP时,大部分业务已在线运营且发布平台不统一,无法通过premain方式快速部署,因此选择agentmain实现动态注入。这种方式无需业务改动和重启,但会带来性能抖动。随着容器化推进和发布系统统一,美团又引入premain,将字节码转换前置到启动前,以规避运行时注入的CPU和TP9999尖刺。两种方式结合,平衡了灵活性与性能。

热更新机制:类加载器隔离实现插件化

由于JVM限制,Agent加载后无法直接更新,而美团有上百万Java节点,依赖重启不现实。RASP借鉴Tomcat类加载器架构,将频繁迭代的功能拆分为插件包,由自定义类加载器加载。更新时清除旧插件引用和类加载器,重新加载新版本,实现不重启业务的热更新。这解决了版本碎片化和安全风险,是RASP大规模部署的关键。

性能影响与优化:从注入到运行的全链路控制

RASP与业务同JVM,故障直接影响业务。美团通过多项措施降低影响:premain空包解决注入时CPU飙高;启动时流量预热让检测逻辑逐步生效;软降级在负载高时关闭部分hook或转为观察模式;插件卸载时不回滚字节码,避免STW。压测显示CPU绝对值增加0.06%~3.73%,堆内存最大增加约200MB,请求耗时控制在5ms内,整体性能与开源RASP相当。

监控体系:业务无感下的故障感知

RASP接入对业务无感知,一旦引发CPU飙高、内存泄漏等问题,业务方定位困难。美团构建了从全局到单机的监控指标,包括主机注入覆盖率、coredump总数、检测引擎耗时、TP9999、JVM元空间使用率等。例如通过解析hsperfdata文件监控元空间,剩余不足时禁止注入,防止RASP成为压垮业务的最后一根稻草。监控自动化是未来规划重点。

❓

Q&A

美团RASP为什么选择agentmain方式部署而不是premain?

因为美团大部分业务已在线上运营,且有多个发布平台,没有统一方式更改启动参数,无法通过premain快速部署。为了快速解决大部分风险问题,选择了agentmain方式,无需业务改动和重启。

美团RASP如何实现插件热更新而不重启业务?

借鉴Tomcat类加载器架构,将频繁迭代的功能(hook点、检测引擎等)抽成单独插件包,由自定义类加载器加载。更新时清除旧插件对象和类加载器引用,创建新类加载器加载新版本插件,实现卸载与热更新。

RASP对业务性能有哪些影响?美团如何优化?

影响包括CPU飙高、TP9999抖动、STW等。优化措施:低峰期注入、启动时流量预热、软降级与逻辑开关、延时回滚字节码、premain前置转换字节码等。测试显示CPU绝对值增加0.06%~3.73%,堆内存增加约200M,请求耗时控制在5ms内。

美团RASP的监控体系包含哪些指标?

全局指标:主机注入覆盖率、coredump总数、高峰期字节码修改数量、熔断超时数量和比例。单机指标:业务层面(检测引擎耗时、TP9999、出错率)、JVM层面(堆内存、元空间、线程死锁、GC、STW等)、进程层面(CPU、内存、coredump)、系统维度(CPU、内存、磁盘、网络)。

美团RASP支持检测哪些类型的漏洞?

支持命令执行(包括Native方法)、SQL注入、文件访问、反序列化攻击、JNDI、表达式等常见漏洞类型。

美团RASP的灰度部署策略是怎样的?

先在线下环境稳定运行,再按服务重要性从低到高(普通、重要、高优)依次灰度,每个服务按主机百分比10%、30%、50%、100%逐步升级,确保稳定性。

🏷️

标签

➡️

继续阅读