Python脚本监控服务器进程上下行流量
内容提要
脚本使用iftop监控分析服务器进程外网流量,并将日志收集到kakfa。脚本执行资源占用情况:CPU:0.1-2%、MEM:0.1%,32M左右。每次脚本启动时删除7天前的日志文件。脚本执行iftop命令捕获输出,获取自动驾驶状态和总发送接收速率。获取本地端口列表,遍历端口获取进程名和pid,并获取发送接收速率。将结果写入日志文件。
延伸解读
资源占用低,适合长期驻留监控
脚本运行时CPU占用仅0.1-2%,内存约32MB,对服务器性能影响极小。这意味着可以在生产环境中长期运行,持续采集外网流量数据,而无需担心监控本身成为负担。对于需要精细分析进程级流量的场景,这种低开销特性使其具备实际部署价值。
日志自动清理与Kafka收集的设计意图
脚本每次启动时删除7天前的日志文件,避免磁盘空间被历史数据占满。同时将日志收集到Kafka,为后续平台分析做准备。这种设计将数据采集与数据分析解耦,采集端轻量运行,分析端可独立扩展,适合需要长期流量治理的团队参考。
依赖外部状态接口,需关注超时与异常
脚本通过HTTP请求获取自动驾驶状态,并设置了5秒超时。若接口响应慢或不可用,可能影响单次采集的完整性。此外,iftop命令通过timeout限制15秒执行,避免阻塞。实际部署时需确保状态接口稳定,并留意脚本对异常的处理方式——当前仅捕获异常后继续循环,可能掩盖部分错误。
进程信息匹配依赖端口与lsof,存在不确定性
脚本从iftop输出中提取本地端口,再用lsof查询对应进程名和PID。若端口未被lsof及时识别,进程信息会标记为unknown。同时,同一进程可能对应多个连接,日志中会重复出现。这提示读者:基于端口的进程关联并非百分百准确,分析流量时需结合其他维度交叉验证。
Q&A
这个Python脚本的主要功能是什么?
该脚本用于监控分析服务器进程的外网流量,输出进程名、PID、上下行流量统计、时间戳和服务状态等信息,并将日志收集到Kafka,为后续平台分析做准备。
脚本运行时资源占用情况如何?
脚本执行时CPU占用0.1-2%,内存占用0.1%,约32MB。
脚本如何清理旧日志文件?
每次脚本启动时,会删除日志目录下修改时间早于7天前的所有.log文件。
脚本使用什么命令来捕获网络流量数据?
脚本使用iftop命令(带特定过滤参数)捕获输出,并从中提取总发送/接收速率以及本地端口列表。
脚本如何获取进程名和PID?
脚本先通过iftop输出获取本地端口列表,然后遍历每个端口,使用lsof -i :端口命令查询对应的进程名和PID。
日志输出的格式包含哪些字段?
日志为JSON格式,包含时间戳、自动驾驶状态、总发送速率、总接收速率、进程数据列表(每个进程含名称、PID、路由、发送速率、接收速率)以及日志类型。