Python脚本监控服务器进程上下行流量

💡 原文中文,约5100字,阅读约需13分钟。
📝

内容提要

脚本使用iftop监控分析服务器进程外网流量,并将日志收集到kakfa。脚本执行资源占用情况:CPU:0.1-2%、MEM:0.1%,32M左右。每次脚本启动时删除7天前的日志文件。脚本执行iftop命令捕获输出,获取自动驾驶状态和总发送接收速率。获取本地端口列表,遍历端口获取进程名和pid,并获取发送接收速率。将结果写入日志文件。

🔎

延伸解读

资源占用低,适合长期驻留监控

脚本运行时CPU占用仅0.1-2%,内存约32MB,对服务器性能影响极小。这意味着可以在生产环境中长期运行,持续采集外网流量数据,而无需担心监控本身成为负担。对于需要精细分析进程级流量的场景,这种低开销特性使其具备实际部署价值。

日志自动清理与Kafka收集的设计意图

脚本每次启动时删除7天前的日志文件,避免磁盘空间被历史数据占满。同时将日志收集到Kafka,为后续平台分析做准备。这种设计将数据采集与数据分析解耦,采集端轻量运行,分析端可独立扩展,适合需要长期流量治理的团队参考。

依赖外部状态接口,需关注超时与异常

脚本通过HTTP请求获取自动驾驶状态,并设置了5秒超时。若接口响应慢或不可用,可能影响单次采集的完整性。此外,iftop命令通过timeout限制15秒执行,避免阻塞。实际部署时需确保状态接口稳定,并留意脚本对异常的处理方式——当前仅捕获异常后继续循环,可能掩盖部分错误。

进程信息匹配依赖端口与lsof,存在不确定性

脚本从iftop输出中提取本地端口,再用lsof查询对应进程名和PID。若端口未被lsof及时识别,进程信息会标记为unknown。同时,同一进程可能对应多个连接,日志中会重复出现。这提示读者:基于端口的进程关联并非百分百准确,分析流量时需结合其他维度交叉验证。

❓

Q&A

这个Python脚本的主要功能是什么?

该脚本用于监控分析服务器进程的外网流量,输出进程名、PID、上下行流量统计、时间戳和服务状态等信息,并将日志收集到Kafka,为后续平台分析做准备。

脚本运行时资源占用情况如何?

脚本执行时CPU占用0.1-2%,内存占用0.1%,约32MB。

脚本如何清理旧日志文件?

每次脚本启动时,会删除日志目录下修改时间早于7天前的所有.log文件。

脚本使用什么命令来捕获网络流量数据?

脚本使用iftop命令(带特定过滤参数)捕获输出,并从中提取总发送/接收速率以及本地端口列表。

脚本如何获取进程名和PID?

脚本先通过iftop输出获取本地端口列表,然后遍历每个端口,使用lsof -i :端口命令查询对应的进程名和PID。

日志输出的格式包含哪些字段?

日志为JSON格式,包含时间戳、自动驾驶状态、总发送速率、总接收速率、进程数据列表(每个进程含名称、PID、路由、发送速率、接收速率)以及日志类型。

🏷️

标签

➡️

继续阅读