本文介绍kube-apiserver排障方法,提出五轴坐标系:Storage/etcd、Watch/cache、Admission、Auth、APF。通过症状映射表快速定位问题轴,如401/403查Auth,503查Admission,504查APF,410查Watch。强调先定轴再下钻,避免误操作,并列出关键metrics和命令,区分apiserver与etcd问题,指导高效排障。
本文介绍Kubernetes控制面内核系列文章,聚焦kube-apiserver与etcd间的存储层。文章指出当前知识缺口,定义五条排障坐标系:Storage/etcd耦合、Watch/cache、Admission、AuthN/AuthZ、流控。版本锚定v1.30.3,提供16篇阅读路线,强调通过分层定位504、410等故障,而非简单直连etcd排查。
kube-apiserver通过storage.Interface与etcd交互,存储protobuf序列化数据,key由前缀拼接,value经Transformer加密。GuaranteedUpdate用etcd Txn实现乐观并发写,Create/Delete/Watch各有路径。排障需关注etcd延迟、转换失败等指标,区分apiserver与etcd问题。
本文介绍Kubernetes v1.30.3中kube-apiserver的认证链结构,涵盖X509证书、SA token、静态Bearer、Bootstrap、OIDC及Webhook等认证器边界。文章区分401(认证失败)、403(授权失败)、503(存储或Webhook故障)等错误码,并讨论SA token过期、OIDC JWKS缓存等排障要点,强调认证与授权职责分离。
本文介绍Kubernetes中两条API扩展路径:CRD v1和Aggregated API。CRD请求在apiserver内部处理,存储于etcd,可能涉及conversion webhook;Aggregated API则代理到外部Extension Server。文章详述各自失败模式、排障方法,并明确边界:CRD codegen、scheduler/controller、kubelet等不在讨论范围。
本文总结kube-apiserver排障系列终章,提出机制排除树,按症状(401/403、webhook 503、APF 429、etcd延迟、Watch错误等)定位至Auth、Admission、APF、Storage或Watch轴。回收etcd系列停损线,明确Kine SQL后端Watch语义差异及events分集群边界。列出三个开放问题(watch cache SLO、线性读一致性、Lease fencing),强调以实测关闭,并给出ADR友好收束建议。
本文介绍etcd排障的五轴坐标系:Raft共识、WAL持久化、MVCC存储、Watch同步、Lease TTL。通过症状映射到对应轴,提供诊断工具和指标,如endpoint status字段解读。强调先定位问题轴再下钻组件,避免盲目defrag或restore。附K8s控制面对照表和证据包写法建议。
本文介绍etcd生产内核系列文章,聚焦Raft共识、WAL持久化、MVCC存储、Watch同步和Lease TTL五条排障坐标系。文章指出常见问题如proposal卡顿、follower读stale、Watch追赶OOM等,并规划16篇阅读路线,强调K8s apiserver与etcd的耦合关系,为运维排障提供系统化框架。
本文介绍Linkerd 2.20服务网格排障方法,提出五轴坐标系:注入与网格成员、身份与mTLS、destination发现、策略与L7、数据面健康。排障时先定位症状对应轴,再下钻组件,区分native sidecar与legacy init+sidecar路径。强调按顺序否证各轴,避免混贴证据或误改配置,并对照Istio xDS排障差异。
本文介绍Linkerd 2.20服务网格控制面内核,聚焦非xDS架构。文章定义五条排障坐标系:注入与网格成员、身份与mTLS、destination发现、策略与L7、数据面健康。核心机制包括proxy-injector注入、identity CSR签发、destination按目标流式推送,以及linkerd2-proxy数据面。文章强调与istiod/xDS的机制差异,并提供16篇系列阅读路线,帮助读者定位故障层级。
本文介绍Linkerd 2.20服务网格的网格成员与注入机制。核心是proxy-injector webhook在Pod创建时注入linkerd-proxy,2.20默认采用native sidecar模式(init容器带restartPolicy: Always),替代传统legacy模式(普通容器加linkerd-init)。文章提供排障指南,区分未注入与已注入但重定向未就绪,并说明opaque ports配置及membership失败排查方法,强调先读Pod spec再查配置。
Linkerd的identity服务负责签发和轮转工作负载证书,通过CSR与Kubernetes ServiceAccount绑定实现mTLS。证书分三层:工作负载证书自动轮转,issuer和trust anchor轮转更重。与Istio SDS不同,Linkerd使用专用gRPC API,排障时先查leaf,再查issuer,最后查anchor,并注意时钟同步和跨集群信任问题。
本文介绍Linkerd 2.20中ServiceProfile的L7流量管理机制。ServiceProfile CRD定义路由、重试和超时,由destination控制器通过GetProfile流推送至数据面。sp-validator webhook负责写入前校验,失败时直接拒绝。与Gateway API分工:SP用于网格内路由,GAPI用于南北向。排障时需区分写入失败(validator)、行为失败(Get vs GetProfile)和策略拒绝(403)。
本文介绍Linkerd 2.20控制面系列文章,涵盖其非xDS架构、五轴排障坐标系(注入、identity、destination、策略、数据面)及16篇路线图。重点区分native sidecar与legacy路径,对比istiod/xDS和Cilium L4,说明专用gRPC控制面优势,并指导选型与排障,强调基于源码tag而非live文档。
本文介绍Falco 0.44.1排障方法,核心是“先点名轴,再下钻模块”。五轴包括:驱动加载、libscap协商、libsinsp富化、规则引擎、输出与丢事件。排障时需按引擎(modern_ebpf或kmod)分列证据,一次否证一轴,避免误改规则或重装。常见问题如无告警、规则静默、字段为空等,需对应检查驱动、协商、富化或输出,并区分Falco与Tetragon的因果,不混用证据。
本文介绍Falco 0.44.1运行时安全检测系列,聚焦modern_ebpf与kmod双引擎、libscap/libsinsp机制及规则引擎。文章定义五条排障坐标系:驱动加载、协商、状态富化、规则引擎、输出丢事件,并指出0.44已删除legacy eBPF和gRPC输出。核心是帮助识别检测事件在驱动、协商、富化或规则层的具体失败位置,而非简单安装指南。
Falco 0.44.1 仅支持 modern_ebpf 与 kmod 双引擎,legacy eBPF 已删除。modern_ebpf 需 BTF 与 ringbuf,可最小权限运行;kmod 需完整特权,适合旧内核或禁 BPF 环境。auto 仅是运维选择器,非第三引擎。排障须按实际加载引擎分列证据,避免误判。
本文介绍Falco 0.44.1中libscap的职责:与内核驱动通信、打开会话、读取ring缓冲、协商API/Schema版本。0.44与0.43不兼容,需成对升级驱动。scap-open仅验证原始事件捕获,不涉及规则引擎。排障时先查协商是否成功,再查规则,避免误判。
本文讨论Falco规则引擎的求值机制与失败模式,聚焦条件、优先级、异常三方面。核心观点:规则不告警常因条件字段为空或异常过宽,而非规则未加载;优先级不决定求值顺序,仅标定严重程度;排障应先验证事件进入引擎且字段非空,再调整规则。
Falco 0.44.1仅支持stdout、syslog、file、http、program五种输出方式,gRPC输出已移除。排障时需区分输出背压与驱动丢事件,先用stdout验证引擎命中,再检查下游通道。
完成下面两步后,将自动完成登录并继续当前操作。