作者回顾两年AI经历:先从事LLM推理,在百炼实现PD分离,从blade-kvt到vLLM HybridConnector,主张引擎主链路与KV传输解耦,用事件通知替代轮询,并以简单RPC取代ZMQ。后转千问RL后训练infra,用Mooncake优化数据中转,设计R3引用传递方案,开发零开销内存profile。他强调在AI时代保持独立思考与工程品味。
完成下面两步后,将自动完成登录并继续当前操作。