AI聊天机器人从按下回车到输出首个词之间，经历约十几个阶段：组装包含系统提示、工具定义、记忆和对话历史的文档，进行输入安全检查，将文本分词，排队与其他请求共享硬件，然后分预填充和解码两阶段生成。长对话因重新处理全部历史而变慢变贵，缓存和流式技术优化了性能，工具调用则形成循环。