演讲：GitHub Copilot 如何每天处理4亿个代码补全请求

GitHub Copilot是全球最大的代码补全服务，每天处理数亿请求，响应时间低于200毫秒。

Copilot通过代理连接IDE与Azure中的大型语言模型，支持多种IDE。

为降低延迟，Copilot采用流式处理和HTTP/2协议，并优化请求的取消和重用。

全球多个区域的模型部署确保用户获得低延迟服务。

Copilot的目标是提供交互式代码补全，竞争对手是本地IDE中的自动补全功能。

通过流式处理，Copilot可以在请求开始时立即开始返回结果，减少等待时间。

使用TCP和TLS协议进行连接，优化连接建立的成本和延迟。

Copilot的演变经历了从用户管理到建立认证代理的过程，以提高可扩展性。

用户通过OAuth认证获取短期代码补全令牌，简化了访问流程。

Copilot在用户停止输入时接管，设计了多种策略来判断何时切换到Copilot的输入。

实现了请求的取消机制，减少了不必要的计算和资源浪费。

HTTP/2协议的使用允许在单一连接上复用多个请求，降低了延迟。

通过全球多个Azure区域的模型部署，确保用户请求被路由到最近的代理区域。

使用octoDNS进行DNS配置管理，实现流量负载均衡和健康检查。

代理的存在使得可以在不影响用户体验的情况下进行流量分割和A/B测试。

工程努力的回报体现在降低延迟和提高服务可靠性上。

建议使用HTTP/2及更好的协议来提高应用性能，关注延迟问题。