本文介绍了代码生成的发展史和技术原理，包括GitHub copilot的起源和评估效果，pass@k度量的计算逻辑，Codex的训练全流程，以及微软GitHub copilot和Code Llama的训练流程、工作原理和性能。