OpenAI发布了CriticGPT论文，这是GPT-4的一个版本，用于批评ChatGPT生成的代码。CriticGPT能够发现更多错误并提出更好的批评意见，OpenAI计划使用它来改进未来模型。CriticGPT是OpenAI在可扩展监督方面的努力的一部分，旨在解决评估模型输出的问题。研究人员使用CriticGPT生成代码的批评意见，并与人类编码人员进行对比。在评估中，80%的AI训练者更喜欢CriticGPT的批评意见，表明它可能是RLHF训练数据的良好来源。