Stack Overflow Blog
·
深入探讨：我们是如何（以及为何）构建问题助手的
内容提要
去年推出的Staging Ground帮助新提问者在Stack Overflow上获得反馈，尽管问题质量提高，但反馈仍需时间。通过机器学习和AI（Gemini），我们加速了反馈过程，创建了反馈指标模型，专注于问题背景和尝试细节。实验表明，Question Assistant提高了问题成功率，并于3月6日向所有提问者开放，我们将继续优化该功能。
关键要点
-
去年推出的Staging Ground帮助新提问者获得反馈，问题质量有所提高，但反馈仍需时间。
-
通过机器学习和AI（Gemini），加速了反馈过程，创建了反馈指标模型。
-
实验表明，Question Assistant提高了问题成功率，并于3月6日向所有提问者开放。
-
使用LLM评估问题质量的尝试未能提供可靠的质量评分和反馈。
-
通过调查收集的数据表明，数值评分无法提供可操作的反馈。
-
建立了针对特定反馈指标的个别模型，以提供更具体的反馈。
-
在Staging Ground进行的A/B测试显示，Question Assistant对问题成功率有积极影响。
-
第二次实验确认了Question Assistant对更有经验的提问者也有帮助。
-
研究和开发过程中，调整方向以确保各部分协调一致是关键。
-
未来将继续优化Question Assistant，改善提问体验。
延伸解读
机器学习与人工智能的结合
在构建问题助手的过程中，机器学习和人工智能的结合显得尤为重要。通过使用Gemini，团队能够快速识别常见问题并提供自动反馈，从而减轻人工审核的负担。这种方法不仅提高了反馈的效率，也为提问者提供了更具针对性的建议。
反馈指标模型的必要性
研究表明，传统的数值评分无法有效提供可操作的反馈。为此，团队转向建立反馈指标模型，专注于具体的反馈类别。这种方法使得提问者能够更清晰地了解需要改进的地方，从而提高问题的成功率。
实验结果的启示
尽管初步实验未能显著提高问题的审核通过率，但却在问题的成功率上取得了+12%的提升。这表明，问题助手在提升问题质量方面具有潜力，未来的优化将继续关注如何进一步改善提问体验。
延伸问答
Staging Ground的主要功能是什么？
Staging Ground帮助新提问者在公开发布问题前获得经验丰富用户的反馈。
Question Assistant是如何提高问题成功率的？
Question Assistant通过机器学习和AI提供具体的反馈，帮助提问者改善问题质量，从而提高成功率。
使用LLM评估问题质量的尝试有什么问题？
LLM无法可靠地预测问题质量评分，反馈内容重复且不具针对性。
如何建立针对特定反馈指标的模型？
通过分析评论数据，提取常见主题，构建个别的逻辑回归模型来指示问题是否需要特定反馈。
实验结果显示Question Assistant对提问者的影响如何？
实验显示Question Assistant提高了问题的成功率，尤其是对新提问者和经验丰富的提问者都有帮助。
未来对Question Assistant的计划是什么？
未来将继续优化Question Assistant，以改善提问体验和提升问题质量。
