我们如何提升DatabricksIQ LLM在AI生成表格评论中的质量
内容提要
Databricks在Unity Catalog的AI生成评论功能上进行了改进，包括更新算法、训练数据合成、启发式过滤器和扩展评估集。这些改变使得偏好率比之前的模型提高了一倍。AI生成的评论自动化了为表格和列添加描述的过程，使得查找正确数据更加容易。这些改进使得DatabricksIQ在客户的应用AI用例中更加强大。
延伸解读
训练数据合成与过滤的关键作用
文章详细介绍了使用Mixtral 8x7B Instruct生成合成训练数据的过程，并强调了启发式过滤器的重要性。通过少样本示例引导输出格式，再经过过滤器去除不符合语法、风格不佳或简单罗列列名的样本，最终从9K样本中保留了约7K高质量数据。这表明，即使使用强大的LLM生成数据，后续的清洗和筛选仍是确保模型效果的关键步骤。
模型选择与微调策略
Databricks选择了Mistral-7B v1 Instruct作为基础模型进行微调，而非之前的MPT-7B。选择依据是Mistral-7B在当时聊天机器人竞技场中排名最高的7B参数模型。微调采用参数高效方法，仅需约45分钟即可完成两个epoch的训练。这体现了在有限资源下，通过选择更优的基础模型和高效微调技术，也能实现显著的性能提升。
评估方法的改进与验证
为了更准确地评估模型，Databricks将评估集从62个样本扩展到500个实际使用的表，并采用双盲评估框架。由于人工标注成本高，他们使用另一个LLM作为评估者，并允许平局、要求解释理由、多数投票等策略提高评估一致性。最终人类评估者也确认新模型更受偏好，偏好率约为旧模型的两倍。这说明合理的评估设计对验证模型改进至关重要。
实际应用与访问方式
改进后的AI生成评论功能已部署，用户可以通过Catalog Explorer访问，为Unity Catalog管理的表生成和接受AI评论。如果看不到相关图标，管理员可以按照文档启用DatabricksIQ功能。这一功能自动化了表和列的文档编写，帮助用户更轻松地找到正确数据，从而增强DatabricksIQ在应用AI用例中的能力。
Q&A
Databricks如何提升AI生成评论的质量？
Databricks通过更新算法、合成训练数据、启发式过滤器和扩展评估集来提升AI生成评论的质量。
AI生成的评论对用户有什么帮助？
AI生成的评论自动化了为表格和列添加描述的过程，使用户更容易找到正确的数据。
如何评估新模型的性能？
新模型通过双盲评估框架与旧模型进行比较，使用500个实际使用的表进行评估，结果显示新模型更受偏好。
Databricks使用了什么样的训练数据？
Databricks使用了合成的训练数据，并通过启发式过滤器清理数据，最终保留约7000个样本用于训练。
Mistral-7B模型的微调过程是怎样的？
Mistral-7B模型在过滤后的7000个样本上进行了参数高效的微调，耗时约45分钟。
如何访问AI生成的评论功能？
用户可以通过打开Catalog Explorer并选择由Unity Catalog管理的表来访问AI生成的评论功能。
