在连续空间中集成人类专业知识：一种新颖的交互式贝叶斯优化框架与偏好预期提升
内容提要
该文综述交互式机器学习研究，涵盖人机协作指南、交互式模仿学习、安全贝叶斯优化、人类-机器学习混合专家模型、可解释贝叶斯优化、神经机器翻译个性化及隐式交互集群学习，旨在提升模型性能、安全性与透明度。
延伸解读
交互式机器学习的多领域应用
文章综述的交互式机器学习研究覆盖了多个领域，包括人机协作指南、交互式模仿学习、安全贝叶斯优化、混合专家模型、可解释贝叶斯优化、神经机器翻译个性化以及隐式交互集群学习。这些工作共同表明，交互式方法不仅用于提升模型性能，还致力于增强安全性、透明度和个性化能力，为不同场景下的实际部署提供了多样化的技术路径。
安全与效率的平衡策略
在安全贝叶斯优化和确定性马尔可夫决策过程中，研究者通过高斯过程先验框架来避免不安全的决策并优化效率。类似地，协作可解释贝叶斯优化（CoExBO）提供不会造成损害的保证，允许用户犯错，并能在极端对抗性干预下渐进收敛到标准贝叶斯优化。这些工作显示，交互式系统在设计时需兼顾探索效率与安全约束，以降低实际应用风险。
人类专业知识整合的机制
文章涉及多种整合人类专业知识的机制，如交互式模仿学习通过查询动作注释来减少标注需求，Preferential MoE根据决策需求增强分类器并提供可解释的门控函数，以及交互式预测神经机器翻译允许用户反馈和编辑建议。这些机制旨在将人类洞察力无缝融入模型训练或优化过程，从而提升模型性能并建立用户信任。
Q&A
交互式机器学习中，如何确保人机协作的公平透明并增强人类能力？
该研究论文提出了一种面向人类的指南，旨在帮助机器学习从业者在开发和部署交互式机器学习系统时，解决人机协作、模型评估、公平透明等责任问题，以促进人类技能和能力的增强。
集成交互式模仿学习（EIIL）是什么？它有什么优势？
EIIL是一种交互式模仿学习算法框架，学习者通过与演示专家的互动查询动作注释，旨在学习一种能够与专家表现竞争性能且使用尽可能少的注释的策略。理论上，EIIL的一个效率优于oracle版本能够保证尖锐的后悔，前提是可以访问某个对状态具有“探索性”分布的样本。经验上，EIIL在连续控制任务中明显超过在线和离线模仿学习基准。
如何通过高斯过程先验框架避免不安全决策并优化决策效率？
该论文提出了一个新的Interactive Machine Learning算法，通过一个基于高斯过程先验的框架来避免不安全的决策并优化决策效率，应用到安全贝叶斯优化和安全的deterministic Markov Decision Processes中，实验证明该算法优于其他算法。
Preferential MoE模型是什么？它有哪些应用？
Preferential MoE是一种人类-机器学习混合专家模型，它可以根据决策中有无人类专家经验的必要性，在需要时对数据分类器进行增强。该模型展示了可解释的门控函数，提供何时遵循或避免人类规则的信息。提出了解决具有凸次问题的耦合多目标问题。提出近似算法并研究其性能和收敛性。最后，演示了Preferential MoE在治疗人类免疫缺陷病毒（HIV）和管理重度抑郁症（MDD）的两个临床应用中的实用性。
协作和可解释的贝叶斯优化框架（CoExBO）如何整合人类洞察力？
CoExBO通过优先学习无缝地将人类洞察力整合到优化中，为用户提供与其偏好相符的算法建议，并通过解释候选项选择来建立信任，使用户对优化有更清晰的掌握。此外，CoExBO提供不会造成损害的保证，允许用户犯错误；即使进行极端对抗性干预，该算法也渐进地收敛到一个标准的贝叶斯优化方法。通过在锂离子电池设计中进行人工智能协作实验，验证了CoExBO的有效性，并凸显了与传统方法相比的显著改进。
交互式预测神经机器翻译框架如何实现模型个性化？
通过交互式预测神经机器翻译框架进行模型个性化，并借助强化学习和模仿学习的方法。在交互式的过程中，用户可以反馈不确定区域的翻译结果，并能提交编辑建议，我们通过集成这些反馈，使用约束束搜索，对模型进行调整迭代，实验结果表明，相对于传统监督模型，该模型更易于个性化，并且具有相近的翻译性能。
