在线机器人基础模型选择
内容提要
本文综述在线机器学习与模型选择研究，涵盖上下文活动模型选择、在线联邦模型选择、少样本持续学习及多模态机器人模型，并比较离线监督学习与在线策略优化，强调降低标记成本、适应非稳态环境及模型选择对任务效果的重要性。
延伸解读
在线模型选择的核心挑战与应对
在线模型选择需在数据流中实时从候选模型中选择，面临非稳态环境和标记成本高的挑战。文章提及的CAMS算法通过不确定性采样降低标记成本，而在线联邦框架则让学习者和服务器协作微调模型以适应变化。这些方法旨在平衡预测性能与资源消耗，为动态场景提供自适应解决方案。
模型选择在任务效果中的关键作用
文章通过多任务实验表明，不同模型在不同任务上表现差异显著：大型语言模型在部分任务出色，开源模型经微调可媲美封闭源模型，而监督式小模型如RoBERTa在许多数据集上甚至超过生成型模型。但封闭模型在需要强泛化的难任务中仍具优势，这凸显了根据任务需求选择模型的重要性。
离线监督学习与在线策略优化的比较
针对神经网络反馈控制器，文章比较了离线监督学习和在线直接策略优化，发现离线监督学习在优化和训练时间上更具优势，并提出了“监督预训练与微调”方法，可显著提升性能和鲁棒性。这提示在机器人控制等场景中，离线方法可能更高效，但需结合在线适应以应对动态环境。
机器人领域的少样本持续学习与多模态趋势
家用机器人视觉系统需与不可见类别交互，RobOCLe通过富化特征空间和高阶统计矩提升少样本在线持续学习的鲁棒性。同时，多模态视觉-语言-行为模型被提出以增强机器人辅助手术的自治性。这些研究指向一个趋势：机器人模型需融合多模态信息并具备持续学习能力，以应对开放环境。
Q&A
在线模型选择是什么？
在线模型选择是从一组候选模型中‘即时’选择一个模型来对数据流进行预测。
在线学习根据反馈信息的形式可以分为哪几类？
可以分为三类：（i）始终可用全反馈信息的监督式在线学习，（ii）具有有限反馈的在线学习，（iii）无反馈可用的无监督在线学习。
在线联邦模型选择框架是如何工作的？
一组学习者与具有足够内存的服务器进行交互，服务器存储所有候选模型。每个学习者只选择将适合其内存的一部分模型存储，并使用其中一个存储的模型执行自己的预测任务。学习者和服务器合作对模型进行微调以使其适应非稳态环境。
RobOCLe 是什么？它有什么特点？
RobOCLe 是一种少样本在线持续学习模型，用于家用机器人的视觉系统，通过构建富化特征空间和计算样本的高阶统计矩来改善连续学习模型的鲁棒性。
离线监督学习和在线直接政策优化在机器人控制中哪个更有优势？
离线监督学习在优化和训练时间上更具优势，并且提出的 'Supervised Pre-train and Fine-tune' 训练方法可显著提高性能和鲁棒性。
大型语言模型在命名实体识别、政党预测和虚假信息检测任务上的表现如何？
大型语言模型在某些任务上表现出色，开源模型通过微调与封闭源模型相媲美，而监督较小的模型（如 RoBERTa）在许多数据集上能够达到甚至超过生成型模型的性能，但封闭模型在需要最强泛化能力的难任务中仍然保持优势。
