HARGPT：是零样本人类活动识别器吗？
内容提要
本文探讨了大型语言模型（LLMs）在社交机器人和人类活动识别中的应用潜力。研究表明，LLMs在轨迹规划和人类建模方面表现优异，能够生成虚拟IMU数据，解决数据稀缺问题。通过多模态整合，LLMs提升了机器人任务的执行性能，为未来人机交互提供了新视角。
延伸解读
LLM作为人类活动识别器的潜力与局限
文章指出，大型语言模型在人类活动识别中展现出与定制模型相当的性能，尤其在零样本场景下。然而，这种能力并不完整，LLM仍面临数据稀缺和泛化挑战。研究通过社交数据集实验验证了LLM在HRI人类建模中的可行性，但强调其作为通用识别器仍需进一步优化。
生成虚拟IMU数据解决标注难题
针对HAR领域标注数据稀缺的问题，文章提出利用生成式AI从文本描述自动生成虚拟IMU数据。通过IMUGPT扩展，动作过滤器可滤除无关序列，多样性指标能减少至少50%的生成工作量。这种方法将文本描述与运动合成模型结合，为数据增广提供了高效途径。
多模态LLM提升机器人任务规划
文章探讨了多模态LLM（如GPT-4V）在机器人任务规划中的应用。结合自然语言指令和视觉感知，LLM能直接预测末端执行器姿态，甚至检测失败并重新规划。这打破了LLM在低级控制中知识不足的假设，表明其在常见任务中具备理解低级机器人控制的能力。
零样本分类的提示策略影响
文章提到，在零样本设置下，LLM在文本分类任务中表现不及微调的小型模型（如BERT），且不同提示策略可导致准确率差异超过10%。这提示在实际应用中需谨慎设计提示，并考虑结合微调方法以提升性能。
Q&A
大型语言模型在社交机器人中的应用潜力是什么？
大型语言模型（LLMs）在社交机器人中能够实现与定制模型相当的性能，提供了一种有前途但不完整的人类建模方法。
如何解决人类活动识别中的数据稀缺问题？
通过跨模态迁移方法，将现有数据集从源模态（如视频）转换为目标模态（IMU），并生成虚拟IMU数据来解决数据稀缺问题。
IMUGPT扩展的作用是什么？
IMUGPT扩展用于动作过滤和生成数据多样性测量，确保生成虚拟IMU数据的相关性并帮助确定停止生成的时机。
生成式人工智能如何帮助人类活动识别？
生成式人工智能能够从文本描述中自动生成虚拟IMU数据，解决有限标注数据的问题，促进HAR领域的发展。
LLMs在低级轨迹规划方面的能力如何？
LLMs在低级轨迹规划方面的能力被重新评估，显示出它们在常见任务中的理解能力，能够检测失败并重新规划轨迹。
多模态LLMs如何提升机器人任务的执行性能？
多模态LLMs结合自然语言指令和机器人视觉感知，显著提升了机器人在具身任务中的执行性能。
