将 ContextGPT 的知识融入神经符号活动识别模型
内容提要
本文提出了一种基于语义损失函数的神经符号AI方法，用于上下文感知的人体活动识别。研究表明，利用大型语言模型（LLMs）能够有效识别原始IMU数据中的人类活动，并在多个基准数据集上优于传统方法。此外，生成式人工智能在解决有限标注数据问题和开发HAR模型方面展现出良好前景。
延伸解读
神经符号方法如何提升活动识别
文章提出的神经符号AI方法基于语义损失函数，避免了显式的符号推理模块，同时在训练模型中注入特定知识要求。这种方法在上下文感知的人体活动识别中，能够达到或超过现有数据驱动模型的识别率。其核心在于将符号知识与神经网络结合，利用语义损失函数引导模型学习，从而在保持数据驱动优势的同时，融入领域知识，提升模型的泛化能力和解释性。
LLM在原始IMU数据识别中的潜力
研究表明，通过适当提示，大型语言模型（LLMs）能够理解原始IMU数据并执行人类活动识别任务。在GPT-4上的基准测试显示，LLMs在两个公共数据集上持续优于传统机器学习和最先进的深度分类模型。这表明LLMs可以基于其知识库解释物理世界的原始传感器数据，为与网络系统无缝集成的物理世界解释提供了新途径。
生成式AI应对标注数据不足
生成式人工智能能够从文本描述中自动生成虚拟IMU数据，从而缓解人类活动识别领域有限标注数据的问题。文章还探讨了生成式AI在生成基准数据集、开发HAR特定模型、探索层次结构、分解复杂活动以及健康感知和活动总结等方向的研究前景。这些应用展示了生成式AI在HAR领域的广泛潜力，有望减少数据标记和手动工程工作量。
符号系统与规则推理的改进
针对现有方法因手工符号有限和规则不足而难以涵盖复杂活动模式的问题，文章提出了一个新的符号系统，具有广覆盖的符号和合理的规则。通过利用LLMs作为符号来源（Symbol-LLM），从图像中提取视觉内容作为符号，并通过模糊逻辑计算规则推理活动语义。这种方法在广泛的活动理解任务中显示出优越性，提高了组合泛化能力。
Q&A
什么是基于语义损失函数的神经符号AI方法？
基于语义损失函数的神经符号AI方法用于上下文感知的人体活动识别，避免了符号推理模块，并注入特定知识要求以超越现有方法。
大型语言模型如何在人体活动识别中发挥作用？
大型语言模型能够有效识别原始IMU数据中的人类活动，并在多个基准数据集上优于传统方法。
生成式人工智能在HAR模型开发中有哪些前景？
生成式人工智能能够解决有限标注数据的问题，并在生成基准数据集和复杂活动分解等方面展现良好前景。
NeSyGPT是如何提高NeSy任务性能的？
NeSyGPT通过对视觉-语言基础模型进行微调，从原始数据中提取符号特征，减少数据标记和手动工程工作量。
如何利用序列到序列的神经网络框架提高活动识别性能？
该框架通过学习共享活动标签名称的语义，帮助提高人类活动识别的性能。
新符号系统的特点是什么？
新符号系统具有广覆盖的符号和合理的规则，旨在克服现有方法的缺陷。
