本研究提出了ManipBench基准，用于评估视觉-语言模型在低级机器人操作中的有效性。结果表明，不同模型在任务表现上存在显著差异，并且与真实操作任务相关，显示出模型与人类理解之间的明显差距。

本文探讨深度学习如何改变计算方式与人机互动，揭示机器理解的独特性，并强调其与人类理解的差异，提供新的视角。

大规模预训练语言模型在Winograd Schema Challenge上表现提高，但对最小程度影响人类理解的例子的语言扰动敏感。人类在预测中更稳定和一致，在非联想实例上表现更好。微调可以解决这些问题。