本研究提出了一种新颖的语义方向概念，解决了视觉语言模型在物体方向理解上的不足，构建了OrienText300K数据集，显著提升了机器人操作精度，具有广泛的应用潜力。

噪声扩散模型在语音合成中应用增加，尽管音质高，但语义和音色控制仍有挑战。研究发现TTS模型的潜在空间有丰富语义信息，提出新方法在此空间中找到语义方向，实现无需额外训练的音频编辑，提升语义和声学质量。

研究团队开发了一种非侵入性神经解码器MindGPT，可以将视觉刺激解释为自然语言。该模型建立在具有交叉注意机制的视觉引导神经编码器上，并通过大型语言模型GPT的协同使用来将潜在的神经表示引导到期望的语义方向。实验证明，该模型的神经表示具有可解释性，可以用来评估视觉属性对语义的贡献。