本文介绍了一种自动化的移动神经结构搜索方法，旨在平衡模型的准确性与延迟。实验结果表明，该方法在多个视觉任务中优于现有模型。同时，提出了基于任务导向的通信方案和端到端可学习的输入过滤框架，以提高资源效率和准确性。研究还探讨了在异构移动处理器上进行深度学习推理的能力与挑战，并提出了多流动态适应的轻量级人工智能模型，验证了其在自主车辆导航中的有效性。

本文介绍了一种利用早期退出神经网络在嵌入式设备上进行深度学习推理的新技术，以提高处理资源有限的嵌入式平台上数据流的处理效率。该技术能够智能地决定何时终止推理，减少计算成本并最大限度地保持准确性。该技术适用于通用硬件，并可与传统优化相结合，使其适用于资源有限的嵌入式平台。这种效率提升使得在资源受限平台上进行实时雷达数据处理成为可能，并在智能家居、物联网和人机交互等领域推出了新的应用。

本文讨论了在TensorRT中实现和集成自定义插件的方法，并提供了一个具体示例。自定义插件用于加速在NVIDIA GPU上的深度学习推理，并允许用户为TensorRT不支持的神经网络层创建自定义插件。文章提供了创建自定义插件、实现插件类以及在TensorRT中注册插件的代码示例。还演示了如何使用自定义插件构建引擎并运行推理。

OneAdapt是一种通过优化配置选项来提高深度学习推理准确性的方法，同时降低网络带宽和GPU资源的使用量。它利用深度神经网络的可微性来快速估计准确度梯度，并在一系列配置选项范围内实现这些目标。与现有技术相比，OneAdapt可减少带宽和GPU使用量15-59%，同时保持准确度相当或提高1-5%，且使用相同或更少的资源。