本文介绍了一种自动化的移动神经结构搜索方法，旨在平衡模型的准确性与延迟。实验结果表明，该方法在多个视觉任务中优于现有模型。同时，提出了基于任务导向的通信方案和端到端可学习的输入过滤框架，以提高资源效率和准确性。研究还探讨了在异构移动处理器上进行深度学习推理的能力与挑战，并提出了多流动态适应的轻量级人工智能模型，验证了其在自主车辆导航中的有效性。

本文综述边缘计算中深度学习推理的优化研究，涵盖计算卸载、模型剪枝、边缘-云端分区与特征编码、能量收割与多MEC卸载、联合边缘智能框架、Edgent协作推理、协作智能架构、混合DNN隐私保护及边缘设备能耗特征分析。

本文讨论了在TensorRT中实现和集成自定义插件的方法，并提供了一个具体示例。自定义插件用于加速在NVIDIA GPU上的深度学习推理，并允许用户为TensorRT不支持的神经网络层创建自定义插件。文章提供了创建自定义插件、实现插件类以及在TensorRT中注册插件的代码示例。还演示了如何使用自定义插件构建引擎并运行推理。

OneAdapt是一种通过优化配置选项来提高深度学习推理准确性的方法，同时降低网络带宽和GPU资源的使用量。它利用深度神经网络的可微性来快速估计准确度梯度，并在一系列配置选项范围内实现这些目标。与现有技术相比，OneAdapt可减少带宽和GPU使用量15-59%，同时保持准确度相当或提高1-5%，且使用相同或更少的资源。