本研究评估了在资源受限微控制器上运行的关键词检测神经网络架构。通过优化，提升了准确性并降低了存储和计算需求。深度可分离卷积神经网络（DS-CNN）实现了95.4%的准确率，并提出了新架构和自监督学习方法，显著提高了关键词检测性能，适用于低功耗设备。

提出了OnDev-LCT，一种适用于具有有限训练数据和资源的设备的轻量级卷积变换器。通过高效深度可分离卷积和多头自注意机制，提取局部特征和全局表示。实验证明，在参数和计算需求更低的情况下，优于现有的轻量级视觉模型。适用于具有数据异质性和通信瓶颈的FL场景。

该文介绍了一种新的CNN模型——PatchMixer，用于解决Transformer模型在时间序列预测任务中的挑战。实验结果表明，PatchMixer的提升分别为3.9％和21.2％，速度是最先进方法的2-3倍。

该文介绍了一种新的CNN模型——PatchMixer，用于解决Transformer模型在时间序列预测任务中的挑战。PatchMixer具有自注意力机制，可以保留时间信息，且仅依赖于深度可分离卷积，可以在单一尺度的结构中提取局部特征和全局相关性。实验结果表明，相对于现有最先进的方法和表现最佳的CNN，PatchMixer的提升分别为3.9％和21.2％，速度是最先进方法的2-3倍。作者将发布代码和模型。