使用处理内存中的哈希嵌入加速技术
内容提要
该文综述了利用存内计算（PIM）优化机器学习与数据中心架构的研究，涵盖嵌入式表缓存、混合维度嵌入、NicePIM、MTrainS、NeuroCluster、AutoDim、MANN及eDRAM边缘训练等方案，通过算法与硬件协同设计降低内存占用与能耗，提升训练效率与加速效果。
延伸解读
存内计算如何缓解内存瓶颈
文章指出，传统以处理器为中心的计算系统面临内存访问瓶颈和大量能量消耗。存内计算（PIM）将计算单元嵌入内存，减少数据搬运，从而提升能效。多个方案如NicePIM、NeuroCluster等，通过硬件与算法协同设计，在DNN训练和推理中实现更低时延与能耗。这反映了数据中心架构向内存中心化演进的趋势。
嵌入表优化的实际效果
针对推荐系统的大规模嵌入表，文章提到低精度训练和混合维度嵌入可显著降低内存占用。例如，INT8精度下嵌入表缓存仅为原大小的5%，实现3倍减存储，并在GPU与主机间数据传输上获得16%训练加速。混合维度嵌入则根据查询频率匹配向量维度，在Criteo数据集上验证了内存降低与性能提升。
边缘训练与新兴架构探索
文章还涉及边缘设备上的DNN训练，如使用eDRAM作为主要存储介质，并设计可逆DNN架构和训练引擎CAMEL，避免eDRAM刷新，降低能耗。此外，内存增强神经网络（MANN）与计算存储单元结合，在Omniglot数据集上实现少样本图像分类。这些探索展示了PIM在边缘和新型计算范式中的潜力。
Q&A
存内计算（PIM）如何加速机器学习训练？
PIM通过将计算单元嵌入内存，减少数据在处理器和内存之间的移动，从而降低访问瓶颈和能耗。文章指出，PIM架构在经典算法上相比传统CPU和GPU表现出更高效的处理机制和更好的加速效果。
嵌入式表缓存内存架构如何优化推荐系统的大规模训练？
该架构通过低精度训练大部分嵌入式表行数据，在保持与标准训练相同准确率的情况下，将INT8位精度嵌入式表与缓存大小缩减至嵌入式表大小的5%，实现3倍的存储减少，并在GPU与主机间数据传输方面达到16%的训练加速。
混合维度嵌入层架构有什么优势？
混合维度嵌入层架构将嵌入向量的维度与其查询频率相匹配，可以显著降低内存使用，同时提高机器学习性能。作者在Criteo Kaggle数据集上进行了实验验证。
NicePIM是什么？它包含哪些组件？
NicePIM是一种针对DRAM-PIM加速器的硬件架构和DNN映射的高效优化方案，包含PIM-Tuner、PIM-Mapper和Data-Scheduler三个关键组件。实验表明，NicePIM能有效优化DRAM-PIM系统的硬件配置，并生成具有较低时延和能耗成本的高质量DNN映射方案。
MTrainS如何提升深度学习推荐模型的训练效率？
MTrainS通过优化平台内存层次结构，在深度学习推荐模型（DLRM）中降低节点数目，优化内存容量，从而提高训练效率，减少功耗和训练成本。
NeuroCluster是什么？它的性能如何？
NeuroCluster是一种基于高带宽内存和处理器内存的柔性解决方案，可用于深度卷积神经网络的可扩展和节能执行。它实现了最好的能源效率，平均性能为240 GFLOPS，能源效率为22.5 GFLOPS/W。
AutoDim框架的作用是什么？
AutoDim是一个基于AutoML的框架，可以以数据驱动的方式自动为不同的特征字段选择维度，并在基准数据集上进行了广泛实验来验证其有效性。
MANN与计算存储器单元结合有什么应用？
该研究将内存增强神经网络（MANN）与计算存储器单元相结合，实现在高维向量上的模拟内存计算，并使用基于内容的注意机制处理数据。在Omniglot数据集上，它展示了良好的少样本图像分类性能。
eDRAM在物联网边缘设备训练中有什么作用？
eDRAM被用作训练数据的主要存储介质，以解决物联网边缘设备上的深度神经网络训练问题。研究设计了一种新颖的可逆DNN架构和高效的设备端训练引擎CAMEL，实现不需eDRAM刷新的数据训练过程，从而大大减少DNN训练的能耗，并在验证精度上实现类似或更好的性能。
