在多模态应用中使用的存储器计算技术——详细解析 ISSCC 2023 16.1 Multcim
原文英文，约2000词，阅读约需8分钟。发表于：。Multimodal models, which are neural network models with the ability to understand mixed signals from different modalities (e.g., vision, natural language, speech, etc.), are one of the most...
清华大学和香港科技大学的研究提出了一种新的加速器设计，解决多模态Transformer模型在硬件执行时的稀疏性问题。通过优化调度器、令牌修剪器和自适应网络，提高了计算效率，减少了延迟。多模态模型在视觉问答和图像描述等领域有广泛应用，未来将进一步推动AI发展。
