LightGen是一种新型高效图像生成模型,由香港科技大学和Everlyn AI团队开发,旨在有限数据和计算资源下生成高质量图像。通过知识蒸馏和直接偏好优化,LightGen显著降低了训练成本,性能接近或超越现有最先进模型。研究表明,使用约200万张图像作为预训练数据,LightGen在图像生成任务中表现优异,未来可扩展至其他生成任务。
北大和清华的研究发现,高效模型如Mamba在推理能力上存在局限。尽管思维链(CoT)能提升Transformer的推理能力,但高效模型仍不如标准Transformer。Sparse Transformer和Linear Transformer在动态规划问题上需增加模型宽度,时间复杂度与标准Transformer相同。研究还指出RNN在某些任务上不如Transformer。两校建议通过局部性和上下文检索器提升高效模型的推理能力。
EfficientMod是一种高效模型,融合了卷积和注意力机制,具有高效性和强大的表示能力。它在图像分类、目标检测、实例分割和语义分割等任务上表现出色,性能更好且计算复杂度更低。通过逐元素乘法融合特征和线性投影进行通道间的信息交流,EfficientMod在各种任务中都取得了非常好的结果。
该文汇总多项视觉生成研究,涵盖Token Pooling加速视觉变换器、重用注意力映射降低文本到图像扩散延迟、蒸馏SDXL得到高效模型KOALA、利用扩散模型多模态知识进行分割、空间-时间交叉注意力提升文本保真度、缩放因子适配多尺寸图像、新损失函数改善布局对齐、Focus-DETR优化计算与精度、离散扩散并行预测提升一致性,以及免训练方法实现超高分辨率生成。
该文综述高效视觉Transformer研究,涵盖TRT-ViT、PriViT、Next-ViT、TurboViT、CXV、EfficientViT、MiniViT、MobileViT等模型,通过改进注意力机制、混合卷积架构、压缩参数与硬件延迟优化,在图像分类、检测等任务中提升计算效率,兼顾速度与精度,适于移动及工业部署。
本文综述大语言模型推理任务的研究进展,涵盖思维链提示、算法推理路径、微调策略及高效模型等方向,提出多种方法提升模型推理与生成能力,并探讨其记忆特性与人类记忆的相似性,为高效大语言模型研究提供系统参考。
完成下面两步后,将自动完成登录并继续当前操作。