L3iTC 在 FinLLM 挑战任务中的量化金融文本分类和摘要
原文中文,约500字,阅读约需2分钟。发表于: 。本文详细介绍了我们(L3iTC)在 2024 年 FinLLM 挑战任务中的参与情况,重点关注两个主要领域:任务 1,金融文本分类,和任务 2,金融文本摘要。为了解决这些挑战,我们对若干大型语言模型(LLMs)进行了微调,以优化每个任务的性能。具体而言,我们使用 4 位量化和 LoRA 来确定应在较低精度处训练 LLMs...
本研究审查了大型语言模型中的4位量化方法,发现INT4量化在生成类别任务中表现不佳,而FP6量化在准确性和多功能性方面表现出色。提出了一种用于FP6的新颖4+2设计,以适应各种AI硬件并实现最佳系统性能。