本研究提出FedPIA框架，旨在医疗等隐私环境中有效微调大型视觉-语言模型。通过适配器的置换和整合，优化联邦学习与参数高效微调的结合，显著提升模型在多模态任务中的表现，超越现有基准方法。

本研究提出了一种新颖的层微调方案，旨在提高资源受限设备上联邦学习中大型语言模型的效率。该方案在计算和内存约束下优于现有方法，并在有限通信条件下的准确度与LoRA相当，显著提升了训练准确性。

本研究提出FiRST算法，旨在降低自回归大型语言模型在资源受限环境中的推理延迟。该算法通过自适应层选择和任务导向的微调，提高了部署效率和特定任务的准确性。

GPT-4o mini 已成为大型模型领域的顶级表现者，以更低的成本匹敌完整版。OpenAI 正逐步允许对 GPT-4o mini 进行微调，并在 9 月 23 日之前每天提供 200 万个免费训练代币。在 lmsys 排名中，GPT-4o mini 与完整版并列第一，仅落后 7 分。GPT-4o mini 的发布促使其他公司开发更小的模型。

本文研究了指令优化在模型转移学习中的应用，提出了多模态指令调优基准数据集MultiInstruct，并探讨了fine-tuning方法以提升多任务学习性能。研究引入了CoTBal算法和结构因果模型，增强了NLP任务的效果，并展示了SMI函数在数据选择中的有效性。

本研究通过fine-tuning基础模型，证明其在医学影像领域的优越性，并开发了一种新的贝叶斯不确定性估计方法。实验揭示了线上准确性和一致性指标的局限性，强调了引入贝叶斯不确定性的潜力。

研究创建了名为RETRO的模型，通过从大型语料库中检索与前面token相似的文档块来改善自回归语言模型的条件。RETRO结合了一个冻结的Bert检索器、一个可微分的编码器和一个分块交叉关注机制，可以预测token并在fine-tuning后转化为下游的knowledge-intensive任务。该研究为提高语言模型的性能开辟了新的途径。

该研究将多模态大型语言模型视为图像分类器，并引入EMT评估现有的MLLM在图像分类任务上的性能。研究发现，几乎所有评估的MLLM在标准图像分类任务上无法保持与视觉编码器相同的性能水平，并且随着fine-tuning的进行，MLLM开始产生幻觉，并导致了显著的泛化能力损失。因此，MLLM在标准图像分类任务上的性能仍有待提高。

GPT-3.5 Turbo 已经过微调，GPT-4 的微调版本将在秋季发布。开发者可以针对特定的使用场景定制和提升模型的性能。GPT-3.5 Turbo 在某些特定任务中表现优于 GPT-4。微调可以改善可操作性、输出格式和自定义风格，同时减少令牌使用和成本。安全功能得以保留。微调后的 GPT-3.5 的定价是原始版本的 8 倍。微调用户界面将很快发布。

本文研究了faithfulness metrics在对话摘要任务中的应用，发现大多数度量方法在对话数据上的表现与人类判断相关性较差。为了提高faithfulness metrics的性能，采用了fine-tuning和unlikelihood training等技术。最后提出了T0-Score度量方法，能够稳定提高评价性能。

大模型是对语言理解能力出色的人，通过文本输入来满足需求。Prompt引导大模型回答，Token是处理的最小单元，Embedding编码文本为向量，方便语义相似度比较。Fine-Tuning调整模型以匹配特定任务。通过Embedding和Fine-Tuning实现大模型问答应用。使用Embedding将文本内容向量化为数据库，再通过Fine-Tuning训练模型以满足用户需求。这些技术相互关联，提高大模型效果。

Jina AI Finetuner can bring performance improvements of up to 63% to pre-trained CLIP models. Here is how we did that.