PaperBench是一个基准,用于评估AI代理复制前沿AI研究的能力。代理需从零开始复制20篇ICML 2024论文,开发代码并执行实验。评分标准详细,PaperBench包含8316个可评分任务。通过LLM评估复制尝试,Claude 3.5 Sonnet的平均复制得分为21.0%。顶尖ML博士的尝试表明,模型尚未超越人类基线。我们开源代码以促进未来研究。
2024年国际机器学习会议在维也纳举行,涵盖了强化学习、生命科学人工智能、表示学习、多模态模型等多个领域的研究。Jina-CLIP-v1的多模态模型引起了广泛关注。其他研究包括图形增强大型语言模型、发现训练环境的算法、减少LLM评估成本的方法等。此外,还有关于对抗学习、无监督图像检索、Prompt Sketching等新方法的研究。会议展示了机器学习领域的新进展和创新。
ICML 2024最佳论文公布,其中包括由Stability AI开发的文本到图像生成模型Stable Diffusion 3 (SD3)。HyperAI提供了使用ComfyUI工作流运行SD3的教程。文章还重点介绍了10个公共数据集、3个教程、4篇社区文章和5个百科全书条目。HyperAI旨在支持数据科学领域的开发者。
ICML 2024最佳论文曾被ICLR 2024拒绝。该论文提出了一种新的离散扩散语言建模方法,在大多数任务中表现优于GPT-2。然而,由于实验不完整和缺乏与其他扩散模型的比较,最终被拒绝。作者之一已加入OpenAI,并将在ICML 2024上展示这项工作。
贾扬清的论文“DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition”获得ICML 2024时间检验奖。该论文提出了深度卷积激活特征DeCAF,用于解决通用视觉识别问题。通过实验,DeCAF在多个任务上表现出色,包括对象识别、域适应、细粒度识别和场景识别。论文还分析了网络各层的计算时间分布,并开源了DeCAF特征提取工具和预训练模型。ICML 2024还公布了最佳论文奖,其中包括Stable Diffusion 3论文和“Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution”论文。
中国人民大学的研究团队在ICML 2024上发表了一篇题为'EquiPocket: an E(3)-Equivariant Geometric Graph Neural Network for Ligand Binding Site Prediction'的论文,提出了EquiPocket框架,应用E(3)等变图神经网络解决了基于CNN的方法在配体结合位点预测中的挑战。通过广泛实验证明了EquiPocket在药物发现等任务中的优越性。研究还介绍了AlphaFold3和DeepGlycanSite等其他蛋白质结构预测的深度学习模型,为科学家提供了新的工具。
南开大学研究团队在ICML 2024上发表论文,提出Approx-BP和MS-BP两种反向传播改进策略,可显著减少微调过程中的显存占用。实验结果显示,这两种策略能有效降低Transformer模型微调的峰值显存占用,且不影响训练速度和精度,为显存节省提供新方案。
完成下面两步后,将自动完成登录并继续当前操作。