本研究推出了SwallowCode和SwallowMath两个开放许可数据集,旨在解决大型语言模型在程序合成和数学推理中的性能限制,从而显著提升模型的准确性。
本研究提出了TheoryCoder,通过层次化理论表示和程序合成方法,提高了强化学习系统在新领域的样本效率和适应性。该方法在复杂环境中表现优于直接合成策略。
本研究提出了一种新的多臂老虎机算法CYANEA,旨在解决大型语言模型在程序合成中的表现不均衡问题。该算法优化了符号求解器和提示选择,能够提高37.2%的查询解决率。
本研究提出了一种新算法EcoSearch,旨在解决程序合成中的搜索空间膨胀问题。该算法确保计算量恒定,提高了搜索效率,并在两个经典领域中优于前代算法。
本研究提出了一种潜在程序网络(LPN)算法,旨在解决程序合成中的单次训练问题。LPN在ARC-AGI基准测试中表现出色,能够适应未见任务,展现出强大潜力。
本文探讨了大型语言模型(LLMs)在程序合成和自动修复中的应用,提出了新方法RAP-Gen和RepairLLaMA,显著提高了修复效率。研究表明,通过优化提示和数据集,LLMs能够更有效地生成补丁,减少开发者的调试工作。
本文探讨了大型语言模型(LLMs)在程序合成中的应用,包括代码生成、调试和评估。研究表明,LLMs在处理简单程序时表现良好,但在复杂任务中仍面临挑战。引入新的评估框架和基准测试后,研究揭示了LLMs在理解复杂指令和多函数调用方面的不足,强调了进一步改进的必要性。
本文介绍了LAPS技术,通过自然语言注释引导程序合成,提升搜索效率和泛化性。研究探讨了神经符号程序合成、数学推理及抽象概念的可解释性,提出了NEUMANN推理机制和RAISE解答生成方法,以提高人工智能在抽象推理任务中的表现,并发布了arckit Python库以促进ARC研究。
本文探讨了大型语言模型在程序合成中的局限性,并评估其在新基准测试中的表现。研究发现,模型性能与规模呈对数线性关系,提出通过改进数据质量和微调方法来提升代码编辑能力。实验表明,使用高质量数据进行微调优于原始数据集,开源模型在特定任务上可显著提高性能。
本文探讨了通过强化学习(RLHF)提升大型语言模型(LLM)程序合成能力的方法。研究结合了多粒度单元测试反馈、PPO算法和奖励模型,以优化模型生成高质量代码的能力。结果表明,RLHF在对齐人类偏好方面有效,并提出了改进策略模型与奖励模型交互的概念,以提高性能。
本文探讨了程序语言模型的语义理解能力,提出了多种提升程序合成准确性和可靠性的方法,包括基于自然语言的程序生成和语法规则翻译。研究表明,模型能够生成更短且更正确的程序,并在多个领域表现出色。
本文探讨了大型语言模型在编程教育中的应用,特别是其生成个性化反馈的能力。研究评估了不同模型在可视化编程和程序合成中的表现,发现存在性能不足的问题。通过微调和新技术,旨在提升模型在编程任务中的有效性和质量,推动编程教育的进步。
本文介绍了一种结合模式识别和显式推理的程序自动合成方法,利用新颖的中间表示和训练算法,实现自学习。研究表明,该方法在合成正则表达式任务中性能提升23%,并探讨了深度学习在程序合成中的应用及未来研究方向。
该文综述神经程序分析研究:Transformer语言模型处理代码在AST标记和漏洞识别上表现良好,但在语义保持变换下泛化有限。相关工作报告了代码自然化预训练、自动修复、编程风格学习及程序合成数据集,最佳模型准确率仅8.8%,表明该领域仍具挑战。
该文综述大语言模型在程序合成与验证中的研究:LLM4PLC利用用户反馈和外部验证工具提升代码可验证性;结合LLM与静态分析、蒙特卡洛树搜索、测试驱动开发及SMT求解器,迭代生成并修复代码,提高正确性与可靠性,并优化RTL代码生成的功耗、性能与面积。
该文综述神经符号与组合视觉研究,利用程序生成关系丰富的视觉对象,比较人类与模型差异,指出新概念形成依赖组合与抽象。介绍了ConceptWorld、VISPROG、程序合成、无监督概念发现、CompMap、ConceptGAN及可微神经符号等方法,用于组合泛化、规则学习与编程教育,并取得优于基线的表现。
该文综述可解释AI研究,涵盖可调试Transformer、机制性可解释性、脑启发模块化训练、程序合成与神经程序解释器,并探讨大模型数学推理及GPT-2注意力头逆向工程,主张发展内部可解释性框架。
该文汇总多项代码大模型研究:DeepSeek LLM 67B在代码、数学和推理上超越LLaMA-2 70B,其Chat版优于GPT-3.5;PolyCoder在C语言上胜过Codex;StarCoder等开源模型推动安全发布;此外还涉及代码翻译、程序合成与语义代码搜索等进展。
该文汇总多项进化计算研究:用进化方法改进程序合成工具SuSLik的搜索策略;用遗传算法从解码导出工业过程代码;提升数字量子模拟保真度与资源效率;用语法引导遗传编程发现多重网格方法求解偏微分方程;用量子神经网络搜索量子电路实现态与门变换;用进化博弈论解决多智能体路径规划,路径更短且更快;用差分进化自动优化实验参数;用模糊神经网络与NSGA-II优化异构MPSoC任务调度;比较多目标遗传算法中的表观遗传机制;并给出GP求解布尔问题的运行时间上界。
本文讨论了通用人工智能(AGI)的概念和实现。作者解释了狭义人工智能和通用人工智能的区别,以及通用人工智能的泛化能力。他还讨论了大语言模型(LLM)的涌现能力和程序合成的重要性。最后,作者提出了实现通用人工智能的关键因素和挑战。
完成下面两步后,将自动完成登录并继续当前操作。