借助人工智能改进软件工作量估算:综合研究和框架提案
内容提要
该文综述人工智能与软件工程的交叉研究,涵盖自动化机器学习辅助模型与超参数选择、AI与敏捷开发整合、解释AI索洛悖论的生产力评估模型、AI工程学科需求,以及12个AutoML工具的基准测试(发现其可生成优于研究者的模型,但难完全支持开发流程)。此外还涉及AI/ML开发支持环境、可解释性方法、测试评估策略、Java错误预测和中小企业质量保证。
延伸解读
AutoML 在软件工程中的实际表现
文章通过混合方法研究对12个端到端AutoML工具进行基准测试,发现这些工具在软件工程分类任务中能生成优于研究人员手动训练和优化的模型。然而,当前AutoML解决方案并不能完全支持机器学习开发工作流程的自动化和团队成员的需求。这表明AutoML虽能提升模型性能,但在流程整合和协作支持上仍有局限,工具构建者需针对这些缺口设计下一代技术。
AI 生产力评估与索洛悖论
文章提出一种新型生产力评估模型,用于评估在生产链中采用AI组件的影响。该模型基于理论实证证据、数据驱动模型、过程挖掘数据集、计算机模拟参数和劳动力分配分析,为AI索洛悖论提供支持证据,认为其后果是指标误测。这意味着企业引入AI时,需注意传统生产力指标可能无法准确反映AI的真实贡献,应结合多维度数据评估。
AI 与敏捷开发整合的挑战
文章研究AI与敏捷软件开发方法的整合,重点改善持续集成和交付,发现AI未来应用的关键挑战,如需要专业的社会技术专业知识。尽管AI有助于提高软件开发实践,但需进一步研究其对进程和实践者的影响,并解决与实施相关的间接挑战。这提示团队在引入AI时,不仅要关注技术工具,还需培养跨领域的社会技术能力,以应对整合中的非技术障碍。
中小企业 AI/ML 质量保证现状
文章调查了10家奥地利中小企业在开发AI/ML组件和代码时采用的软件质量保证策略,发现质量问题出现的时间和检测方式,并识别了12个开发AI/ML组件时存在的问题。这为未来AI/ML组件的软件质量保证流程提供了指导。中小企业可参考这些发现,提前识别常见质量问题,优化自身的质量保证实践,避免在开发后期才发现缺陷。
Q&A
AutoML工具在软件工程任务中表现如何?
对12个端到端AutoML工具在两个软件工程数据集上的基准测试和用户调查发现,AutoML解决方案可以在软件工程领域的分类任务中生成超过研究人员训练和优化的模型,但当前可用的AutoML解决方案并不能完全支持ML开发工作流程的自动化和团队成员的需求。
人工智能与敏捷开发整合面临哪些挑战?
研究人工智能与敏捷软件开发方法的整合,重点是改善持续集成和交付,发现了人工智能未来应用的关键挑战,如需要专业的社会技术专业知识。尽管人工智能有助于提高软件开发实践,但需要进一步研究其对进程和实践者的影响,并解决与其实施相关的间接挑战。
什么是AI的索洛悖论?如何评估AI对生产力的影响?
AI的索洛悖论是指尽管在生产链中采用AI组件,但生产力并未显著提升的现象。本文提出了一种新型生产力评估模型,其基础包括理论和实证证据、数据驱动模型、基于过程挖掘数据集的方法论、计算机模拟参数以及劳动力分配的实证分析。这些证据表明AI索洛悖论的后果是指标误测。
如何提高软件工程中AI模型的可解释性?
通过系统文献综述,本文阐述了在软件工程领域中提高人工智能模型可解释性的方法,并总结了已有研究的挑战和未来的研究方向。
在Java错误预测中,集成AI模型与单个AI模型哪个更好?
实验结果表明,集成人工智能模型的性能优于单个人工智能模型,同时揭示了提升集成人工智能模型性能的因素,这为提高错误预测结果的可靠性提供了潜力。
中小企业开发AI/ML组件时面临哪些软件质量保证问题?
研究调查了10家奥地利中小型企业,发现质量问题在何时出现并如何检测,同时识别了12个开发AI/ML组件时存在的问题,为未来AI/ML组件的软件质量保证流程提供指导。