小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate
如何用Python和依赖图检测公共数据集中的隐藏目标泄漏

公共数据常由其他数据计算而来,若将目标列的上游或下游列作为特征,会造成目标泄漏,使模型看似高分实则只是复现官方公式。本文以CDC社会脆弱性指数为例,用其五个输入列预测主题排名,R²达0.998。作者借鉴包管理器依赖检查思路,用YAML清单记录数据派生关系,并编写Python工具遍历依赖图,拒绝位于目标派生路径上的特征,同时接入CI自动检查。

如何用Python和依赖图检测公共数据集中的隐藏目标泄漏

freeCodeCamp.org freeCodeCamp.org · 2026-09-19T17:27:39Z

本文介绍了五个Python脚本,用于自动化特征选择,以提升机器学习模型性能。这些脚本包括:1. 基于方差阈值过滤低方差特征;2. 通过相关性分析消除冗余特征;3. 使用统计测试识别显著特征;4. 基于模型的重要性评分对特征进行排名;5. 通过递归消除优化特征子集。这些工具帮助用户高效选择对模型有贡献的特征。

5个实用的Python脚本用于有效的特征选择

KDnuggets KDnuggets · 2026-03-30T12:00:19Z
5个实用的Python脚本用于有效的特征工程

特征工程可以通过五个Python脚本自动化,提升模型性能。这些脚本包括分类特征编码、数值特征转换、特征交互生成、时间特征提取和特征选择,简化机器学习项目中的复杂工作。

5个实用的Python脚本用于有效的特征工程

KDnuggets KDnuggets · 2026-01-13T13:00:14Z
利用大型语言模型(LLMs)进行结构化数据的五种高级特征工程技术

本文探讨了如何利用大型语言模型(LLMs)进行特征工程,通过将结构化数据与文本结合,提升下游模型性能。介绍了生成语义特征、智能缺失值填补、领域特定特征构建、混合嵌入空间和特征选择等五种技术,旨在提高数据处理的智能化和解释性。

利用大型语言模型(LLMs)进行结构化数据的五种高级特征工程技术

MachineLearningMastery.com MachineLearningMastery.com · 2025-10-22T14:41:10Z
我们使用了三种特征选择技术:这一种效果最佳

特征选择在机器学习中至关重要,能够减少噪声、避免过拟合并提高模型准确性。本文测试了过滤法、包裹法和嵌入法三种特征选择方法,结果表明Lasso回归在准确性、效率和可解释性方面表现最佳,适合高维数据集。

我们使用了三种特征选择技术:这一种效果最佳

KDnuggets KDnuggets · 2025-10-02T12:02:53Z

岭回归和Lasso回归是改进的线性回归方法,用于解决多重共线性问题。岭回归通过L2正则化降低模型复杂度,而Lasso回归通过L1正则化实现特征选择。两者在参数估计和模型稳定性上各有优缺点。

岭回归和 Lasso回归

Seraphineの小窝 Seraphineの小窝 · 2025-09-18T08:36:08Z
10个Python单行代码,像专家一样进行特征选择

本文介绍了10个用于特征选择的Python单行代码,涵盖方差、相关性、F检验、互信息、随机森林特征重要性、递归特征消除、主成分分析、缺失值处理、L1正则化和多重共线性去除等方法。这些方法有助于识别与目标变量相关的特征,从而提高模型的准确性。

10个Python单行代码,像专家一样进行特征选择

MachineLearningMastery.com MachineLearningMastery.com · 2025-05-21T11:08:05Z

本文研究了支持向量机(SVM)在预测中的不确定性量化,提出了稀疏支持向量分位回归(SSVQR)模型,以提高预测区间的质量,并通过特征选择减少高维数据集中的特征数量。实验结果表明,SVM在概率预测任务中优于现代深度学习模型。

Uncertainty Quantification in SVM Prediction

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-05-21T00:00:00Z

本文提出了一种新的边缘模糊粗糙特征选择框架(MAFRFS),旨在提高高维数据中特征选择的效率。该方法通过优化标签类别的紧凑性和分离性,降低模式分类的不确定性,提升分类性能。实验结果表明,MAFRFS在15个公共数据集上优于现有算法,具有更高的可扩展性和有效性。

Margin-aware Fuzzy Rough Feature Selection: Bridging Uncertainty Characterization and Pattern Classification

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-05-21T00:00:00Z

该研究提出了一种快速熵近似(FEA)方法,显著降低了香农熵计算的成本和不稳定性。FEA的计算速度提高约50%,平均绝对误差为$10^{-3}$,在特征选择中表现出更高的效率和经济性。

快速的香农熵近似

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-05-20T00:00:00Z
互信息

互信息在特征选择中非常有效,尽管作者在数据科学领域工作多年却一直忽视它。今天,互信息帮助他有效筛选特征,尽管之前使用了SHAP、LIME和相关性热图。

互信息

DEV Community DEV Community · 2025-05-14T20:23:57Z
机器学习入门:好奇编码者的实用指南

本文介绍如何在Python中使用真实数据集构建决策树和随机森林回归模型,强调每一步的重要性。文章涵盖数据预处理、特征选择、模型训练与评估,最终展示如何通过随机森林提高预测准确性,适合开发者和数据科学初学者。

机器学习入门:好奇编码者的实用指南

DEV Community DEV Community · 2025-05-12T14:13:14Z

本研究解决了多变量时间序列分类中性能与可解释性之间的平衡问题。论文提出了一种名为PHeatPruner的新方法,结合了持久同调与层理论,实现了在不依赖后验概率或监督优化算法的情况下,最多削减45%的变量,同时保持或提高模型准确性。研究结果展示了此方法在简化复杂数据和提供深刻洞察方面的有效性,具有广泛的应用潜力。

PHEATPRUNER:通过持久同调进行可解释的数据中心特征选择以进行多变量时间序列分类

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-25T00:00:00Z

本研究提出了一种名为HRLFS的方法,通过多智能体层次强化学习提高特征选择效率。该方法结合大型语言模型提取特征,优化计算时间,提升机器学习性能,展现出良好的效率与可扩展性。

理解、划分与征服:通过多智能体层次强化学习进行特征子空间探索

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-24T00:00:00Z

本研究提出了一种新方法GPMFS,旨在解决高维多标签学习中的维度诅咒问题。该方法结合全球特征与个性化特征选择,显著提升了学习性能和解释性。实验结果表明,其在多个真实数据集上表现优异。

GPMFS: Global Foundation and Personalized Optimization for Multi-Label Feature Selection

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-17T00:00:00Z

本研究提出了DeepSelective框架,旨在提高电子健康记录(EHR)中机器学习模型的解释性和表示学习的稳健性。该框架结合数据压缩和特征选择方法,提升了预测精度和模型可解释性,为临床决策提供了重要支持。

DeepSelective: Feature Gating and Representation Matching for Interpretable Clinical Prediction

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-15T00:00:00Z
如何提高预测模型的准确性和可靠性?

数据科学项目依赖于构建预测模型,需具备技术能力和战略规划。关键步骤包括提升数据质量、选择与优化模型、调整超参数、特征选择和模型评估。这些方法帮助数据科学家构建可靠的预测模型,提供重要洞察,支持决策。

如何提高预测模型的准确性和可靠性?

DEV Community DEV Community · 2025-03-05T11:09:47Z

本研究解决了高血压视网膜病(HR)诊断中现有方法效率低下和主观性强的问题。研究提出了一种三阶段的方法,通过融合多种卷积神经网络的深度特征并结合机器学习算法,取得了更高的诊断准确率。最终结果显示,采用元启发式优化进行特征选择的模型在HR诊断的准确率和泛化能力上显著优于单一CNN模型及以往研究。

基于元启发式优化和机器学习的三流深度特征选择用于多阶段高血压视网膜病诊断

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-03-03T00:00:00Z
数据预处理笔记(sklearn)

本文介绍了机器学习中的数据预处理,重点使用sklearn的标准化和特征选择模块。通过Z-score标准化处理某线历史数据,使特征均值为零、方差为一,从而消除特征间的偏见,并展示了数据集特征变化及其可视化效果。

数据预处理笔记(sklearn)

子虚栈 子虚栈 · 2025-03-02T15:52:59Z

本研究提出了一种新特征选择算法BOLIMES,旨在解决基因表达分类中的高维数据和过拟合问题。该算法结合了Boruta的鲁棒性与LIME的可解释性,优化特征子集,提高预测准确性。

BOLIMES:基于Boruta和LIME优化的基因表达分类特征选择

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-02-18T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码