本文介绍了如何结合大型语言模型(LLM)嵌入和HDBSCAN算法构建文本聚类管道,以自动发现未标记文本数据中的主题。主要步骤包括生成文本嵌入、降低维度和应用聚类,最终成功识别出两个主题聚类,展示了该方法的有效性。
液态聚类是现代湖仓的数据布局标准,解决了传统分区的小文件和过度分区问题。它支持动态调整聚类键和行级并发,优化查询性能。与分区相比,液态聚类在处理高基数列时表现更佳,并支持元数据操作。案例分析表明,液态聚类显著提高了数据处理效率,减少了存储空间。
FlashLib是一个为经典机器学习算法设计的GPU加速库,通过重写算法、提供多版本内核和允许用户调整精度以换取速度,显著提升了KMeans、KNN、PCA等算法的运行速度,最高可达208倍。该库完全开源,旨在提高智能体系统的实时性能。
本文介绍了如何使用大语言模型嵌入和scikit-learn中的聚类算法对文本文件进行聚类,包括生成嵌入、应用k-means和DBSCAN算法,并评估效果。通过分析BBC新闻数据集,展示了识别文档共同主题的方法。
本文介绍了七种利用大型语言模型(LLM)嵌入进行高级特征工程的技巧,包括计算语义相似性、降维和去噪、使用聚类标签和距离、文本差异嵌入、嵌入白化、句子与词级嵌入聚合,以及将嵌入作为特征合成的输入。这些方法可以将通用嵌入转化为特定任务的高信号特征,从而提升模型性能。
Arctic Wolf 每天处理超过一万亿事件,重构数据架构后,查询速度提升至秒级,数据新鲜度从小时降至分钟,支持实时威胁检测与响应,显著降低查询时间和成本。
随着中国生鲜零售市场智能化升级,客户分群成为关键策略。通过深度聚类分析,识别不同消费群体,优化库存和营销,预计滞销品周转率提升40%,精准营销回报率达到1:6。
本文介绍了如何通过轮廓分析评估K均值聚类结果。轮廓分数衡量数据点与自身聚类的相似度及与其他聚类的分离度,范围为-1到1,分数越高表示聚类质量越好。以企鹅数据集为例,计算不同聚类数的轮廓分数并进行可视化分析,结果显示选择2个聚类时获得的轮廓分数最高,表明数据点分组效果最佳。
本文介绍了一种新颖的自监督图表示学习架构,结合了对比学习和生成学习的优点。该框架通过社区感知的节点级和图级对比学习,生成更有效的节点对,并采用多种增强策略,提升了节点分类、聚类和链接预测等任务的性能。评估结果显示,该模型在多个任务上超越了现有最先进的方法。
单细胞RNA测序(scRNA-seq)技术能够捕捉单个细胞的基因表达信息,但聚类分析存在挑战。研究团队提出了新型孪生聚类框架scSiameseClu,集成双重增强、孪生融合和最优传输聚类模块,显著改善聚类结果,提高细胞分类准确性。该框架在多个真实数据集上优于现有方法,为细胞异质性解析提供了新工具。
BumbleBee是一种新型人形机器人控制策略,通过聚类不同动作类型并训练专家策略,缩小了仿真与现实之间的差距,提升了机器人在多样化任务中的表现,期待与科研机构合作加速应用。
LiveStore 是一个支持多平台的响应式状态管理框架,具备离线优先和数据同步功能。sktime 是一个统一的时间序列机器学习框架,提供多种学习任务接口。kubectl-ai 是一个 AI 驱动的 Kubernetes 助手,支持多种 AI 模型。PS5NorModifier 是用于修改 PS5 NOR 文件的 Windows 应用。Microsoft-Rewards-Farmer 是一个自动化获取 Microsoft Rewards 的机器人。
本研究解决了不完整多视角聚类(IMVC)中由于缺失数据导致的原型偏移和视角间语义不一致的问题。提出了一种无插补和无对齐的IMVC框架(FreeCSL),通过学习共识原型来发现共享空间,将语义相似的观察拉近,从而改善聚类语义。实验结果表明,FreeCSL在IMVC任务上实现了比现有最先进技术更可靠和稳健的分配。
本研究解决了在噪声和离群点干扰下恢复数据集中不同类别的多种结构的问题。提出了一种新算法MultiLink,通过新的链接方案同时处理多类模型,并显示出比传统的偏好分析方法更快、更不敏感于内点阈值的优势。实验结果表明,MultiLink在多类和单类问题上均优于现有方法。
本研究提出了一种新算法“通过对齐实现公平聚类”(FCA),旨在解决现有公平聚类算法的不足。FCA通过优化聚类中心和联合概率分布,确保在不同公平水平下的聚类效用,实验结果表明其在公平性与聚类效用之间取得了良好平衡。
本研究提出了一种基于聚类的联邦学习方法,旨在解决人工智能物联网中的能耗问题。通过设备标签聚类,显著提高模型训练速度并降低能耗。
本研究探讨了为大规模考试题库设计知识组件(KC)模型的挑战,提出了一种新颖的KC发现算法KCluster,该算法利用大型语言模型(LLM)生成的问题相似性度量来识别问题簇。研究表明,KCluster能够生成有效的KC模型,预测学生表现优于传统专家设计模型,并为改进教学提供了有价值的见解。
本研究解决了多变量时间序列预测中计算复杂性高的问题,提出了一种名为FOCUS的创新方法,通过离线聚类提取原型来简化长距离依赖建模。FOCUS在在线阶段动态适应当前输入,从而实现准确且高效的预测,其实验结果证明,该方法在保持最高准确度的同时显著降低了计算成本。
DBSCAN(基于密度的空间聚类算法)通过数据点的密度识别任意形状的聚类,无需预定义聚类数量,能有效识别噪声和异常点,适用于异常检测和地理空间映射。它将点分为核心点、边界点和噪声点,能够处理复杂形状的聚类。
随着数据存储量的快速增长和查询模式的频繁变化,传统的分区和Z-ordering方法面临局限。Databricks推出的Liquid Clustering通过动态聚类和自动优化,解决了数据倾斜和元数据开销等问题,显著提升了查询性能并降低了成本。该技术能够自动适应变化的查询模式,优化数据布局,促进数据湖的高效利用。
完成下面两步后,将自动完成登录并继续当前操作。