COSMA基于通信下界设计并行矩阵乘法。针对计算量增大后数据搬运成为瓶颈、有限内存限制数据复用的问题,利用三维计算空间与红蓝卵石模型推导近最优分块策略:优先保留方形输出块、流式读取输入,并权衡二维与三维划分。实验表明,相比ScaLAPACK等最高加速12.8倍,达到平台峰值性能的88%。
本文介绍Kimi K3模型序列维度的chunkwise并行算法:将序列分块,块间递推状态、块内用矩阵乘并行计算。K3将每步log-decay加−5下界,使16-token对角tile也能用BF16矩阵乘,消除FP32逐位置对瓶颈。相比通用DPLR内核,KDA内核因结构简化速度快约一倍。训练和prefill用chunkwise形式,decode用递推形式。
前驱/后继问题是算法中的重要问题,涉及动态整数集合的插入、删除和查找等操作。Van Emde Boas树(vEB树)通过递归分层结构,将操作复杂度降低到O(log log U),适用于有界整数。vEB树利用懒惰存储,使得获取最小值和最大值的时间复杂度为O(1)。尽管在理论上优于平衡树和哈希表,但在实际应用中需考虑空间和实现复杂度。
LevelDB通过Bloom Filter优化SST文件查询,利用位数组快速判断key是否存在。Bloom Filter允许一定的误判率,从而节省存储空间。不同变体如Counting、Blocked、Cuckoo和Ribbon Filter各有优缺点,适用于不同场景。选择合适的过滤器需考虑数据的静态或动态特性、误判率要求及性能需求。
该论文探讨了拉格朗日插值问题,修正了伯恩斯坦等人的经典证明,提出了局部伯恩斯坦型不等式,并获得了勒贝格常数的下界。
外部排序是处理大数据的重要技术,特别是在内存有限的情况下。其核心思想是分而治之和多路归并,主要包括生成初始有序run和多路归并两个阶段。外部存储模型强调I/O复杂度,优化I/O次数至关重要。替换选择法可以生成更长的run,但在现代硬件上,简单的内部排序法更高效。败者树在多路归并中表现优越,能有效减少比较次数。随着SSD的普及,外部排序的设计也在不断演进。
本文讨论了在有限内存下识别数据流中频繁项的问题,介绍了三种经典的确定性流式算法:Misra-Gries、Lossy Counting和Space-Saving。这些算法通过不同的方法在内存限制下有效找出频率超过某个阈值的元素,并提供了相应的误差界和C语言实现,广泛应用于网络流量分析、搜索引擎和推荐系统等领域。
流式算法用于在大数据环境中处理海量数据的近似计算问题。文章介绍了流式计算模型的基本概念、流式算法的设计哲学及其实际应用的重要性,重点讨论了不同流模型、频率矩、基数统计和分位数估计等算法,以及它们在现代大数据系统(如Apache Flink、Spark、Redis等)中的应用。流式算法强调在有限资源下实现高效、可合并的统计计算,适合实时数据处理和分析。
基数排序(Radix Sort)的时间复杂度可达 O(nk),超越了比较排序的 O(n log n) 下界。其核心在于直接读取元素的位,而非进行比较。基数排序适合固定长度的整数和字符串,但在处理大元素和变长字符串时效果较差。选择排序算法时需考虑数据特征与实际性能。
本研究针对现有文献中大多数集中于遗憾上界而忽视下界的问题,提出了一个新的方法来求解线性上下文赌博机的方差依赖遗憾下界。通过考虑预先给定和自适应的方差序列,研究表明得出的下界与SAVE算法的上界相匹配,显著推动了该领域的理论发展。
该研究解决了多智能体路径寻找中传统聚焦搜索面临的低下界增长缓慢的问题,从而限制了搜索空间。提出了一种新颖的有界次优算法——双重增强冲突基础搜索(DECBS),通过首先确定最大下界值后,再利用该下界执行最佳优先搜索,显著提高了碰撞-free路径的寻找效率。实验结果显示,DECBS在大多数测试用例中超越了现有的ECBS算法,特别是在中高密度的代理情况下,DECBS在平均运行时间上提升了23.5%。
今天我深入研究了二分查找,学习了如何高效解决有序数组的下界和上界问题,重点在于理解递归和边界情况。接下来,我计划研究旋转有序数组的查找。
指纹编码是证明差分隐私下界的重要工具,适用于低准确度问题。本文提出了一种通用框架,证明了特定查询集下的下界,并展示了准确算法与差分隐私算法所需的样本复杂度,改进了已有结果。
私有重复算法显著提高了差分隐私算法的成功概率。这些算法与私有元选择和超参数调优密切相关。现有算法在隐私和计算成本上存在较大开销。我们展示了强下界,表明在保持隐私成本的情况下,失败概率只能多项式下降,显著不同于非私有设置的指数下降。通过结合现有算法,我们证明了计算与隐私之间的权衡,几乎达到了下界。
本研究解决了一层softmax变换器在无限精度下的性能下界问题,填补了现有研究的空白。采用VC维度技术,针对函数组合和SUM$_2$任务证明了首次下界。该工作对优化变换器性能和理解其限制具有重要影响。
本文探讨了矩阵与顶点的统一性,简化了相关代码和操作。通过随机生成的辅助矩阵,分析矩阵游戏中的玩家数据,并在迭代后减少获胜策略的数量。
本研究探讨了神经网络大小的下界问题,并将其与多面体的扩展复杂性关联,提出了虚拟扩展复杂性的新概念,证明其为优化神经网络大小的下界,具有深入研究的价值。
本文探讨了多臂老虎机模型的性能,提出了新的优化算法和改进的序贯停止规则,研究了有限反馈和多智能体环境下的遗憾下界,展示了算法的有效性和性能保证。
本研究提出了一种新的分布鲁棒离线强化学习算法,结合模型估计和双重悲观策略优化,以解决数据分布偏移问题。通过不确定性集建模转移内核的不确定性,优化最坏情况下的性能,提升算法的鲁棒性和样本效率。研究还探讨了动态规划原理的存在条件及其对算法的影响,提出了DR-LSVI-UCB算法,并验证了其在离线动态强化学习中的有效性。
本文探讨了利用多边际最优传输(MOT)简化对抗性风险问题的方法,提出通过线性规划和熵正则化提高深度学习模型的鲁棒性,并分析了机器学习分类器在对抗样本下的表现,应用最优传输理论优化神经网络的分类性能。
完成下面两步后,将自动完成登录并继续当前操作。