权重衰减和学习率在大语言模型预训练中至关重要。本文从滑动平均的角度探讨如何合理设置这两个参数，以增强模型的记忆能力，避免遗忘早期数据，同时防止欠拟合和权重爆炸。

本文研究了冠状动脉内光干涉断层扫描（OCT）中因血液残留和气泡产生的衰减伪影的问题，这些伪影可能遮挡重要的血管结构。研究提出了一种卷积神经网络，通过分析二维图像中的特征，在多个坐标系中自动检测伪影，达到了高达0.94的严密伪影检测精度，显著提升了自动识别和图像再获取的效率。

序列建模是跨多个领域的关键领域，转换器取代了循环神经网络和长短时记忆网络，但仍面临注意力复杂度和归纳偏差的挑战。状态空间模型成为可替代选择，有不同应用于视觉、语音、医疗等领域。SSMs在长序列竞技场、WikiText、Glue等数据集上表现良好。

利用血管概率场进行稀疏视图数字减影血管造影重建任务的研究表明，这种方法能够有效地解决动态血流和稀疏视图数字减影血管造影图像输入不足的问题，并显著提高重建质量及全景合成图像质量。

我们提出了一种新的双联合搜索空间和完整性检查，用于自动化找到深度学习优化器的过程。通过使用基于粒子的遗传算法在不同数据集上评估候选优化器，发现多个优化器在图像分类任务中表现优于标准的深度学习优化器。

本论文提出了一种基于Transformer的短期电压稳定性评估方法，通过使用稳定性评估Transformer（StaaT）作为分类模型，并采用CWGAN-GP合成数据生成，解决了类别不平衡和数据噪声的问题。实验结果表明，该方法在类别不平衡和噪声环境下具有鲁棒性，并适用于可再生能源渗透的情况。该研究提供了一个适用于实际应用场景的解决方案。

我们介绍了一种在线可信预测的方法，该方法使用衰减的步长。与之前的方法相同，我们的方法对于任意序列具有回顾性保证。然而，与之前的方法不同的是，当存在时，我们可以同时估计一个总体分位数。我们的理论和实验证明了显著改进的实际属性：特别是在分布稳定时，覆盖率接近所期望的水平的每个时间点，而不仅仅是观察序列的平均值。

我们开发了一种全自动的方法，用于测量冠状动脉周围的心周脂肪均值和体积。通过训练一个三维全分辨率的神经网络来分割冠状动脉，然后自动测量心周脂肪。在测试中，得到了良好的结果。这项研究展示了自动化心周脂肪测量在炎症和心脏疾病识别中的潜力。

该研究提出了一种通过捕捉电池老化状态和降解速率来提高电池寿命预测性能的方法。使用六个物理特征指示老化状态，并提取两个特征来捕捉降解速率。基于高斯过程构建了两个机器学习模型，用于寿命预测和分类。实验结果表明，该方法可以准确预测电池寿命，预测准确率提高了67.09%。

本文介绍了一种新的容积注意力（VA）模块，用于3D医学图像分割和检测。该模块利用沿着z方向的上下文信息，从而在训练数据有限时使用预先训练的2D检测模型。实验证明，将VA添加到现有的物体检测器中可以显著提高性能，在肝肿瘤分割挑战和DeepLesion数据集上都取得了优异的成绩。

本文提出了一种新的单目深度估计框架，通过引入基于先验的正则化和Mapping-Consistent Image Enhancement module来提高深度图像的配准和可视性。同时，使用基于统计的掩码策略解决夜间场景下的问题。实验结果显示每个部分都有效，并取得了令人瞩目的成果。

看到这个标题，是不是有种要讲信息学的感觉。其实并不是，只是最近观察到一些事情，有些感触所以说一下。最近在网上碰巧看到过两个言论，恰好事实我是比较了解的，所以感慨，二手的信息实在不可信。