Airbnb's observability engineering team has published details of a large-scale migration away from StatsD and a proprietary Veneur-based aggregation pipeline toward a modern, open-source metrics...

Stream your Supabase database telemetry into any Prometheus-compatible observability stack with the Metrics API. Full control over monitoring, visualization, and alerting.

By Dao Mi, Pablo Delgado, Ryan Berti, Amanuel Kahsay, Obi-Ike Nwoke, Christopher Thrailkill, and Patricio GarzaAt Netflix, data engineering has always been a critical function to enable the...

本文探讨了持续性能分析作为可观测性的“第四大支柱”，弥补了传统指标、日志和追踪的不足。通过主动监控，Go开发者能够更有效地识别性能瓶颈，提高故障解决速度，从而实现更高效的系统管理。

What's in a measurement?

在云原生可观测性中，OpenTelemetry（OTel）被广泛使用，但Prometheus联合创始人Julius Volz警告，OTel的推送模型可能导致Prometheus失去核心特性和性能，变为被动接收器，影响健康监控和查询效率。使用Prometheus的原生库能更好地发挥监控系统的优势。

本研究探讨了大语言模型在非英语环境中的应用挑战，识别了多语言工作流中的整合问题。分析指出现代神经评估指标在区分有意义评论与噪声方面的不足，并提出了26种错误类别，揭示了不同语言在连贯性、信息量和语法遵从性上的差异。

本研究提出了两种新评估指标LCP和ROUGE-LCP，以缩小代码补全评估与用户感知之间的差距。同时，提出了一种基于结构和语义重排的代码图数据处理方法，显著提高了用户感知一致性和模型性能。

本研究提出了一种改进的大型语言模型（LLMs）评估方法，强调其在实际应用中的能力。通过调查数据识别出六个核心能力，并指出现有基准在覆盖和效率测量方面的不足。研究结果显示，Google Gemini在实用性指标上优于其他模型，具有重要的应用价值。

本研究提出了AutoLibra框架，解决了传统代理评估粗糙且依赖专家设计的问题。通过开放式人类反馈，AutoLibra能够生成细粒度评估指标，并在文本游戏任务中提升代理性能20%。

该研究提出了一种新的可靠性度量指标“RETA”，旨在解决大型语言模型中奖励模型的不确定性问题，并提供了集成基准测试管道，帮助研究人员评估奖励模型的可靠性。实验结果表明，RETA在评估奖励模型的可靠性方面表现优异。

本研究探讨了文档级翻译评估的关键问题，强调了自动评估指标的重要性，并提出了未来的发展方向，包括用户友好的评估方法和机器翻译评估的训练模型。

本研究提出了一种新方法，通过结合局部多样性、行为确定性和全局种群多样性，优化可解释强化学习中的策略演示，显著提升轨迹选择的可解释性，特别在安全性要求高的领域具有重要意义。

本文提出了一种新型生成对抗网络CKGAN，基于特征核积分概率度量框架，旨在解决模式崩溃问题。CKGAN通过自动学习特征核函数，在合成和真实图像基准测试中表现优于其他GAN，接近手动调整的最佳性能。

本研究探讨了人工智能影响评估中度量标准选择的合理性，特别关注伦理和社会价值的量化问题。提出了一种两步法，以明确概念并适配度量标准，从而提升评估的质量和可信度。