小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate

本期Rust社区周报:团队历时三年将延迟敏感服务迁移至Rust,负载均衡改用Pingora后耗时从600ms降至101ms,内存与CPU显著下降;rustc两个月平均编译时间降低4.57%,包含PGO、LLVM 23等优化;另有从零实现green thread运行时,以及champagne在Linux进程内加载Windows PE DLL的实践。

【Rust日报】2026-10-01 Pingora 把负载均衡从 600ms 降到 101ms

Rust.cc Rust.cc · 2026-10-03T03:18:00Z

本文介绍Linkerd 2.20数据面linkerd2-proxy的机制:协议探测区分HTTP与opaque TCP;入站/出站处理链经destination流获取端点与策略;负载均衡默认用EWMA,2.20新增Load Biaser,通过HTTP 429或gRPC RESOURCE_EXHAUSTED信号注入惩罚延迟,避免限流风暴。排障需先查控制面轴1-4,勿混读Envoy模型。

【Linkerd】linkerd2-proxy 数据面:入站、出站与限流感知负载均衡

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-23T00:00:00Z

Envoy中Cluster是上游逻辑分组,路由选定名字后,主机选择按优先级、本地性、子集和负载均衡算法逐层收窄。优先级用超额配置健康分数渗漏流量,子集依赖元数据匹配,错误回退会伪装成无上游。选中主机后,连接池、熔断和异常检测决定是否返回503。

【Envoy 数据面】Cluster 与负载均衡:优先级、Locality、Subset 与健康检查入口

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-10T00:00:00Z
LLM平台的产品实验:当用户随机化打破市场均衡时的切换实验设计(Python)

文章讨论了在共享LLM基础设施上进行A/B测试的挑战,特别是用户级随机化的局限性。为了解决这一问题,采用了切换实验设计,通过随机化时间段而非用户,确保所有用户在同一时间段内接受相同的处理。文章详细介绍了构建切换时间序列、调整滞后效应、使用HAC标准误差和引导置信区间的方法,以准确评估AI路由对任务完成率的影响。最后强调在进行基础设施投资前,需评估直接效应和滞后效应的经济性。

LLM平台的产品实验:当用户随机化打破市场均衡时的切换实验设计(Python)

freeCodeCamp.org freeCodeCamp.org · 2026-06-30T16:01:03Z
浏览器直接访问正常,过了负载均衡就崩了?只因响应头里多了个空格

文章讨论了一个生产问题:某系统在直接访问时正常,但经过负载均衡后出现连接重置。经过排查发现,后端Java设置响应头时多了一个空格,导致响应头不符合HTTP规范,负载均衡无法处理。浏览器容错性强,直接连接后端没有问题,分享此经验以警示他人。

浏览器直接访问正常,过了负载均衡就崩了?只因响应头里多了个空格

iMaeGoo's Blog iMaeGoo's Blog · 2026-05-23T01:30:00Z

到目前为止,“MoE环游记”系列已经写了7篇文章,其中5篇都是围绕着MoE的路由和负载均衡展开的。从路由的形式来看,它们可以分为静态计算和动态计算两类;从实现负载均衡的方法上看,它们又可以分为A...

MoE环游记:8、强制序列级均衡

科学空间|Scientific Spaces 科学空间|Scientific Spaces · 2026-05-22T06:46:00Z

本文系统梳理负载均衡算法,指出gRPC默认使用pick_first而非P2C;P2C的指数级改善仅在信息新鲜时成立,信息过时下JSQ因羊群效应远差于随机;静态加权轮询无法纠正排队波动,异构场景p99比P2C高三成。文章还分析Peak EWMA、Prequal探测、一致性哈希与子集化,并给出工程选型建议。

负载均衡算法:P2C、平滑加权轮询与过时负载信息

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-05-05T00:00:00Z
大型语言模型服务的负载均衡与扩展

负载均衡在大型语言模型(LLM)中与传统服务不同,主要由于提示缓存的存在。提示缓存能显著降低输入成本和延迟,但需要优化请求路由。文章探讨了缓存感知路由策略,强调精确前缀缓存路由的优势,以提高吞吐量。使用外部源如Redis可以实现高可用性和独立扩展。未来方向是实现跨副本共享缓存,以提升效率。

大型语言模型服务的负载均衡与扩展

The DigitalOcean Blog The DigitalOcean Blog · 2026-04-15T19:03:31Z
多云挑战、智能负载均衡与人工智能驱动的工作流:Databricks在SRECon 2026的分享

Dicer是Databricks开源的自动分片系统,旨在解决分布式系统中的效率和脆弱性问题。它动态管理分片,提高服务的可用性。Databricks在SRECon活动中深入探讨了Dicer及其在多云操作中的应用。

多云挑战、智能负载均衡与人工智能驱动的工作流:Databricks在SRECon 2026的分享

Databricks Databricks · 2026-03-20T19:26:00Z

我们知道,负载均衡(Load Balance)是MoE架构中基本且关键的一环,直接影响模型的效率和性能。本系列已经有两篇文章介绍了两种实现负载均衡的主流思路,分别是《MoE环游记:2、不患寡而患...

MoE环游记:6、最优分配促均衡

科学空间|Scientific Spaces 科学空间|Scientific Spaces · 2026-02-22T02:15:00Z

当前全局流量调度(GSLB)面临挑战,传统方法难以应对动态内容和突发流量。OpenResty Edge GSLB 提供应用层感知、平滑调度和透明决策,自动化流量调整,减少人工干预,提高系统稳定性。

GSLB 详解:全局负载均衡如何工作,以及 DNS 调度为何在真实流量下失灵

OpenResty 官方博客 OpenResty 官方博客 · 2026-01-27T00:00:00Z
扩展人工智能交互:如何对可流式传输的MCP进行负载均衡

模型上下文协议(MCP)正在发展,预计2025年将采用可流式传输的HTTP,以促进其主流应用。随着服务的普及,负载均衡器的需求增加。HAProxy作为开源负载均衡器,能够确保会话持久性和协议验证,从而提升系统的可扩展性和鲁棒性。

扩展人工智能交互:如何对可流式传输的MCP进行负载均衡

The New Stack The New Stack · 2025-11-17T22:09:29Z
Databricks如何实现智能Kubernetes负载均衡

AI面临的主要挑战之一是记忆,影响模型的上下文保持和一致性。Databricks团队通过优化Kubernetes流量管理和客户端负载均衡系统,提高资源利用率和降低延迟,实现更智能的请求路由。

Databricks如何实现智能Kubernetes负载均衡

ByteByteGo Newsletter ByteByteGo Newsletter · 2025-11-05T16:30:42Z
负载均衡监控组:增强应用程序韧性的多服务健康检查

现代应用程序是复杂的分布式系统,其健康状态依赖多个独立组件的协同工作。Cloudflare推出的监控组功能,允许用户将多个健康监测器整合为一个逻辑实体,从而更智能地评估应用程序的可用性,减少自定义服务的需求。通过全球数据中心的健康检查,确保应用程序在不同地区的稳定性和性能。

负载均衡监控组:增强应用程序韧性的多服务健康检查

The Cloudflare Blog The Cloudflare Blog · 2025-10-17T06:00:00Z
Databricks的智能Kubernetes负载均衡

在Databricks,我们开发了智能客户端负载均衡系统,优化Kubernetes中的服务间通信,解决了默认负载均衡的性能和可靠性问题。通过实时服务发现,实现了基于应用层的负载均衡,降低了尾延迟,提高了资源利用率,并支持更复杂的负载均衡策略。

Databricks的智能Kubernetes负载均衡

Databricks Databricks · 2025-10-01T00:00:00Z

运维派是国内早期IT运维社区,文章探讨了Nginx负载均衡策略,分析了加权轮询和IP哈希的优缺点,强调选择策略的重要性,并提供最佳实践和常见错误。建议无状态应用使用加权轮询,有状态应用谨慎使用IP哈希,混合策略更佳,持续监控和优化至关重要。

生产环境踩坑实录:Nginx负载均衡策略选择指南

运维派 运维派 · 2025-08-19T09:47:07Z

运维派讨论了Nginx的负载均衡策略,比较了加权轮询与IP哈希的优缺点。通过案例强调选择合适策略的重要性,建议无状态应用使用加权轮询,有状态应用谨慎使用IP哈希,混合策略更为理想。

生产环境踩坑实录:Nginx负载均衡策略选择指南

运维派 运维派 · 2025-08-18T10:03:20Z

文章讨论了将博客从Vercel迁移到多平台负载均衡的方案,以解决网络访问、额度耗尽和容灾能力不足的问题。通过使用Nginx等负载均衡工具,博客在多个平台上部署,提升了稳定性和可用性,并提供了具体的配置步骤和注意事项。

博客多平台负载均衡方案

钟意博客 钟意博客 · 2025-06-21T02:00:00Z
博客多平台负载均衡方案

文章讨论了在Vercel托管博客时遇到的网络访问限制和免费额度耗尽问题。为提高稳定性,作者计划实施多平台负载均衡,使用Nginx等工具结合Vercel、Netlify等平台进行部署。尽管维护成本较高,但能改善访问效果并解决SEO问题。

博客多平台负载均衡方案

钟意博客 钟意博客 · 2025-06-21T02:00:00Z

文章探讨了如何用100欧元在一个月内维持饮食,列出了谷物、肉类、蔬菜和水果的价格与数量。通过合理规划,可以在预算内实现均衡饮食。

我能用100欧元维持一个月的饮食吗?

shrik3 shrik3 · 2025-06-12T12:08:15Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码