小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文讨论了FoundationDB的存储架构,重点在于客户端如何直接读取Storage Server,绕过Proxy和Resolver。每个Storage Server管理多个shard,支持异步复制。客户端通过缓存的元数据定位数据,并在5秒内读取版本。文章还探讨了数据迁移、负载均衡机制,以及读路径设计如何提高性能和一致性。

【FoundationDB 内核】Storage Server:Shard、版本读取与读路径

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-17T00:00:00Z

PD(Placement Driver)作为TiKV的调度中心,通过心跳机制收集集群状态,生成调度建议(Operator),并发送给Region Leader。调度过程异步,Leader可选择执行或跳过建议。PD使用Store心跳提供宏观视图,Region心跳提供精确位置。调度的基本单元是Operator,主要目标是负载均衡和副本管理,决策受限于放置规则和调度限制,以确保系统稳定性。

【TiKV / HTAP 内核】PD 元数据与调度:心跳、算子与调度器

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-16T00:00:00Z
bitdrift如何在Amazon CloudFront上为直播体育赛事扩展至1.21亿个并发gRPC连接

bitdrift在T20世界杯期间成功处理了1.21亿个并发gRPC连接,关键在于调整DNS路由策略。通过将Route 53的加权路由改为多值响应路由,bitdrift解决了流量集中问题,实现了零服务器错误,确保了高峰时段的稳定性。

bitdrift如何在Amazon CloudFront上为直播体育赛事扩展至1.21亿个并发gRPC连接

AWS Architecture Blog
AWS Architecture Blog · 2026-07-15T15:27:47Z
大模型推理路由难题反而催生稀疏注意力?

大模型推理中的路由问题促使稀疏注意力机制的出现。路由的挑战在于平衡负载均衡与缓存感知,避免资源浪费。稀疏注意力通过减少KV块数量来缓解这一问题,但仍面临决策困难。Goodfire的研究提出了通过“知识指针”解决路由问题的新思路。总体而言,路由问题是分布式系统中的长期挑战。

大模型推理路由难题反而催生稀疏注意力?

极道
极道 · 2026-07-14T22:52:00Z

服务端负载均衡(LB)和客户端LB的健康检查机制不同。服务端LB通过中心代理主动探测后端实例,而客户端LB由每个客户端独立探测。健康检查方式包括主动探测、客户端主动探测和被动检测,选择方式取决于系统规模、调用频率和运维能力。服务端LB适合大多数团队,客户端LB在高负载时更有效,两者可结合使用以优化性能。

TIL:服务端 vs 客户端负载均衡的健康检查机制

暗无天日
暗无天日 · 2026-07-09T00:00:00Z
大型平台如何处理每日数百万笔交易

本文探讨了大型平台如何处理海量交易及其面临的工程挑战和架构模式。随着用户增长,系统需快速、准确地处理交易,避免瓶颈和重复交易。通过服务化架构、负载均衡、数据库复制、缓存和异步处理等方法,平台能够提高性能和可靠性。此外,监控系统健康、应对流量高峰和设计容错机制也至关重要。成功的平台能在用户激增时保持快速、准确的交易处理。

大型平台如何处理每日数百万笔交易

freeCodeCamp.org
freeCodeCamp.org · 2026-06-13T06:50:15Z
使用vLLM + Qwen3.5部署内网AI笔记

本文介绍了如何在内网使用vLLM和Qwen3.5部署AI模型。部署环境要求为NVIDIA A100/V100 GPU和Ubuntu 22.04 LTS系统。首先安装GPU驱动和CUDA Toolkit,然后通过UV管理Python环境并安装vLLM。接着,使用Hugging Face CLI下载Qwen3.5模型并配置运行参数。最后,利用Nginx进行负载均衡,以确保多GPU的高效使用。

使用vLLM + Qwen3.5部署内网AI笔记

tlanyan
tlanyan · 2026-05-25T10:39:20Z
浏览器直接访问正常,过了负载均衡就崩了?只因响应头里多了个空格

文章讨论了一个生产问题:某系统在直接访问时正常,但经过负载均衡后出现连接重置。经过排查发现,后端Java设置响应头时多了一个空格,导致响应头不符合HTTP规范,负载均衡无法处理。浏览器容错性强,直接连接后端没有问题,分享此经验以警示他人。

浏览器直接访问正常,过了负载均衡就崩了?只因响应头里多了个空格

iMaeGoo's Blog
iMaeGoo's Blog · 2026-05-23T01:30:00Z
多路径磁盘使用场景

多路径磁盘技术通过提供冗余路径,增强存储网络的可靠性和性能。它能自动切换故障路径,避免单点故障,确保业务连续性。同时,负载均衡提高了带宽,优化了I/O性能,简化了设备管理,支持动态路径监控与恢复,适用于企业级存储环境。

多路径磁盘使用场景

安志合的学习博客
安志合的学习博客 · 2026-05-14T12:49:18Z
Modular:为什么大语言模型推理需要一种新型路由器 - 第1部分

Modular Cloud正在解决大语言模型(LLM)推理中的路由问题。传统负载均衡方法不适用于LLM,因为需要考虑状态、硬件特性和会话连续性。新的路由层能够根据缓存状态和硬件优化请求处理,支持多步骤执行,从而提升响应速度和效率。

Modular:为什么大语言模型推理需要一种新型路由器 - 第1部分

Modular Blog
Modular Blog · 2026-05-08T00:00:00Z

在Google上设置静态页面CDN加速的步骤包括:创建公开访问的bucket并授予`allUsers` Storage Object Viewer权限;设置CDN并指向新创建的bucket;最后在负载均衡控制台获取公网IP进行DNS解析。

在 Google 设置静态页面 CDN 加速

了迹奇有没
了迹奇有没 · 2026-04-30T06:18:09Z
AWS Direct Connect 故障演练实战指南

本文介绍了AWS Direct Connect故障演练的最佳实践,强调定期演练在负载均衡和主备场景中的重要性。通过CloudWatch监控、BGP故障测试和AWS Fault Injection Service,客户可以验证混合云连接的切换能力,确保在故障时业务的稳定性。建议将故障演练纳入运维计划,以提升高可用方案的可靠性。

AWS Direct Connect 故障演练实战指南

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2026-04-30T01:27:51Z

2024年,混合专家(MoE)架构成为大模型的主流,开源项目如Mixtral和DeepSeek推动了其发展。MoE通过减少激活参数显著降低计算成本,同时提升模型表达能力,适合算力充裕的场景。关键技术包括细粒度专家、共享专家和改进的负载均衡策略。未来,MoE将向更大规模和动态专家数发展。

【大模型基础设施工程】08:MoE 训练工程

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-22T00:00:00Z
学习软件系统设计

这篇文章介绍了freeCodeCamp.org YouTube频道发布的系统设计课程,内容涵盖从基础概念到生产级系统,包括数据库、扩展和负载均衡。学习者将掌握构建和保护API的实用技术,涉及RESTful和GraphQL。课程时长为2小时。

学习软件系统设计

freeCodeCamp.org
freeCodeCamp.org · 2026-04-16T13:19:19Z
大型语言模型服务的负载均衡与扩展

负载均衡在大型语言模型(LLM)中与传统服务不同,主要由于提示缓存的存在。提示缓存能显著降低输入成本和延迟,但需要优化请求路由。文章探讨了缓存感知路由策略,强调精确前缀缓存路由的优势,以提高吞吐量。使用外部源如Redis可以实现高可用性和独立扩展。未来方向是实现跨副本共享缓存,以提升效率。

大型语言模型服务的负载均衡与扩展

The DigitalOcean Blog
The DigitalOcean Blog · 2026-04-15T19:03:31Z

在电商平台大促前,运维团队将应用服务器从8台扩展到32台,但由于负载均衡器开启会话保持,导致流量分布不均,影响性能。文章探讨了无状态服务的重要性,强调将状态外置到共享存储,以实现更好的扩展性和故障隔离。无状态服务允许任意请求由任意实例处理,简化了发布和测试过程。通过将会话、缓存和文件状态外置,系统能够提高性能和可靠性,避免Sticky Session带来的问题。

【系统架构设计】无状态设计:扩展的第一步也是最难的一步

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-13T00:00:00Z
微软希望让服务网格变得无形

在2026年KubeCon大会上,微软的Mitch Connors介绍了基于Istio的Azure Kubernetes Application Network,该服务网格旨在简化用户体验,满足客户对安全代理的需求。Connors指出,AI工作负载对网络层的要求不同,传统的HTTP路由不再适用。新产品支持多集群和GPU负载均衡,旨在吸引尚未采用服务网格的用户。

微软希望让服务网格变得无形

The New Stack
The New Stack · 2026-04-08T17:11:05Z
混合专家架构在人工智能模型中的工作原理

混合专家(MoE)架构通过将AI模型划分为多个专门子网络来优化性能,仅激活相关专家以减少计算需求。Mixtral模型展示了MoE在实际应用中的高效性,尽管存在负载均衡挑战,但通过“噪声top-k”技术可实现更均衡的专家激活。MoE架构在提升AI系统效率方面具有重要潜力。

混合专家架构在人工智能模型中的工作原理

freeCodeCamp.org
freeCodeCamp.org · 2026-04-07T17:18:05Z

一致性哈希在分布式系统中常用,但其负载均衡效果不如Jump Hash、Rendezvous Hash和Maglev Hash。实验显示,使用150个虚拟节点的一致性哈希仍然不如其他算法。Jump Hash和Rendezvous Hash在节点数较少时表现优异,且实现简单。对于大规模系统,一致性哈希仅在特定条件下合理。

一致性哈希可能还不如随机

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-03-31T00:00:00Z
FAST'26 论文导读 | 分组 I/O API 与透明读写优化 AI 作业快速云存储

本文探讨了AITURBO在AI任务中的分布式读写缓存优化,强调了闲置算力的利用、中间层的插入和显式HINT的价值,以及通用与专用存储的权衡。AITURBO通过简单API实现高效去重和负载均衡,提升了存储性能,适合大规模数据传输。

FAST'26 论文导读 | 分组 I/O API 与透明读写优化 AI 作业快速云存储

Steins;Lab
Steins;Lab · 2026-03-23T05:43:39Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码