小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
LLM网关模式:每个基于Kubernetes的AI应用为何都需要它

LLM网关模式是一种架构方法,通过集中代理服务管理所有LLM API流量,解决了安全、成本和可见性问题。它简化了API密钥管理、请求路由和故障处理,提升了系统的可扩展性和可靠性。使用Kubernetes部署LLM网关可以有效监控和控制成本,避免服务间的混乱和依赖锁定。

LLM网关模式:每个基于Kubernetes的AI应用为何都需要它

freeCodeCamp.org
freeCodeCamp.org · 2026-06-03T17:12:17Z
CloudCone 强制更换 IP 后 SSH 连不上?这个默认网关一定要改

更换 CloudCone 的 IP 时需注意,自动配置新 IP 仅挂载新地址,未修改默认网关和旧 IP 配置。更换前需备份服务,检查系统设置,确保新 IP 正常工作。更换后需验证 SSH 连接,更新默认路由,确保网络正常。

CloudCone 强制更换 IP 后 SSH 连不上?这个默认网关一定要改

文武科技柜
文武科技柜 · 2026-05-21T07:24:03Z
工业设备数据采集太难?这款.NET8边缘网关,轻松搞定多协议对接

本文介绍了一款开源IIoT边缘计算网关,基于.NET8框架,支持多种工业协议,具备插件化设计,便于二次开发和现场调试。该网关实现数据实时采集、处理和转发,适用于中小型工业物联网平台,提高工业自动化和数据联网效率。

工业设备数据采集太难?这款.NET8边缘网关,轻松搞定多协议对接

dotNET跨平台
dotNET跨平台 · 2026-05-20T23:57:00Z

本文介绍了2026年免费LLM API的指南,涵盖13家提供商,如Google Gemini和OpenAI,提供AI网关高级玩法和本地模型方案,帮助用户以零成本实现生产工作流。

2026 年免费 LLM API 完全指南:13 家提供商 + AI 网关高级玩法 + 本地模型

夜法之书
夜法之书 · 2026-05-19T02:00:00Z
使用Rust扩展AI网关:在agentgateway和kgateway中的自定义转换

本文介绍了如何使用agentgateway、Envoy和Rust构建自定义网关扩展,包括创建Rust动态模块、打包为Docker镜像、在Kubernetes上部署及测试的步骤。读者需具备Kubernetes和Docker基础,整个过程在本地完成,预计耗时30-45分钟。

使用Rust扩展AI网关:在agentgateway和kgateway中的自定义转换

Cloud Native Computing Foundation
Cloud Native Computing Foundation · 2026-05-15T11:00:00Z
AI网关生产指数

2026年4月,Anthropic在支出方面领先,Google在流量方面占优。不同模型适用于不同工作负载,个人助手和后端代理的成本和流量差异显著。生产团队普遍使用超过35种模型,快速适应新版本。AI请求中工具调用比例显著上升,表明应用程序变得更加智能化。

AI网关生产指数

Vercel News
Vercel News · 2026-05-12T04:00:00Z
使用.Net10开发的新一代工业物联网边缘网关平台

ThingsGatewayRuntime是一款专注于数据采集、处理和转发的工业物联网边缘网关平台,支持百万级变量和毫秒级响应,具备多协议数据采集、实时报警和可视化规则引擎等功能,适合数字化转型的企业和设备集成商。

使用.Net10开发的新一代工业物联网边缘网关平台

dotNET跨平台
dotNET跨平台 · 2026-05-10T00:01:48Z
帕洛阿尔托网络以7亿美元收购Portkey网关,押注AI安全

Palo Alto Networks计划收购Portkey,并将其整合进Prisma AIRS,以提供统一的AI交易安全控制。这一收购强调了AI网关在安全中的重要性,Portkey已处理数万亿个令牌,Palo Alto将增强身份验证、扫描和安全功能,确保每个代理调用的安全性,推动企业对AI安全的重视。

帕洛阿尔托网络以7亿美元收购Portkey网关,押注AI安全

The New Stack
The New Stack · 2026-05-04T14:49:24Z
OpenResty Edge × Kubernetes:从“能用”到“好用”,构建企业级云原生网关的最后一公里

OpenResty Edge 通过自动化网关节点管理,解决 Kubernetes 环境中的人工审批瓶颈,提升弹性和运维效率。它支持多集群统一管控,消除配置漂移,确保服务稳定性,并设计了两级上游体系,明确团队责任,降低协作摩擦,提升平台健壮性。

OpenResty Edge × Kubernetes:从“能用”到“好用”,构建企业级云原生网关的最后一公里

OpenResty 官方博客
OpenResty 官方博客 · 2026-04-23T00:00:00Z
WinForm 也能玩转工业物联网?这个轻量级 SCADA 数据采集网关做到了

本文介绍了轻量级工业数据采集网关FSCADA,旨在高效、稳定地采集工业设备数据。该软件支持多种设备协议,具备实时监控、灵活配置和日志记录功能,用户可通过图形化界面轻松管理设备和采集点位,满足智能制造需求。

WinForm 也能玩转工业物联网?这个轻量级 SCADA 数据采集网关做到了

dotNET跨平台
dotNET跨平台 · 2026-04-22T23:24:43Z

LLM Gateway 解决企业中多模型使用的复杂性,包括鉴权、计费、缓存和安全等。通过统一协议,简化不同模型的接入与管理,提升效率。开源方案如 LiteLLM 和 OneAPI 提供灵活的网关选择,帮助企业实现成本控制与合规审计,确保数据安全与模型使用的透明性。

【大模型基础设施工程】22:大模型网关

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-22T00:00:00Z

支付网关是处理多支付通道的关键系统,解决了单一通道故障和商户需求多样化的问题。它通过统一接入API、路由选择、限流熔断和异步通知等功能,确保交易的高效与安全。设计时需考虑状态机、数据模型及补单机制,以应对网络不稳定和异步通知的挑战。同时,有效的风控和可观测性是确保资金安全与系统健康的核心能力。

【金融科技工程】09 支付网关设计:路由、限流、补单、异步通知、签名与防重放

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-22T00:00:00Z
Hermes工具网关为何是智能体落地的关键转折点

Hermes工具网关通过集成搜索、浏览器和生成工具,降低了智能体应用的配置门槛,提升了用户体验。用户可以选择托管或直连模式,保持对工具的控制权。这一设计使Hermes易于上手,同时保留了高级配置的可能性,改变了智能体的使用方式,促进了其在实际工作流中的应用。

Hermes工具网关为何是智能体落地的关键转折点

极道
极道 · 2026-04-20T08:35:00Z

在微服务架构中,API网关作为统一入口,解决了客户端与服务之间的复杂交互问题,负责流量治理、限流、认证和协议转换,避免服务间的耦合和安全隐患。设计时需明确职责边界,避免成为“胖网关”。主流开源API网关包括Kong、Envoy和APISIX。BFF模式则针对不同客户端需求进行数据聚合,提升用户体验。

【系统架构设计】API 网关设计:入口层的职责边界

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-13T00:00:00Z
LiteLLM:打造统一 AI 网关

LiteLLM 是一个统一的 AI 网关,解决了多个 AI 模型 API 格式不一致和监控困难的问题。用户通过统一接口可轻松切换模型,并支持实时监控模型使用情况和成本,提供负载均衡和速率限制功能。本文介绍了在 Kubernetes 环境中部署 LiteLLM 的步骤,包括 PostgreSQL 数据库配置和模型请求示例。

LiteLLM:打造统一 AI 网关

探索云原生
探索云原生 · 2026-04-07T20:00:00Z
在 Nginx/OpenResty 网关层实现 120 MB/s 的实时 JS/CSS/HTML 压缩

openresty-minifiers 是 OpenResty Inc. 开发的高性能私有库,能够在 Nginx 中实时流式压缩 JS、CSS 和 HTML,吞吐量可达 120 MB/s。适用于无法修改构建流程的场景,如反向代理遗留系统和多租户 SaaS 网关。该库通过流式词法分析器解决了内存和性能问题,确保在 O(1) 内存下正确处理跨 buffer 的语法结构。

在 Nginx/OpenResty 网关层实现 120 MB/s 的实时 JS/CSS/HTML 压缩

OpenResty 官方博客
OpenResty 官方博客 · 2026-04-07T00:00:00Z
Portkey公司在每日处理两万亿个令牌后开源其AI网关

Portkey公司开源AI网关和MCP网关,旨在为企业提供治理、可观察性和成本控制,支持每日处理两万亿个令牌,帮助企业管理AI流量,避免预算超支和合规问题。Portkey强调基础设施应免费,智能代理是关键技术。

Portkey公司在每日处理两万亿个令牌后开源其AI网关

The New Stack
The New Stack · 2026-03-31T19:53:03Z
EP208:负载均衡器与API网关

负载均衡器和API网关在客户端与后端服务器之间发挥不同作用。负载均衡器分配流量,确保服务器负载均匀;API网关控制请求流入,提供速率限制、身份验证和请求转换等功能。两者结合使用可优化系统架构。

EP208:负载均衡器与API网关

ByteByteGo Newsletter
ByteByteGo Newsletter · 2026-03-28T15:31:28Z
Higress正式加入CNCF:提供企业级AI网关,并实现从Nginx Ingress的无缝迁移

Higress正式加入云原生计算基金会(CNCF)作为沙盒项目,是一种基于Envoy和Istio的高性能API网关,旨在简化云原生和AI工作负载的操作复杂性。它支持Kubernetes Ingress和Gateway API,提供安全的企业应用解决方案,并致力于推动AI基础设施的标准化,未来将扩展AI能力,确保与传统Ingress的兼容性。

Higress正式加入CNCF:提供企业级AI网关,并实现从Nginx Ingress的无缝迁移

Cloud Native Computing Foundation
Cloud Native Computing Foundation · 2026-03-25T13:22:03Z
Higress这个中登才是AI时代网关的心头好

2026年3月底,ingress-nginx将退役,k8s社区推荐迁移至云原生AI网关higress。higress支持k8s ingress和API控制台两种模式,兼容大多数ingress-nginx注解。迁移时需调整配置并验证连通性,且具备AI推理服务能力,满足AI时代需求。

Higress这个中登才是AI时代网关的心头好

dotNET跨平台
dotNET跨平台 · 2026-03-24T23:59:03Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码