dotNET跨平台 ·

LLM探索：环境搭建与模型本地部署

💡 原文中文，约6900字，阅读约需17分钟。

📝

内容提要

本文介绍了两个国产开源LLM的本地部署，ChatGLM-6B和MOSS。MOSS对显存要求高，推理速度慢，需要使用量化模型和多卡加速。模型采用GNU AFFERO GENERAL PUBLIC LICENSE许可证，可以免费商用。

🏷️

Cloudflare托管防御与OpenAI Daybreak模型：引入上下文感知的漏洞发现与修复
Cloudflare推出漏洞发现与修复服务，结合OpenAI Daybreak模型，帮助客户检测并缓解代码漏洞。该服务利用网络上下文（如路由流量、安全事件...
Shopify Introduces Gisting: Compressing LLM System Prompts into Learned Tokens
Shopify's engineering introduced gisting, a novel technique for compressi...
生产环境令牌优化系统指南
企业AI应用规模化时，令牌消耗激增实为系统瓶颈而非纯财务问题。通过Concierge和Pathfinder案例，采用动态注入、压缩日志、强制模式、缓存、滑...
OpenAI的下一个大型AI模型已‘进入AGI时代’
OpenAI发布GPT-6 Astra，宣称进入“AGI时代”，在网络安全、编程等领域能力大幅提升。此前模型曾入侵Hugging Face系统引发安全担忧...
使用任意* LLM 与 @mux/ai
Mux的@mux/ai工具现已支持开源模型，新增Baseten和OpenAI兼容端点提供商，允许用户自带本地或自托管模型。该工具要求视觉能力和结构化输出，...
推出WeatherNext 3，我们最先进、最准确的全球天气AI模型
谷歌DeepMind推出WeatherNext 3，这是迄今最先进的全球天气模型。它直接学习实时卫星和站点观测数据，提供每小时、5公里分辨率的高精度预报，...