Cohere推出了North Mini Code,这是一个30亿参数的开源编码模型,旨在满足开发者对基础设施控制的需求。该模型可在单个Nvidia H100 GPU上运行,支持自托管或通过API访问,开放权重增强了开发者对模型运行位置和操作方式的控制。
modded-nanogpt 是一个优化 NanoGPT 模型训练速度的项目,利用 8 块 NVIDIA H100 GPU 将训练时间从 45 分钟缩短至 3 分钟,数据量减少至 0.73B tokens。该项目采用现代架构和多种加速技术,并提供 Docker 支持以简化环境配置。
Starcloud将于11月发射卫星,首次将NVIDIA H100 GPU送入太空,预计提供比以往强100倍的计算能力,利用太空中的可再生能源。
ReDrafter是一种先进的推测解码方法,通过递归神经网络、动态树注意力算法和知识蒸馏三大技术显著加速大型语言模型推理。在Nvidia H100 GPU上,Vicuna推理加速达3.5倍,TensorRT-LLM实现2.5倍加速,Apple Silicon设备应用也达2.3倍加速。
DigitalOcean重新开放NYC2数据中心,支持新客户。经过扩展和升级,NYC2提供更多空间和NVIDIA H100 GPU,以支持AI/ML业务,展现了对增长和创新的承诺,未来将推出更多产品。
DigitalOcean推出支持GPU的Kubernetes服务,简化AI创新。用户可在集群中使用1到8个GPU,适用于AI模型训练、视频处理和大数据分析。NVIDIA H100 GPU的集成提升了性能,帮助企业更经济地利用AI技术。
DigitalOcean推出GPU Droplets,集成NVIDIA H100 GPU,适合AI项目开发。用户可按需使用,从单GPU到8 GPU灵活配置,预装Python和深度学习软件,简化模型训练。适用于聊天机器人、大语言模型、图像和视频生成等。现已在TOR1和NYC2数据中心上线。
创业公司EvolutionaryScale推出了基于NVIDIA H100的ESM3模型,用于研究新型蛋白质,并得到了NVIDIA等公司的支持。该模型可以同时对蛋白质的序列、结构和功能进行推理,为蛋白质发现工程师提供了一个可编程的平台。ESM3模型使用了NVIDIA H100 Tensor Core GPU,是迄今为止在生物基础模型中计算能力最强大的模型。该模型使用了超过20亿个蛋白质序列进行训练,可以为药物开发、疾病根除等提供线索。ESM3模型的发布将加速蛋白质发现的进程。
Qdrant推出了FastLLM(FLLM),这是一种专为检索增强生成(RAG)设计的轻量级语言模型。FLLM具有10亿个上下文窗口,经过300,000个NVIDIA H100的训练,具备1万亿参数,在各类基准测试中超越所有现有模型,展现出极大的潜力和应用前景。
DigitalOcean推出了NVIDIA H100 Tensor Core GPU实例,帮助初创企业和数字业务加速AI创新。H100 GPU性能显著提升,支持多节点部署,并提供灵活的按秒计费选项。Paperspace平台增强了容器注册和安全性,简化了AI/ML模型的部署流程。
完成下面两步后,将自动完成登录并继续当前操作。