SGLang原生支持昇腾,简化模型调用,成为行业关注的焦点。活动讨论了推理系统在高并发和长上下文场景下的挑战,并提出了工程解决方案。昇腾与SGLang的合作提升了推理效率和系统优化,增强了模型在金融等领域的应用能力。
SGLang原生支持昇腾,简化模型运行,无需修改代码。活动讨论了推理系统在金融场景中的高并发和内存管理问题,展示了昇腾与SGLang的协同进展,提升了推理效率和稳定性。
华为发布了基于昇腾的135B参数的千亿级语言模型Pangu Ultra,采用94层Transformer结构。该模型在多个领域超越了Llama 405B,解决了训练稳定性问题,提升了算力利用率,并通过优化分词器和数据质量支持长序列输入,验证了技术路径的有效性。
华为昇腾适配了阶跃星辰的开源多模态模型,魔乐社区推出了全球最大开源视频生成模型Step-Video-T2V和首款产品级开源语音交互模型Step-Audio。社区提供免费算力支持,便于用户体验,多家技术社区已接入该生态。
在2024开放原子开源生态大会上,华为云展示了开源共创计划,旨在将开源组件与华为云服务、鲲鹏、昇腾、鸿蒙等兼容。通过技术支持和资金激励,鼓励开发者参与开源项目,推动创新和商业化。华为云还推出鲲鹏云和昇腾云算力支持,助力开发者快速应用开源技术,促进生态共赢。
华为云开发者日·上海站成功举办,400余名开发者与华为云、鲲鹏、昇腾、鸿蒙等技术专家共话华为根生态技术能力与前沿洞察。活动设置了开发者体验官、KooLabs工作坊以及展区等环节,为开发者们提供了亲身体验华为云、鲲鹏、昇腾、鸿蒙等产品技术的机会。华为云开发者生态运营总监胡志学分享了一人一台云主机的开发场景。活动还分享了基于华为云的昇腾AI算力、鸿蒙生态合作、数字人技术应用等。活动还邀请了两位华为云杯“少年开发者”人工智能大赛的获奖同学分享项目开发和科技探索的学习体验。活动为新成员授予证书,加速了技术的传播和进步。华为云将继续为开发者提供良好的开发环境和发展机会,共创智能产业的新生态。
英伟达成全球市值第一公司,华为高管称昇腾AI算力超英伟达A100,马斯克称人形机器人普及程度将是汽车10倍。
武汉源创会将于4月20日举行,邀请了武智院、华为、京东、清华的业界专家,聚焦大模型技术的深度解读。会议将探讨大模型应用的挑战和解决方案,介绍昇腾对大模型训练、推理加速、模型压缩的技术特点和优势,以及京东在大模型应用方面的实践经验。此外,还将讨论使用Serverless推理引擎提升大模型推理效能,以及昇思MindSpore的技术创新进展和超大规模AI实践。
完成下面两步后,将自动完成登录并继续当前操作。