带你从3方面解析CPM-Bee大模型

华为云社区分享了CPM-Bee的技术公开课预告和知识回顾。CPM-Bee是一个开源的百亿参数中英文基座模型，采用Transformer的自回归架构，在超万亿高质量语料上进行预训练。CPM-Bee的模型结构采用统一编码器架构和Pre-LayerNorm结构。CPM-Bee的输入数据可以通过嵌套字典的方式指定，支持多任务的零样本能力。CPM-Bee的使用方法包括预训练、微调和推理。