本文介绍了一种名为LLM-Pruner的模型压缩方法，旨在通过结构修剪有效压缩大型语言模型（LLM），同时保持多任务能力。研究表明，该方法在零样本分类和生成任务中表现良好，仅需50K数据即可恢复性能。文章还探讨了压缩技术的优缺点及其对模型性能的影响，强调了确保模型可靠性的重要性。

华为云社区分享了CPM-Bee的技术公开课预告和知识回顾。CPM-Bee是一个开源的百亿参数中英文基座模型，采用Transformer的自回归架构，在超万亿高质量语料上进行预训练。CPM-Bee的模型结构采用统一编码器架构和Pre-LayerNorm结构。CPM-Bee的输入数据可以通过嵌套字典的方式指定，支持多任务的零样本能力。CPM-Bee的使用方法包括预训练、微调和推理。