InstructRetro: 检索增强预训练后的指令调整

 原文中文，约500字，阅读约需2分钟。发表于：。

通过检索进行预先训练的大型语言模型在困惑度和事实准确性方面表现更好，但现有预先训练的检索增强语言模型的规模仍然受限，因此限制了指导调整和零样本泛化的效果。我们提出了 Retro 48B，这是在指导调整之前预先训练的最大语言模型，通过从 1.2 万亿令牌中检索继续对 43B GPT 模型进行额外的 1000 亿令牌的预训练。Retro 48B 在困惑度方面在很大程度上优于原始的 43B...

该文介绍了一种名为Retro 48B的预先训练语言模型，通过从1.2万亿令牌中检索继续对43B GPT模型进行额外的1000亿令牌的预训练。Retro 48B在困惑度方面表现更好，InstructRetro在零样本问答任务上明显优于指导调整的GPT。

GPT模型 Retro 48B 语言模型 零样本问答 预先训练
相关推荐 去reddit讨论
分享给好友
沉浸式翻译 immersive translate
ai 课（黑）
  1. Meta 宣布推出 AI 驱动的视频生成器 Movie Gen
    Meta推出Movie Gen AI视频生成器，可通过文本生成高清视频并添加音效，还能编辑现有视频和图像。由于成本高和生成时间长，暂不公开发布。工具引发版...
  2. 模块化：Python程序员轻松入门Mojo🔥
    本文介绍了Mojo编程语言，从Python程序员的角度出发，通过一个简单的例子展示了Mojo的语法和性能优势。文章指出Mojo与Python语法相似，但在...
  3. Modular：我们筹集了1亿美元以改善全球开发者的AI基础设施
    Modular宣布获得1亿美元新融资，加速实现全球开发者AI基础设施愿景。他们的下一代AI开发者平台改善了AI的可编程性、可用性、可扩展性、计算效率和硬件...
  4. 模块化：Mojo🔥 如何实现比 Python 快 35,000 倍的加速 – 第二部分
    在本博客文章中，我们将继续优化Mandelbrot集合问题，并将速度提高到Python的26,000倍。我们将分享使用的技术，并讨论Mojo的优势。第三部...
  5. Modular：发布 MAX 开发者版预览
    Modular推出了Modular Accelerated Xecution (MAX)平台，旨在简化在不同硬件平台上部署AI模型。MAX包括先进的AI编...
  6. 模块化：Mojo🔥 - 它终于来了！
    自从5月2日推出Mojo编程语言以来，已有超过120,000名开发者注册使用Mojo Playground，19,000名开发者在Discord和GitH...
  7. 模块化：Mojo🔥如何实现比Python快35,000倍的速度提升——第一部分
    本文介绍了Mojo编程语言在Mandelbrot集合问题上的性能优化，通过类型注释、严格模式和简化计算等方法，实现了46倍至89倍的速度提升。与NumPy...
  8. 模块化：在Python🐍中使用Mojo🔥
    本文介绍了在Mojo中使用Python模块和包的方法，包括查找和加载模块和包、使用venv创建虚拟环境和使用Conda安装libpython。文章提供了示...
  9. 【Hadoop】【持续更新】hdfs 常见命令
    hdfs fsck命令是用于检查Hadoop分布式文件系统（HDFS）中的文件和目录的工具。它可以检测出文件和目录的损坏、丢失和副本问题，并提供修复建议。...
  10. 【Hadoop】Yarn 作业启动源码解读
    本文介绍了作业提交的流程和相关类的功能。作业提交的核心类是Job.java，其中的submit()函数实现了作业的提交。在作业提交过程中，主要包括连接Re...
更多...