小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ

本文探讨大语言模型解码策略,指出在相同模型权重下,贪心、Beam Search、temperature、top-k/top-p/min-p及重复惩罚等参数显著影响输出质量、风格与幻觉风险。文章分析各策略的几何直觉、失效条件及组合陷阱,强调高似然不等于高质量,并讨论重复惩罚对专有名词和代码的副作用,以及解码算法评测缺乏统一标准的问题。

【Transformer 与注意力机制】48|从 logits 到文本:解码策略是决策层,不是收尾细节

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-06T00:00:00Z
在 llama-server 中的采样参数

本文讨论了通过调整 llama.cpp 的采样参数(如温度、TopP、MinP、TopK)来提高模型推理速度和效果,减少重复、幻觉和语法降解。强调现代采样方法(如 DRY、XTC 和 Mirostat)的优势,合理配置可显著提升本地模型的生成质量和效率。

在 llama-server 中的采样参数

Alex Ewerlöf Notes Alex Ewerlöf Notes · 2026-07-01T18:28:35Z

本文介绍了使用vllm库生成文本的代码示例,包括采样参数设置、提示和答案的定义,以及通过LLM模型生成文本并验证输出的过程。

【vLLM 学习】Tpu

HyperAI超神经 HyperAI超神经 · 2026-03-02T05:31:10Z
如何简单设置使用watsonx的所有“采样参数”或“生成参数”

用户可以通过“Open Prompt Lab”轻松设置watsonx.ai LLM的采样参数,并查看Curl、Node.js和Python代码示例,开发者只需修改访问令牌。

如何简单设置使用watsonx的所有“采样参数”或“生成参数”

DEV Community DEV Community · 2025-01-02T16:26:46Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码