大型语言模型（LLMs）已经改变了我们与技术互动的方式。新的工具使得在本地运行LLMs变得更加容易，提供了经济高效、注重隐私的替代方案。本文介绍了各种本地LLM执行平台，如Ollama、ONNX、Wasm、GPT-J和TensorFlow.js，以及如何设置和使用它们。本地执行可能是LLM部署的未来。

研究人员提出了一种名为ART的推理与改进目标，用于判断大型语言模型生成的质量。ART在数学问题和问答任务上相较于基线表现提高了5个百分点，并且使用更小的模型进行改进决策显示出了经济高效的优势。

该研究提出了一种新颖的推理方案，用于加速大型语言模型，无需辅助模型。该方法通过两个阶段的过程来实现，是一种即插即用和经济高效的推理加速解决方案。加速比最高可达1.73倍。