本文以 Koog 1.3.0 的 Kotlin API 为例,讲解模型调用的输入与输出。输入方面,user 消息可混排文本与图片、音频、视频、文件等附件,但多模态支持取决于 provider 和模型能力,例如 DeepSeek V4 Flash 不支持 document 附件。参数方面,LLMParams 可在 prompt、子图、会话三层生效,包含 temperature、maxTokens、toolChoice、schema 等字段,并有构造期校验。输出方面,流式调用 requestLLMStreaming 返回 Flow<StreamFrame>,可用 collectText 拼接文本,也可边流式边解析 Markdown 为对象;结构化输出用 data class 加注解生成 schema,requestLLMStructured 返回 Result,解析失败可由 StructureFixingParser 自动修复。文中还提及 Anthropic 与 Bedrock 的提示词缓存配置差异。
文章以客服工单为例,指出结构化输出仅保证JSON形状,不保证业务正确。作者用Python结合JSON Schema和本地validate函数复核分类、金额和必填字段,超限退款只进人工队列,并提醒处理漏字段、金额格式和网络超时,同时保存原文、模型与Schema版本及校验结果。
本文介绍用 Python 调用 Gemini 结构化输出实现工单路由:通过 JSON Schema 限定 queue 和 priority 的枚举值,模型输出后由 safe_route 独立校验,越界即转人工复核。代码包含超时与异常降级,并强调 Schema 只约束格式、不保证事实正确,适合自动分流而非直接批准退款,需记录版本并抽样统计错分率。
文章介绍用 Python 调用 Responses API 识别发票图片的最小实现:模型仅输出候选字段,本地用 Decimal 重算含税金额并校验币种与上限,通过后才进入人工确认。强调不用浮点数算钱、不让模型决定批准、不记录密钥和原图,并给出超时与结构化输出等失败处理建议。
Ollama 简化了本地语言模型运行,但需确保模型与上下文能装入内存。`ollama ps` 可查看模型占用及 GPU/CPU 分配,低于 100% GPU 表示部分已转 CPU,生成变慢。macOS 桌面应用需通过 `launchctl setenv` 设置环境变量,否则配置无效。传入 JSON schema 可约束结构化输出,而 "json" 仅保证合法 JSON。速查表还涵盖磁盘管理、API 端点、Modelfile 及环境变量。
TypeSafe AI的Jev模型在Vercel AI Gateway上线24小时内被近13%付费团队采用,创历史纪录。Jev不生成聊天文字,只返回带概率的结构化选择,让软件直接决策,避免开发者解析自然语言。其输出免费、成本极低,速度比语言模型快194倍。创始人Diogo Almeida认为软件不需要被取悦,只需可执行决策。但准确率略逊于Gemini,长期留存仍待验证。
提示工程是从零设计提示,提示优化则改进已有提示。文章以一份混乱的会议记录为例,介绍五种经实证有效的优化方法:指定结构化输出(如JSON模式)、赋予角色人设、精选多样化少样本示例、对模糊情况使用思维链推理,以及用真实测试用例自动迭代搜索最优提示片段。核心是停止凭感觉猜测,改为针对真实案例测试可验证的具体改动。
前OpenAI研究员创立TypeSafe AI并推出Jev模型,采用RLCD训练与并行采样,实现结构化输出、零类型错误和亚秒级响应,速度比主流大模型快40至200倍,成本低数百倍。该模型放弃自由文本生成,专注可编程决策,适用于自动化流程,但校准概率等核心主张仍需独立验证。
本文介绍了开源库“outlines”,旨在提高大型语言模型(LLM)生成结构化输出的准确性。通过示例,展示了如何进行情感分析、生成符合Pydantic模型的JSON对象,以及为REST API生成有效的JSON负载。outlines通过限制生成过程中的非法符号,确保输出符合预期格式,减少常见错误和不确定性。
Meta推出的Muse Spark 1.1现已在AI Gateway上可用。这是一种多模态推理模型,支持文本、图像、视频、PDF和音频输入,适用于代理任务。该模型能够并行调用工具,提供结构化输出和内置搜索功能。用户可通过AI SDK使用Muse Spark 1.1,并在AI Gateway上跟踪模型使用情况和成本。
本教程介绍LangChain中PromptTemplate和结构化输出的用法。通过ChatPromptTemplate管理提示词模板,使用LCEL管道组合流程,并用PydanticOutputParser将模型输出解析为Python对象。文章包含代码示例、运行方法和常见问题,帮助读者掌握提示词模板化及结构化数据提取技巧。
本文介绍了`ChatClientAgent`的构建与整合,重点在于将`IChatClient`、`ChatHistoryProvider`和`AIContextProvider`结合。`ChatClientAgent`通过构造函数接收配置选项,支持对话历史管理和上下文定制,讨论了会话创建、序列化及执行流程,并强调了结构化输出的需求,提供了多种重载方法以满足不同响应格式的需求。
本文讨论了现代语言模型系统中结构化输出与函数调用的架构差异。结构化输出适用于数据转换和标准化,确保高一致性;而函数调用则用于动态决策和外部交互,适合需要实时信息或执行操作的场景。选择合适的方法可以提高系统的可靠性、降低延迟和成本。理解这两者的区别对构建高效的自主代理至关重要。
概念工程是对提示工程的进化,强调将交互视为明确的概念集合,包括输入、输出、约束和成功标准。它通过定义合同和模块化工作流程,提升系统的可靠性和可维护性。与提示工程相比,概念工程更注重结构化输出和评估驱动的迭代,减少对单一提示的依赖,从而提高模型的准确性和稳定性。
本文介绍如何构建自定义执行器,以管理代理对话生命周期,集成结构化输出和路由分发。通过定义数据模型、配置多路路由和实现业务逻辑,实现记忆管理和灵活响应,构建复杂的 AI 系统。
MAF 通过 Microsoft.Extensions.AI 提供结构化输出,确保 Agent 返回强类型业务对象,支持流程驱动与企业系统对接。其核心功能包括自动生成 Schema、流式与嵌套对象适配,简化数据处理,避免字符串解析。MAF 负责状态管理,MEAI 负责轻量调用。
结构化输出使AI模型返回预定义的数据结构,便于程序处理。通过Microsoft Agents框架,开发者可配置ChatClientAgent,实现强类型结构化数据输出,支持流式响应,提升用户体验。此方法适用于用户信息和订单信息提取,简化数据处理流程。
Parsr是AXA开发的开源文档解析工具,支持PDF、图像、DOCX等格式,能够将文档转换为结构化输出(如JSON、Markdown)。它专注于文档清理和层次重建,提取文本、段落、表格和元数据,适用于搜索归档和发票提取等场景,并支持本地和私有环境部署。
我们增强了Gemini API的结构化输出,扩展了对JSON Schema的支持,并改善了输出属性的顺序。这使得AI模型能够生成符合特定模式的响应,便于数据提取和多代理系统协作。更新已在API中可用。
Microsoft.Extensions.AI 通过结构化输出将大模型的自由文本转换为强类型 JSON,确保业务集成的可靠性。其核心功能包括 JSON Schema 约束输出、自动生成 Schema、支持嵌套对象和流式输出,适用于多种企业场景。
完成下面两步后,将自动完成登录并继续当前操作。