内容提要
Jina Reader-LM 是一种将 HTML 转换为 Markdown 的语言模型，支持 256k 和 512k 的上下文长度。它通过无头 Chrome 提取网页内容，利用 Readability 和正则表达式清理 HTML，生成结构良好的 Markdown 文件。新版本 V2 提升了输出格式和性能，适合大规模内容转换任务。
关键要点
-
Jina Reader-LM 是一种将 HTML 转换为 Markdown 的语言模型，支持256k和512k的上下文长度。
-
该模型通过无头 Chrome 提取网页内容，利用 Readability 和正则表达式清理 HTML，生成结构良好的 Markdown 文件。
-
2024年4月，Jina推出了一个API，可以将任意HTML网页转换为Markdown格式文本。
-
Reader-LM的第一代模型于2024年9月推出，支持256k的上下文长度，性能优于许多商业模型。
-
最近发布的V2版本将上下文长度提升至512k，输出格式支持Markdown和JSON。
-
ReaderLM-v2基于Qwen2.5-1.5B-Instruction进行训练，支持29种语言。
-
Jina创建了html-markdown-1m数据集，包含一百万个HTML文档，用于训练模型。
-
模型训练过程中采用了迭代方法，确保数据质量符合结构化数据提取标准。
-
使用ReaderLM时，建议先剔除不必要的内容，以提高处理效率和质量。
延伸问答
Jina Reader-LM 是什么？
Jina Reader-LM 是一种将 HTML 转换为 Markdown 的语言模型，支持256k和512k的上下文长度。
Jina Reader-LM 的最新版本有什么改进？
最新的 V2 版本将上下文长度提升至512k，并支持输出为 Markdown 和 JSON 格式。
如何使用 Jina Reader-LM 进行 HTML 转换？
使用无头 Chrome 提取网页内容，利用 Readability 清理 HTML，然后通过正则表达式和 Turndown 库转换为 Markdown。
Jina Reader-LM 的训练数据集是如何构建的？
Jina 创建了 html-markdown-1m 数据集，包含一百万个 HTML 文档，并通过清理和优化确保数据质量。
使用 Jina Reader-LM 时有什么建议？
建议在使用 Reader-LM 前剔除不必要的内容，以提高处理效率和质量。
Jina Reader-LM 的性能如何？
根据 Jina 的测试，Reader-LM 的性能优于许多商业模型，尤其是在处理大规模内容转换时表现出色。
