DEV Community
·
将搜索结果转换为适用于大型语言模型的Markdown格式
💡
原文英文，约1000词，阅读约需4分钟。
📝
内容提要
本文介绍了如何将搜索结果转换为Markdown格式，便于在大型语言模型和其他应用中使用。通过使用SerpApi提取搜索引擎数据，并结合Cheerio和Turndown库，开发者可以轻松获取和解析网页内容，生成可读的Markdown文件。该过程包括设置输出目录、抓取和解析结果，以及处理错误。
🎯
关键要点
- 本文介绍了如何将搜索结果转换为Markdown格式，适用于大型语言模型和其他应用。
- Markdown是一种轻量级标记语言，提供简单可读的文本格式。
- Markdown的应用场景包括LLM训练、内容聚合和市场研究。
- SerpApi是一个网络抓取公司，允许开发者提取各种搜索引擎的数据。
- Google Search API可以程序化地检索结构化的JSON数据，避免手动干预和IP封锁。
- 获取搜索结果的代码示例使用Node.js，涉及SerpApi、Cheerio和Turndown库。
- fetchSearchResults函数使用SerpApi的Google Search API获取搜索结果。
- parseUrl函数提取HTML内容并转换为Markdown，清理不必要的元素。
- sanitizeKeyword函数用于清理关键词，以避免文件名问题。
- writeToMarkdown函数将解析后的内容写入Markdown文件，并使用清理后的关键词作为文件名。
- 主执行脚本处理关键词数组，抓取和解析搜索结果。
- 总结步骤包括设置输出目录、抓取和解析结果，以及错误处理。
- SerpApi简化了通过编程方法访问结构化搜索引擎数据的过程。
➡️
