DEV Community
·
用于抓取维基百科奥斯卡奖名单的JavaScript爬虫
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
本文介绍了如何使用JavaScript的cheerio库从维基百科抓取奥斯卡获奖者数据，并将其保存为CSV文件。首先安装所需的包，接着加载HTML并提取表格数据，最后以分号为分隔符保存为academy_awards.csv文件。
🎯
关键要点
- 本文介绍了如何使用JavaScript的cheerio库从维基百科抓取奥斯卡获奖者数据。
- 首先安装所需的包：npm install cheerio axios。
- 使用的URL是维基百科的奥斯卡获奖电影列表。
- 加载HTML并准备两个变量来保存表头和表格数据。
- 遍历DOM并选择元素，提取表头数据。
- 遍历表格行，提取每一行的数据。
- 将数据保存为CSV文件，使用分号作为分隔符。
- 使用fs.writeFileSync将数据写入academy_awards.csv文件。
❓
延伸问答
如何使用JavaScript抓取维基百科的奥斯卡获奖者数据？
可以使用cheerio库和axios包来抓取数据，首先安装这两个包，然后加载维基百科的奥斯卡获奖电影列表的HTML。
抓取数据后如何保存为CSV文件？
使用fs.writeFileSync将数据保存为academy_awards.csv文件，数据以分号作为分隔符。
在抓取过程中如何提取表头数据？
遍历DOM，使用$('tbody').each()选择表头元素，并将其文本内容存入theadData数组。
使用的URL是什么？
使用的URL是'https://en.wikipedia.org/wiki/List_of_Academy_Award%E2%80%93winning_films'。
需要安装哪些包来进行数据抓取？
需要安装cheerio和axios这两个包。
如何遍历表格行以提取数据？
使用$('table tr').each()遍历每一行，并将每个单元格的文本内容存入rowData数组。
➡️
