如果网站没有 robots.txt 文件，谷歌搜索将删除所有搜索结果。谷歌爬虫会检查该文件，若不存在则视为拒绝抓取，已收录的内容也会被清除。站长应定期检查网站流量和 robots.txt 状态。

Follow是一个新的RSS订阅平台，支持OPML导入，界面现代化且使用简便。与TTRSS相比，Follow简化了内容抓取，但功能尚不完善，需邀请码激活。整体生态偏向中介获利，生产者和消费者的利益未能得到保障。

本文介绍了如何创建一个Chrome扩展，抓取网页内容并生成摘要，同时支持语音朗读。使用Cheerio提取HTML，Hugging Face Transformers进行摘要，ResponsiveVoice.js实现语音功能。用户可以通过简单步骤构建高效工具，提升阅读体验。

Perplexity是一家AI搜索初创公司，因被指控抄袭内容而受到关注。调查显示，该公司可能在未经允许的情况下抓取网站内容，生成的回答有时不准确。Perplexity的CEO承认摘要未能充分引用来源，但否认不道德或非法行为，目前正在与出版商探讨收益分享协议。