MySQL大数据量表中删除重复记录

最近工作中需要抓取大量新闻，抓取的数据中由于一些原因存在一些重复数据，而整个数据表的记录数接近10万条，大小接近1个G，又在我自己的渣渣本本上，查询速度十分不理想，想要完成一个最基本的查询都很困难。在看了一些相关资料后终于找到解决方法，分享给大家参考。  ...