Screaming Frog

行业标准的站点爬虫工具，模拟搜索引擎蜘蛛抓取全站页面，检测死链、重复内容、TDK问题、重定向链等。