标签：索引页

索引页链接补全机制的一种方法

本文主要讨论这种资源按发布时间有序排布的网页，即新发布的资源排布在翻页第1页（或翻页最后一页），老的资源往后（或者往前）有序推移的索引页的补全机制。主要思路是将整个翻页系列的网页看成一个整体，综合判定它们的抓取状态，通过记录每次抓取网页发现的资源链接，然后将此次发现的资源链接与历史上发现的资源链接作比较，如果有交集，说明该次抓取发现了所有的新增资源；否则，说明该次抓取并未发现所有的新增资源，需要继续抓取下一页甚至下几页来发现所有的新增资源。