⭐無縫加載 下一頁內容 至網頁底部(類似瀑布流,无限滚动,無需手働點擊下一頁)⭐,支持各論壇、社交、遊戲、漫畫、小說、學術、搜索引擎(Google、Bing、Yahoo...) 等網站~
翻页模式 5、6 是专门给这些静态加载内容和动态加载内容混用的网站准备的(基本要求就是有下一页的准确 URL 地址)。
但实际上,能适用于翻页模式 5、6 的动态加载内容的网站非常非常少,只是我写过的网站规则数量中的零头,因此我对这两种模式设计的就比较简单,目前并不支持你描述的方式。
翻页模式 5、6 是专门给这些静态加载内容和动态加载内容混用的网站准备的(基本要求就是有下一页的准确 URL 地址)。
但实际上,能适用于翻页模式 5、6 的动态加载内容的网站非常非常少,只是我写过的网站规则数量中的零头,因此我对这两种模式设计的就比较简单,目前并不支持你描述的方式。
因为我的电脑上安装了其它插件, 在这个网站上又不能不用, 所以每次只能提取第二页的46个数据, 整合一共96个, 有时候还88个,所以我想翻页模式6 还有没有别的方案可以优化一下
QingJ © 2025
镜像随时可能失效,请加Q群300939539或关注我们的公众号极客氢云获取最新地址
大佬大佬,
觉得这样可以实现吗, 这样可以不用等了
在以下网站中https://www.amazon.de/gp/bestsellers/automotive/83138031/ref=pd_zg_hrsr_automotive
"Amazon - gp": {
"host": "/^www\\.amazon\\.([a-z]+|com?\\.[a-z]+)$/",
"url": "return fun.isPager()",
"style": "#navFooter,#rhf",
"blank": 3,
"pager": {
"type": 6,
"nextL": ".a-selected+li.a-normal>a",
"pageE": "#gridItemRoot",
"replaceE": ".a-pagination",
"loadTime": 7000,
"scrollD": 1000
}
}
可以修改配置,
将"loadTime": 7000,
"scrollD": 1000"固定滚动可以调整为模拟 Home/End 键(即跳转到行首或行尾), 循环为先跳转到行首再跳转到行尾, 每2秒执行一次循环
让爬虫在以下条件下停止:
在下一页抓取满 50 个数据项 → 立即停止并返回结果。
如果在下一页一直不足 50 个 → 最多等待 20 秒,然后返回已抓取的数据(即使不足 50 个)。
检查当前页面(不是下一页)是否加载到50个, 如果没有下一页就暂缓提取到当前页, 当前页面(不是下一页)一旦加载到50个, 下一页的50个直接提取到当前页