文章导航PC6首页软件下载单机游戏安卓资源苹果资源

pc软件新闻网络操作系统办公工具编程服务器软件评测

安卓新闻资讯应用教程刷机教程安卓游戏攻略tv资讯深度阅读综合安卓评测

苹果ios资讯苹果手机越狱备份教程美化教程ios软件教程mac教程

单机游戏角色扮演即时战略动作射击棋牌游戏体育竞技模拟经营其它游戏游戏工具

网游cf活动dnf活动lol周免英雄lol礼包

手游最新动态手游评测手游活动新游预告手游问答

您的位置:首页单机游戏角色扮演 → 怪物猎人世界新装备介绍 怪物猎人世界新装备新系统一览

功夫2

火车头使用Post方法采集Ajax页面教程_我的网站

白夜追凶

一 |     

     阿里云优惠券 先领券再下单        前面有写过一篇瀑布流的采集方法,今天在添加一个POST方法来采集Ajax刷新页面的教程。    肇民科技8月24日披露半年报,公司上半年实现营业收入4亿元,同比增长5.24%;归属于上市公司股东的净利润6081.42万元,同比下降14.21%;基本每股收益0.25元。    之前的文章请看:火车头采集动态加载Ajax数据(无分页瀑布流网站)    如果遇到POST方法来架子Ajax数据,这和我之前写的是两个类型,瀑布流是直接刷新出数据的页面。    采集网站分析    采集任何一个新站前我们都要对他进行一番分析才好下手。

二 |     列表页分析    这个网站的列表页,前面并不是通过Ajax加载的。

三 | CTRL+U可以直接看到列表内容,通过浏览器也看不到相关请求地址。

四 |     

    因为习惯原因,我直接看了下尾页列表页。然后顺手CTRL+U看看网站代码结构有没有大的变化。防止后期采集出错。结果就发现无法看到列表内容。浏览器可以看到一个通过post请求的地址。    
    这时候就意识到这网站列表页可能后面的应该全是通过Ajax加载的。    通过笨方法,手动访问页面看看Ajax加载大概是哪些。最后找到大概从2200页左右开始Ajax加载。    那我们采集的时候,前面的列表页就可以使用普通方式去采集(速度更快)。    2200页开始到尾页就通过post请求Ajax页面数据。    抓包获取Post数据    这个Ajax地址我在浏览器看不到任何跟页码有关的数据。最后只能使用抓包工具看一下详细的请求内容了。    
    使用抓包工具Fiddler    Fiddler下载地址:OneDrive-Fiddler-Setup_v5.0.20204.45441.zip    安装设置完成后我们打开浏览器。重新访问一下采集页面,Fiddler会抓到很多请求地址。    查看分析Post数据    Ctrl+F 我们搜索那个Ajax地址    
火车头使用Post方法采集Ajax页面教程
    Fiddler会以黄色将搜索到的结果显示出来,我们点击一下他。    
火车头使用Post方法采集Ajax页面教程
    在Fiddler右侧会显示这个请求地址的相关详细信息。    
    信息顶部可以看到是post请求方法。    可以看到有我们请求的页码相关内容。    
    访问不同页码的页面,经过研究发现规律。    
    currentPageIndex的值和页码相关,值等于页码减一。我们访问6139页时,currentPageIndex值是6138。

五 |     这就找到了规律,我们打开火车头采集器。    火车头采集器配置分页设置    起始网址填入Ajax请求地址    

    点“高级模式”。    
    点“分页设置”,http请求方式“post”。    
    把我们Fiddler抓包获取的内容填进去。    
    将currentPageIndex值的内容替换成火车头采集器的“分页”标签。    
    下面填入页码。    页面地址是从2200到6140,上面我们分析得出post请求内容的currentPageIndex值是实际页码减一。

六 | 所以这里面我们填2199到6139.    

    网址获取选项设置    为了筛选出我们需要的内容,我们设置一下网址获取选项。    打开浏览器F12开发工具,预览一下Ajax获取的内容。    
    可以看到链接的形式是    自考成考报名条件有哪些?    完整的链接地址是    https://域名/chengrenzikao/20200611152022.html    那我们就可以使用下面的规则提取地址。    
    我们测试一下网址采集。

七 |     测试网址采集    点击测试可能提示“post请求必须选择网页编码”我们在火车头其他设置中将编码选为“UTF8”即可。    

    可以看到已经正确获取到了链接。不放心可以复制链接实际访问一下看看是否正确。    
    注意事项    采集过程注意运行线程和请求间隔时间。教程在测试时因为开的线程较多,频率过高导致对方网站开启了防CC设置。拉黑了我一个服务器IP,此教程写完用了两台服务器。    我们实际采集可以只开1个线程,并设置合适的间隔时间,比如1000ms到1500ms左右。

八 |     本文来自2号站长网,转载请注明出处:https://www.zz2zz.com/331414.html

        
    

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!。

Current article:http://l92lov.shuosongzoutunchutao.cfd/list_ycxclp/mk55.html

Published on:00:56:08


相关阅读 67W超级闪充9月16日开售 OPPO K10x硬核续航_iPhone 14系列电池容量公布_官方小米阔折叠原型机亮相:采用横向阔折叠设计,支持风冷主动散热,新芯片玄戒O3和玄戒O100协同计算记者:费内巴切和多家英格兰俱乐部有意法兰克福前锋巴霍亚NBA年终大战赛程出炉:老詹率76人对决湖人 马刺尼克斯重演总决赛Gartner 预测:2026 年存储器市场规模 > 2025 年半导体整体收入Jet skiers reportedly killed by Algerian coast guard after running out of gas上海:加速L3级有条件自动驾驶、L4级高度自动驾驶量产批发采购成本318万劝退绝大多数!癌症疫苗为何这么贵?

文章评论
发表评论

热门文章 专题报道丨2026世界人工智能大会暨人工智能全球治理高级别会议Ukraine's troops show CBS News how controversial U.S. cluster munitions help them hold Russia at bay重磅消息!新币与人民币的汇率飙升至5.40!“中国人到新加坡打工是否要双方纳税?”36岁男子在奥克兰一加油站持械威胁要杀人,并袭击警察,已被捕

最新文章 英特尔 35W 酷睿 i7-13700T 处理器现身 Geekbench_测试_系列美国人忧心忡忡:004预计明年下水,11万吨搭载歼-50成全球最强?,兵器志,原创 美国人忧心忡忡:004预计明年下水,11万吨搭载歼-50成全球最强? “十五五”时期中央财政将进一步聚焦基础研究、应用基础研究和国家战略科技任务,继续加大投入力度丰泰基奥一年底薪留守热火:外面的报价一无所知怀疑自家小牛跑到别家,福建一养牛户花万元为牛做“亲子鉴定”长时间戴耳机的后果有多严重?韩国一项调查显示,17%的青少年报告听力损失。

人气排行 曝网飞很不爽《GTA6》泄露!但也没招 按兵不动计划不变生态环境部:积极推动碳足迹数据和标准体系建设,健全碳标识认证和管理机制驻新西兰使领馆发布提醒:谨防这两类诈骗!武汉降温时间确定!温氏股份:上半年亏损43.66亿元漫说 丨 沧州跨境电商“乘风起” 冀货出海“势正劲”与LV三公子恋情曝光?谷爱凌晒图辟谣厦门市五缘实验幼儿园2025年幼儿寒假体育锻炼计划