栏目导航

好彩妹

 

护民图库模拟淘宝登陆获取初始Cookie
发表时间:2019-11-06
2017-06-28         

  还记的上一篇文章里使用的Cookie吗?由于每次登陆淘宝的Cookie都不一样,所以每次都要手动登陆获取新的Cookie。这里我想研究一下怎样用程序获取这个Cookie。

  手动登陆淘宝并抓取报文,这里要注意的是如果页面发生跳转造成报文丢失,则需要勾选Preserve Log, 同时在跳转之前按个点一下每个报文用来缓存,否则跳转之前的报文虽然都在,但不能查看具体的内容。

  经过分析,Cookie值得来源主要来自两个关于login.jhtml的POST请求,第一条是你访问登陆页面时的报文,第二条则是你输入账户密码之后点击登陆按钮后发送的报文,如图:

  最后,因此这部分就是我们要的Cookie,处理的时候将后面的Domain和Path去掉,然后将剩下的部分保存下来即可。

  这里的难点在于,第二条报文带很多FormData,大多数很容易理解也很容易获得,除了ncoToken,gvfdcre,um_token, 和ua,同样这些值应该会在其他报文中找到计算方法,前提是都能看懂。不幸的是,我看了半个小时后没有找到具体的计算um_token的方法。之后我就放弃了,因为我还知道一种曲线救国的方法。

  在上篇文章淘宝抓取所有订单中,在获取ua值时我就用到了Selenium+PhantomJS来模拟浏览器执行Javascript并获得脚本运行后的结果。这里简单再介绍下Selenium。

  Selenium的官方文档是Selenium with Python。安装Selenium非常简单pip install selenium,除了安装,要正常使用Selenium还需要一个浏览器驱动并安装对应的浏览器本身,比如说如果你要模拟Chrome,你至少需要一个能正常使用的Chrome浏览器和一个Chromedriver,后者文档里有下载地址,Driver是一个可执行文件,你需要把它的目录添加到环境变量Path中。目前Selenium支持四种浏览器:Chrome,Edge,Firefox和Safari。当然也支持PhantomJS,不过在运行的时候会输出警告信息,另外几种浏览器也都支持无界面访问模式。

  显然,这种组合很适合一个场景:WEB自动化测试。不过结合Python做爬虫,也非常有用。浏览器用来解析JS文件,通过Webdriver与Selenium连接,Selenium再通过一些API供Python使用达到与浏览器交互的目的(也有其他语言的API)。

  目前Selenium提供了7中用来定位网页元素的接口,可以分别通过ID、Name、XPath、链接文本、标签名、类名和CSS选择器来定位元素。定位元素成功后,你可以与网页进行交互:进行表格填写,拖放,窗互,对话框操作,访问历史记录以及操作Cookies。你也可以设置等待浏览器解析并完成js加载之后再进行内容抓取。具体的API和其他特性可以参考官方文档。

  如果要模拟淘宝账号登陆,需要填写两个文本框,单击一次登陆按钮,最后抓取获得到的Cookie。

  如果要模拟二维码登录,需要先点开二维码,然后等待手机扫码,跳转时抓取Cookie。

  不幸的是,第一种方法没有成功,就是那种理论上都没问题,但就是不成功的情况,后面我会细说。第二种方法可以成功。

  我这里使用URL是否以开头来判断是否登陆成功。关于账号密码的登陆逻辑是这样的:

  这里的难点在于滑动块的处理,首先只要是用selenium必定会要求滑动块检测(至少我没遇到不要的情况);其次,淘宝肯定对拖动滑动块是否由人类完成有一个非常严格的判断,护民图库并且很可能会因为失败的次数增加而变得更加严格,我这么说,是因为我没有成功!

  我在网上查到说这类滑块的操作,会综合考虑你拖动时鼠标的走向、移动的停歇、总时间等等等等因素。我在网上找到一片文章写了如何使用GhostMouse软件录制鼠标操作:滑动验证码破解。我录制了能够通过验证的鼠标操作,之后根据这个操作记录用Python计算出偏移量,从而让爬虫能模拟出我的验证操作。但这没有成功,我后来甚至发现直接用GM的录制回访功能,同样的操作第一次能成功,第二次也不能成功。等到后面测试多了之后,几乎是100%失败,即使人工操作都不行。现在的效果大概是这样:

  这里的human2.gms文件是GhostMouse录制后保存的内容,它的结构很简单:

  前两个数字分别是坐标轴的x和y值,像这类坐标,叶罗丽故事:灵公主得到一朵七色花 每个都是以父窗口的左上角为原点,向右是x正向,向下是y正向。注意selenium提供的move API的参数是位移,需要自己计算;后两个数字分别代表鼠标的左键和右键,1表示按住,0表示没有。

  经历了很多次账号密码登陆的失败后,我又想到了一个退而求其次的办法:通过手机扫描二维码登录。逻辑会简单点,但你需要人工用手机扫一下二维码:

  打印出来的Cookie可以直接复制粘贴到上一篇文章中Cookie变量里面。执行后,可以直接抓取到订单信息:

  之前我提到过,程序抓取数据的时间其实不算短,这时候使用一个进度条可以有效的缓解等待的紧张感,同时也可以知道程序仍在工作,没有进入死循环。

  Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...

  前端开发者丨http请求 https:前言见解有限, 如有描述不当之处, 请帮忙指出,...

  今天已经是18年的第六天了,这六天里只记得每天上午早起去练车。下午就是回家睡觉,做饭,打扫卫生。每一天的生活都在周...

  青年时期的伍子胥,因父兄被家乡最大的黑色会头子楚平王杀害,只身逃亡吴国。 到吴后,辅佐杀害老大上位的吴王阖闾,通过...

  啥也不多说了,带着老婆去看的,老婆直接泪目了。 哥们看完,心里只有对清华的无限向往,一个国家的脊梁向挺起来,靠的就...


友情链接:
www.555469.com,好彩妹,555415.com,333046.com,555045.cc,44400444.com,管家婆彩图,香港管家婆彩图,管家婆彩图24码。
最快开奖结果现场直播| 本港台同步现场报码| 香港马会开奖结果直播| 白小姐一肖中特料| www.822853.com| 香港开奖直播现场结果| 6677148跑跑狗网| 彩票开奖大全| 天下天空彩与你同行| 公式一肖资料| www.20654.com| 开码历史记录|