如果爬一个网站,在得到了cookie保存cookie的情况下还不能够直接post成功的话。 可能会是什么地方的因素
2015-12-02 来自:花生米米 2 人回应

最近公司在做一些对网站信息的采集,所以用到了爬虫。我也只是个初学者。

 

 在略微了解相关的HttpWebResponse,HttpWebRequest之后。在网上找了一些资料看了看。

最开始抓取一些没有权限验证的网页数据,一蹴而就。后来碰到有cookie验证的,也找了一些资料解决了问题。

 

 现在采集的一个站点,在得到cookie保存了了cookie的情况下,直接post ,给我的返回值是"",空的,什么都没有。在地址栏直接回车那个url+参数,都会返回一些错误信息。但是当我自己写方法post的时候就没有返回值。post方法上应该存在的问题不大。 

 

  想问问各路大神,会有什么方面的原因而导致这个问题的存在呢?

  请各位帮帮忙吧!!!

 谢谢了

2015-12-04 来自:Kiss╭ァ猫寳呗

权限验证网页需要输入用户信息的,除非你把用户输入处理了,否则只是保存cookie是不行的,用户验证时cookie是需要变化的

2015-12-03 来自:优雅的半兽人

有cookie的话,每次传输过来会在request里面也有cookie。只是要分清流程,抓包看看流程

您的回应

你还未登陆,不能回应!登陆