整理了一下最近学的东西,打算爬一下去哪网的飞机票信息,主程序没有遇到太大问题,在优化
程序的时候,采用Chrome的无头浏览器,发现程序报错,截屏后:
没有航班信息,换了日期之后也没有,但手动打开时却能显示航班信息,再次观察报错:
应该是被识破了,查了查网上,主要是两种解决方法:
1.https://blog.csdn.net/cool_flag/article/details/79174785
2.https://bbs.csdn.net/topics/392282730?list=lz
但对我都没有用,我尝试伪装爬虫,然后将网上的伪装方式都写了上去:
像不像一个究极融合怪~什么都有~
但没有任何效果,但我在去掉无头模式后,脚本居然同时打开了7个网页!!!
除去第二个去哪网可以正常打开外,其他的都是无法访问,依次检查发现是伪装请求头这段代码造成的,但却可以正常得到机票数据,没有什么影响,我以为是网络的问题,换了WIFI,结果还是没有解决问题,观察报错,不知道里面为什么有一堆繁体字:
奇奇怪怪的,希望可以得到大佬的建议~