0
点赞
收藏
分享

微信扫一扫

获取不了软件的专属请求头?不是微信客户端就打不开链接?神秘的Headers当中到底藏着什么,这些都是靠什么实现的?又如何解决这些爬取上的困难呢?爬虫如何获取用户浏览器型号、访问地址和访问浏览器版本号

f12b11374cba 2022-05-01 阅读 13
https

本文所提及的所有网站,均在本篇文章的末尾提及

本文阅读顺序

Headers运行原理

在这里插入图片描述
大家在浏览网页的时候可能看到这样的消息
在这里插入图片描述
或者是这样的
在这里插入图片描述

这些网站到底是通过浏览器给了什么样的信息才获取了这样的内核和版本号呢

在这里插入图片描述
这是我在网上搜索浏览器内核检测而得到的图片,一张关于我浏览器内核的方法,我们可以确定,在访问网页的时候浏览器将某些很重要的东西传给了网站,我们可以通过在本地验证网站获得的版本号是否属实
在这里插入图片描述通过在设置中的查证,我们发现,的确是相同的答案?
在这里插入图片描述
那么,浏览器是如何获取我们这么多信息,然后进行返回输出的呢?
在这里插入图片描述
我们以CSDN为例,查看我们发送请求时的过程
在这里插入图片描述
我们可以发现我们的请求头在请求网站的过程中,起到了非常重要的作用
在这里插入图片描述
我们可以看到,这个请求头中就包含了我们请求所有的版本号

如何获取各种浏览器的专属请求头

我们通过上面的一系列学习了解了什么是Headers以及我们是如何传递headers的,那么现在,我们就将获取我们Chrome的Headers

Chrome浏览器请求头

测试地址
我们打开后会看到一个类似json返回值的文档
我们这里显示的是通过相关扩展程序转换而成的代码
在这里插入图片描述
在这里插入图片描述
这里便是我们chrome的请求头了

Edge浏览器请求头

同样的方法,同样的网站
在这里插入图片描述
在这里插入图片描述
这个便是EDGE的请求头,我们可以看到,只是在后面加上了一个EDG的版本号

Yandex浏览器请求头

在这里插入图片描述
这个网站的方法也一样,我们发现,我么请求的请求头还是变化了

国内浏览器请求头

在这里插入图片描述
这是360浏览器的请求头,我们可以发现,360浏览器并没有使用自己的内核,而是将Chrome浏览器的内核进行包装

手机浏览器请求头

本文使用网站

  1. 浏览器内核版本检测
    在这里插入图片描述

  2. 我的浏览器信息
    在这里插入图片描述

  3. 升级浏览器
    在这里插入图片描述

举报
0 条评论