0
点赞
收藏
分享

微信扫一扫

学python网络爬虫。能做什么?

王小沫 2022-12-06 阅读 109

什么是爬虫?


网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。


其实通俗的讲就是通过程序去获取web页面上自己想要的数据,也就是自动抓取数据


爬虫可以做什么?


你可以用爬虫爬图片,爬取视频等等你想要爬取的数据,只要你能通过浏览器访问的数据都可以通过爬虫获取。


爬虫的本质是什么?


模拟浏览器打开网页,获取网页中我们想要的那部分数据

​爬虫是网络自动化的一种表现,比如一个汽车综合资讯的网站,我们想下载所以汽车品牌的所有车型资料。没有爬虫,可能就要一个一个网页点开,然后复制粘贴到文件来保存它。爬虫就可以代替人工做这一系列的事情。

​网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

​从事Python爬虫工作需要懂什么?

学习Python基础知识并实现基本的爬虫过程:一般获取数据的过程都是按照 发送请求-获得页面反馈-解析并且存储数据

这三个流程来实现的。这个过程其实就是模拟了一个人工浏览网页的过程。

Python中爬虫相关的包很多:urllib、requests、bs4、scrapy、pyspider 等,我们可以按照requests

举报

相关推荐

0 条评论