Python Requests 丨爬虫基础入门

目录

​​⚽️  一、背景知识：requests​​

​​🏀  1、pip安装requests​​

🏈​​  2、pycharm安装requests​​

⚾️  ​​3、一行代码使用requests​​

🎾  ​​4、requests常用调用（get、post）​​

🏐  ​​5、requests返回参数​​

​​🕷 二、蜘蛛的背景知识​​

🏉  ​​1、蜘蛛的应用场景​​

🎱  ​​2、动态ip的好​​

​​🏆  三、代理ip​​

​​⛸  1、生成代理api​​

​​🏇  2、api生成代理ip​​

​​🚴  3、测试代理ip​​

​​🎿  四、代理访问​​

​​❤ 文末福利丨包邮送书 ❤​​

​​🍅 1、三连送书​​

​​🍅 2、资料白嫖​​

🍅 联系作者：​​ 不吃西红柿 ​​

很多人看西红柿的博客，花里胡哨的不知道从何学起，为了广大人民群众的根本利益，我决定写一个阅读指引，按照这个指引进行学习，多加练习，假以时日，势必能够……算了，还是看你自己能学多少以及能够坚持到哪里了。加油！少年！毕竟收藏 = 学会

一、背景知识：requests

欲练此功、必须先了解背景知识。python之所以强大，一个重要的原因就是，拿来即用的代码库丰富！

Python内置的urllib模块，用于访问网络资源。但是，它用起来比较麻烦，也缺少很多实用的高级功能。

更好的方案是使用requests

• get方法
• post方法
• header参数，模拟用户
• data参数，提交数据
• proxies参数，使用代理

1、pip安装requests

pip install requests

2、pycharm安装requests

举一反四，其它包的安装方法类似！

​

​

3、示例：一行代码使用requests

导入 Requests 模块：

import requests

然后，尝试获取某个网页。本例子中，我们来获取 Github 的公共时间线：

r = requests.get('https://api.github.com/events')

4、requests常用调用（get、post）

• GET 变量接受所有以 get 方式发送的请求，及浏览器地址栏中的 ?之后的内容。
• POST 变量接受所有以 post 方式发送的请求，例如，一个 form 以 method=post 提交
• REQUEST 支持两种方式发送过来的请求，即 post 和 get 它都可以接受，显示不显示要看传递方法，get 会显示在 url 中（有字符数限制），post 不会在 url 中显示，可以传递任意多的数据（只要服务器支持）。

5、requests返回参数

• r.status_code HTTP请求的返回状态，200表示连接成功，404表示失败
• r.text HTTP响应内容的字符串形式，即url对应的页面内容
• r.encoding 从HTTP header中猜测的响应内容编码方式(
• r.apparent_encoding 从内容中分析出的响应内容编码方式（备选编码方式）
• r.content HTTP响应内容的二进制形式

🕷 二、蜘蛛的背景知识

1、蜘蛛的应用场景

玩python的小伙伴，相信都听过蜘蛛🕷吧，他有以下10个方面的妙用，本文中，西红柿🍅将带领大家玩一下。

​

2、动态ip的好

为什么要使用动态住宅IP？

真正的住宅IP地址，这意味着在您请求访问时被阻止的可能性较小并且成功率更高。

• 无限并发
• IP可用率＞98%
• API调用频率：1秒
• HTTP、HTTPS和SOCKS5 协议

三、代理ip

我使用的是代理ip网站，可以白嫖50M流量：

​​http://www.ipidea.net/?utm-source=csdn_bcxhx&utm-keyword=?csdn_bcxhx ​​

1、生成代理api

​

​

到此，你拿到了代理ip的api链接，记得复制保存，等下要用。

如果你访问这个api链接，会发现你拿到了ip和端口。

2、api生成代理ip

def get_proxie(self, api_url):
        # 微信搜：信息技术智库，回复'源码'
        user_agent = 'Mozilla/5.0 (Linux; Android 10; EVR-AL00 Build/HUAWEIEVR-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/74.0.3729.186 Mobile Safari/537.36 baiduboxapp/11.0.5.12 (Baidu; P1 10)'
        headers = {
            'User-Agent': user_agent}
        res = requests.post(api_url,headers=headers, verify=True)
        proxie = "https://%s"%(res.text)
        proxies = {'http': proxie}
        is_valid, proxies = visitor.proxie_check(proxies)
        return is_valid, proxies

3、测试代理ip

def proxie_check(self, proxies):
        user_agent = 'Mozilla/5.0 (Linux; Android 10; EVR-AL00 Build/HUAWEIEVR-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/74.0.3729.186 Mobile Safari/537.36 baiduboxapp/11.0.5.12 (Baidu; P1 10)'
        headers = {'User-Agent': user_agent}
        res = requests.get("javascript:void(0)", headers=headers, proxies=proxies)
        is_valid = 0
        if res.status_code == 200 and "msg" not in str(proxies):
            is_valid = 1
        return is_valid, proxies

四、代理访问

在上一步中，我们拿到了代理ip。 西红柿使用的是ipidea： ​​ 可白嫖50M流量 ​​

当然，你如果还有其他方法，欢迎架微notomoto 进Python裙交流。

代码解释：

• url为访问的地址
• proxies=proxie 为使用代理

class Visitor(object):
    def __init__(self):
        """Inits Visitor with blah."""
        self.eggs = 0

    @time_decorator
    def proxie_visit(self, proxie ,url):
        user_agent_list = [
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
            'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
            'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
            'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
            'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)',
            'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)',
            'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
            'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
            'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)',
            'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0',
            'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
        ]
        # 随机挑选一个 user_agent
        user_agent = random.choice(user_agent_list)
        Referer= 'https://www.baidu.com/'   # 伪装成从baidu
        headers = {
            'Referer': Referer,
            'User-Agent': user_agent}
        # visit
        res = requests.get(url, headers=headers, proxies=proxie)
        return res.text