0
点赞
收藏
分享

微信扫一扫

【Python BS4】Beautiful Soup4的使用说明

時小白 2022-03-22 阅读 54
pythonBS4

使用Beautiful Soup4从HTML源代码中提取有用的信息

简介

BeautifulSoup4（BS4）是Python的一个第三方库，用来从HTML和XML中提取数据。

BeautifulSoup4在某些方面比XPath易懂，但是不如XPath简洁，而且由于它是使用Python开发的，因此速度比XPath慢。

使用pip命令安装:pip install beautifulsoup4

安装后，切换到Python的交互窗口，输入from bs4 import BeautifulSoup,如果没有报错则说明安装成功
在这里插入图片描述

语法讲解

使用Beautiful Soup4提取HTML内容，一般要经过以下两步。

  • 处理源代码生成BeautifulSoup对象。
  • 使用find_all()或者find()来查找内容。

源代码解析

  • 解析源代码生成BeautifulSoup对象，使用以下的代码格式
    soup = BeautifulSoup(网页源代码,'解析器')
  • 这里的解析器可以写成html.parser，如果你安装了lxml，还可以写成lxml
    soup = BeautifulSoup(source, 'lxml')
soup = BeautifulSoup(source, 'html.parser')

find和find_all

find和find_all的区别就是前者会返回第一个满足条件的数据，后者返回全部满足条件的数据

查找内容

  • 查找内容的基本流程和使用XPath非常相似。首先要找到包含特殊属性值的标签，并使用这个标签来寻找内容。

  • 假设需要获取“我需要的信息2”，由于这个信息所在< li >标签的class属性的值为“test”，这个值本身就很特殊，因此可以直接通过这个值来进行定位.

    from bs4 import BeautifulSoup

source = '''
<html>
  <head>
    <title>测试</title>
  </head>
  <body>
    <div class="useful">
      <ul>
        <li class="info">我需要的信息1</li>
        <li class="test">我需要的信息2</li>
        <li class="iamstrange">我需要的信息3</li>
      </ul>
    </div>

    <div class="useless">
      <ul>
        <li class="info">垃圾1</li>
        <li class="info">垃圾2</li>
      </ul>
    </div>
  </body>
</html>
'''
soup = BeautifulSoup(source, 'lxml')
# soup = BeautifulSoup(source, 'html.parser')

info = soup.find(class_='test')
print(f'返回的数据类型是{type(info)}')
print(info.string)

    在这里插入图片描述

  • 由于HTML中的class属性与Python的class关键字相同，因此为了不产生冲突，BS4规定，如果遇到要查询class的情况，使用“class_”来代替。在查询HTML代码时，class属性的属性值为“test”的标签，得到find()方法返回的BeautifulSoupTag对象。可以直接通过.string属性就可以读出标签中的文字信息。

  • 如果需要获取useful下的全部数据，先抓大再抓小依旧有效

    useful = soup.find(class_='useful')
all_content = useful.find_all('li')
for li in all_content:
    print(li.string)

    在这里插入图片描述

  • 找到以我需要开头的信息

    content = soup.find_all(text=re.compile('我需要'))
for each in content:
    print(each.string)

  • 对属性值的搜索也可以使用正则

    content = soup.find_all(class_=re.compile('iam'))
for each in content:
    print(each.string)

  • 除了获取标签里面的文本外，BS4也可以获取标签里面的属性值。如果想获取某个属性值，可以将BeautifulSoup Tag对象看成字典，将属性名当作Key,返回的结果为列表

    useful = soup.find(class_='useful')
all_content = useful.find_all('li')
for li in all_content:
    print(li['class'])

    在这里插入图片描述

跳转顶部

select

select的功能跟find和find_all 一样用来选取特定的标签，它的选取规则依赖于css，我们把它叫做css选择器

通过标签查找，返回含有此标签的语句会按照列表的形式返回

li_list = soup.select('li')
print(li_list)

在这里插入图片描述

通过类名来查找

class_test = soup.select('.test')
print(class_test)

在这里插入图片描述

通过id名查找

我们将上面的HTML代码稍作修改

<html>
  <head>
    <title>测试</title>
  </head>
  <body>
    <div class="useful">
      <ul>
        <li class="info">我需要的信息1</li>
        <li class="test">我需要的信息2</li>
        <li class="iamstrange">我需要的信息3</li>
      </ul>
    </div>

    <div class="useless">
      <ul>
        <li class="id">垃圾1</li>
        <li class="id">垃圾2</li>
      </ul>
    </div>
  </body>
</html>

id_info1 = soup.select('#info1')

在这里插入图片描述

组合查找

  • 组合查找，即是可以把标签名和类名、标签名和id名组合，但是中间要用空格隔开，组合查找，先查找满足标签的语句，再接着查找该语句下满足类名或者id的语句

    li_class = soup.select('ul .test')
print(li_class)
li_id = soup.select('ul #info1')
print(li_id)

    在这里插入图片描述

子标签查找

div_ul_li = soup.select('div > ul > li')
div_ul_li_id_info1 = soup.select('div > ul #info1')
print(div_ul_li)
print(div_ul_li_id_info1)

在这里插入图片描述

属性查找

  • 查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。
    data = soup.select('ul li[class="test"]')
print(data)
    在这里插入图片描述

跳转顶部

练习

使用BS4

使用BS4来爬取豆瓣的电影信息
爬取的网站地址:豆瓣电源排行

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
    }

先找到自己的User-Agent,方法如下
首先打开百度界面，然后按F12，然后选择network
在这里插入图片描述
这时刷新一下页面,然后找到百度的网址，点击
在这里插入图片描述
最下方就是自己的User-Agent
在这里插入图片描述

    page_text = requests.get(url=url, headers=headers).text
    # 使用BS4
    soup = BeautifulSoup(page_text, 'lxml')

获取网页的原码和创建BS4

    movie = soup.select('#content > div > div.article > div > div > table')

找到每个电影的位置，方式如下

在这里插入图片描述

    for m in movie:
        data['movie_name'] = m.select('tr > td:nth-child(2) > div > a')[0].get_text().strip().replace(
            "\n                        ", "")
        data['rating_nums'] = m.select('.rating_nums')[0].get_text()

取出需要的数据

在这里插入图片描述

import requests
import lxml.html
from bs4 import BeautifulSoup

if __name__ == '__main__':
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
    }
    url = 'https://movie.douban.com/chart'
    page_text = requests.get(url=url, headers=headers).text
    # 使用BS4
    soup = BeautifulSoup(page_text, 'lxml')
    # 得到所有movie
    movie = soup.select('#content > div > div.article > div > div > table')
    data = {}
    for m in movie:
        data['movie_name'] = m.select('tr > td:nth-child(2) > div > a')[0].get_text().strip().replace(
            "\n                        ", "")
        data['rating_nums'] = m.select('.rating_nums')[0].get_text()
        print(data)

跳转顶部

使用XPath

和上面的大致一样，就不分析

import requests
import lxml.html
from bs4 import BeautifulSoup

if __name__ == '__main__':
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
    }
    url = 'https://movie.douban.com/chart'
    page_text = requests.get(url=url, headers=headers).text
    # 使用XPath
    selector = lxml.html.fromstring(page_text)
    # 得到所有movie
    movie = selector.xpath('//*[@id="content"]/div/div[1]/div/div/table')
    data = {}
    for m in movie:
        data['movie_name'] = m.xpath('./tr/td[2]/div/a/text()')[0].strip().replace(
            "\n                        ", "")
        data['rating_nums'] = m.xpath('./tr/td[2]/div/div/span[2]/text()')[0]
        print(data)

在这里插入图片描述

跳转顶部

举报

相关推荐

【Python 库】bs4的使用

选择器html字符串Linux系统/运维

bs4的BeautifulSoup使用

python开发语言

bs4实战

python

02 python爬虫-bs4

html下载图片bc代码人生

bs4 in BeautifulSoup:2

python

Python之xpath、JsonPath、bs4基本使用

python开发语言jsonhtmlxml系统/运维

No module named ‘bs4‘解决

python网络爬虫

Python爬虫bs4工具的基本使用及分析

python爬虫开发语言xml解析器jQuery前端开发

Python的Bs4解析库的学习与使用

数据pythonhtmlJava编程语言

爬虫之bs4学习

选择器xmlhtmlPython编程语言
0 条评论