0
点赞
收藏
分享

微信扫一扫

【Python BS4】Beautiful Soup4的使用说明

時小白 2022-03-22 阅读 54
pythonBS4

使用Beautiful Soup4从HTML源代码中提取有用的信息

简介

BeautifulSoup4(BS4)Python的一个第三方库,用来从HTMLXML中提取数据。

BeautifulSoup4在某些方面比XPath易懂,但是不如XPath简洁,而且由于它是使用Python开发的,因此速度比XPath慢。

使用pip命令安装:pip install beautifulsoup4

安装后,切换到Python的交互窗口,输入from bs4 import BeautifulSoup,如果没有报错则说明安装成功
在这里插入图片描述

语法讲解

使用Beautiful Soup4提取HTML内容,一般要经过以下两步。

  • 处理源代码生成BeautifulSoup对象。
  • 使用find_all()或者find()来查找内容。

源代码解析

  • 解析源代码生成BeautifulSoup对象,使用以下的代码格式
    soup = BeautifulSoup(网页源代码,'解析器')
    
  • 这里的解析器可以写成html.parser,如果你安装了lxml,还可以写成lxml
    soup = BeautifulSoup(source, 'lxml')
    soup = BeautifulSoup(source, 'html.parser')
    

find和find_all

findfind_all的区别就是前者会返回第一个满足条件的数据,后者返回全部满足条件的数据

查找内容

  • 查找内容的基本流程和使用XPath非常相似。首先要找到包含特殊属性值的标签,并使用这个标签来寻找内容。

  • 假设需要获取“我需要的信息2”,由于这个信息所在< li >标签的class属性的值为“test”,这个值本身就很特殊,因此可以直接通过这个值来进行定位.

    from bs4 import BeautifulSoup
    
    source = '''
    <html>
      <head>
        <title>测试</title>
      </head>
      <body>
        <div class="useful">
          <ul>
            <li class="info">我需要的信息1</li>
            <li class="test">我需要的信息2</li>
            <li class="iamstrange">我需要的信息3</li>
          </ul>
        </div>
    
        <div class="useless">
          <ul>
            <li class="info">垃圾1</li>
            <li class="info">垃圾2</li>
          </ul>
        </div>
      </body>
    </html>
    '''
    soup = BeautifulSoup(source, 'lxml')
    # soup = BeautifulSoup(source, 'html.parser')
    
    info = soup.find(class_='test')
    print(f'返回的数据类型是{type(info)}')
    print(info.string)
    

    在这里插入图片描述

  • 由于HTML中的class属性与Pythonclass关键字相同,因此为了不产生冲突,BS4规定,如果遇到要查询class的情况,使用“class_”来代替。在查询HTML代码时,class属性的属性值为“test”的标签,得到find()方法返回的BeautifulSoupTag对象。可以直接通过.string属性就可以读出标签中的文字信息。

  • 如果需要获取useful下的全部数据,先抓大再抓小依旧有效

    useful = soup.find(class_='useful')
    all_content = useful.find_all('li')
    for li in all_content:
        print(li.string)
    

    在这里插入图片描述

  • 找到以我需要开头的信息

    content = soup.find_all(text=re.compile('我需要'))
    for each in content:
        print(each.string)
    
  • 对属性值的搜索也可以使用正则

    content = soup.find_all(class_=re.compile('iam'))
    for each in content:
        print(each.string)
    
  • 除了获取标签里面的文本外,BS4也可以获取标签里面的属性值。如果想获取某个属性值,可以将BeautifulSoup Tag对象看成字典,将属性名当作Key,返回的结果为列表

    useful = soup.find(class_='useful')
    all_content = useful.find_all('li')
    for li in all_content:
        print(li['class'])
    

    在这里插入图片描述

跳转顶部


select

select的功能跟findfind_all 一样用来选取特定的标签,它的选取规则依赖于css,我们把它叫做css选择器

通过标签查找,返回含有此标签的语句会按照列表的形式返回

li_list = soup.select('li')
print(li_list)

在这里插入图片描述


通过类名来查找

class_test = soup.select('.test')
print(class_test)

在这里插入图片描述


通过id名查找

我们将上面的HTML代码稍作修改

<html>
  <head>
    <title>测试</title>
  </head>
  <body>
    <div class="useful">
      <ul>
        <li class="info">我需要的信息1</li>
        <li class="test">我需要的信息2</li>
        <li class="iamstrange">我需要的信息3</li>
      </ul>
    </div>

    <div class="useless">
      <ul>
        <li class="id">垃圾1</li>
        <li class="id">垃圾2</li>
      </ul>
    </div>
  </body>
</html>
id_info1 = soup.select('#info1')

在这里插入图片描述


组合查找

  • 组合查找,即是可以把标签名和类名、标签名和id名组合,但是中间要用空格隔开,组合查找,先查找满足标签的语句,再接着查找该语句下满足类名或者id的语句

    li_class = soup.select('ul .test')
    print(li_class)
    li_id = soup.select('ul #info1')
    print(li_id)
    

    在这里插入图片描述


子标签查找

div_ul_li = soup.select('div > ul > li')
div_ul_li_id_info1 = soup.select('div > ul #info1')
print(div_ul_li)
print(div_ul_li_id_info1)

在这里插入图片描述


属性查找

  • 查找时还可以加入属性元素,属性需要用中括号括起来,注意属性和标签属于同一节点,所以中间不能加空格,否则会无法匹配到。
    data = soup.select('ul li[class="test"]')
    print(data)
    
    在这里插入图片描述

跳转顶部


练习

使用BS4

使用BS4来爬取豆瓣的电影信息
爬取的网站地址:豆瓣电源排行

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
    }

先找到自己的User-Agent,方法如下
首先打开百度界面,然后按F12,然后选择network
在这里插入图片描述
这时刷新一下页面,然后找到百度的网址,点击
在这里插入图片描述
最下方就是自己的User-Agent
在这里插入图片描述

    page_text = requests.get(url=url, headers=headers).text
    # 使用BS4
    soup = BeautifulSoup(page_text, 'lxml')

获取网页的原码和创建BS4

    movie = soup.select('#content > div > div.article > div > div > table')

找到每个电影的位置,方式如下

在这里插入图片描述

    for m in movie:
        data['movie_name'] = m.select('tr > td:nth-child(2) > div > a')[0].get_text().strip().replace(
            "\n                        ", "")
        data['rating_nums'] = m.select('.rating_nums')[0].get_text()

取出需要的数据

在这里插入图片描述

import requests
import lxml.html
from bs4 import BeautifulSoup

if __name__ == '__main__':
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
    }
    url = 'https://movie.douban.com/chart'
    page_text = requests.get(url=url, headers=headers).text
    # 使用BS4
    soup = BeautifulSoup(page_text, 'lxml')
    # 得到所有movie
    movie = soup.select('#content > div > div.article > div > div > table')
    data = {}
    for m in movie:
        data['movie_name'] = m.select('tr > td:nth-child(2) > div > a')[0].get_text().strip().replace(
            "\n                        ", "")
        data['rating_nums'] = m.select('.rating_nums')[0].get_text()
        print(data)

跳转顶部


使用XPath

和上面的大致一样,就不分析

import requests
import lxml.html
from bs4 import BeautifulSoup

if __name__ == '__main__':
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
    }
    url = 'https://movie.douban.com/chart'
    page_text = requests.get(url=url, headers=headers).text
    # 使用XPath
    selector = lxml.html.fromstring(page_text)
    # 得到所有movie
    movie = selector.xpath('//*[@id="content"]/div/div[1]/div/div/table')
    data = {}
    for m in movie:
        data['movie_name'] = m.xpath('./tr/td[2]/div/a/text()')[0].strip().replace(
            "\n                        ", "")
        data['rating_nums'] = m.xpath('./tr/td[2]/div/div/span[2]/text()')[0]
        print(data)

在这里插入图片描述

跳转顶部


举报

相关推荐

0 条评论