0
点赞
收藏
分享

微信扫一扫

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)


网页信息定位常用方法

1)定位单个元素(相当bs里面的find)
find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name

find_element_by_css_selector

2)定位一组元素,返回1个list(类似bs里的find_all())
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name

find_elements_by_css_selector

示例代码:

from selenium import webdriver
import time

start_time = time.time()
browser = webdriver.Chrome()
browser.get("https://book.douban.com/subject/1043815/")
print(browser)
print(type(browser))

title = browser.find_element_by_tag_name('h1').text
info = browser.find_element_by_id('info').text
score = browser.find_element_by_xpath('//*[@id="interest_sectl"]/div/div[2]/strong').text
comment = browser.find_element_by_xpath('//*[@id="interest_sectl"]/div/div[2]/div/div[2]/span/a').text

dic = {}
dic['书名'] = title
dic['其他信息'] = info.split('\n')
dic['评分'] = score
dic['评论人数'] = comment
print(dic)
end_time = time.time()
print("花费了{:.2f}秒".format(end_time-start_time))

输出:
{‘书名’: ‘骆驼祥子’, ‘其他信息’: [‘作者: 老舍’, ‘出版社: 人民文学出版社’, ‘出版年: 2000-3-1’, ‘页数: 224’, ‘定价: 12.00’, ‘装帧: 平装’, ‘ISBN: 9787020028115’], ‘评分’: ‘8.4’, ‘评论人数’: ‘134356人评价’}
花费了7.71秒

顺序方法(以下方法也是核心方法)

按xpath:find_element_by_xpath
按属性定位:find_element_by_id 或者 find_element_by_class_name
按照标签名定位:find_element_by_tag_name

需要采集链接时(a标签的href、img标签的src)
不建议用find_element_by_link_text(按照链接文本定位)
直接通过 核心方法 先识别a标签,然后通过get_attribute(href)获得链接

示例(​​骆驼祥子书籍页面​​)

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)_定位

定位元素后有哪些操作?

1)text :返回元素文本

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)_python_02


2)size:返回元素尺寸

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)_定位_03


3)get_attribute(name):获得属性值

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)_selenium_04


4)click():点击按钮(非常重要)

点击进入下一个网页

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)_网络爬虫_05


5)进入下一个网页后,brower的页面会变化,可以用.current_url查看现有url

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)_豆瓣读书_06


6)find_…:继续识别

这里用了find_elements_by_tag_name(‘span’)来寻找一组元素

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)_python_07

定位单个元素

案例网址:https://book.douban.com/subject/1043815/
1) 按照id属性定位:find_element_by_id
返回匹配id属性名的 第一个元素 。如果没有元素具有匹配的类属性名,则会报错NoSuchElementException
网页中大部分情况,id是唯一的

示例

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)_python_08


2) 按照class属性定位:find_element_by_class_name

返回匹配class属性名的 第一个元素 。如果没有元素具有匹配的类属性名,则会报错NoSuchElementException示例

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)_selenium_09


3)通过tag name定位元素:find_element_by_tag_name

返回带有给定tag name的 第一个元素 。如果没有元素具有匹配的标记名,则会报错NoSuchElementException示例

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)_python_10


4) 按照xpath定位 - 核心

当没有定位的元素拥有合适的id或name属性时,可以使用XPath

xpath在浏览器中右键获取

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)_selenium_11


示例

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)_定位_12


5)定位多个元素

①通过属性的共同特征寻找:find_elements_by_class_name

案例网址:https://book.douban.com/subject_search?search_text=%E6%95%B0%E6%8D%AE&cat=1001

该网址用bs无法识别示例

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)_python_13


② 通过标签的共同特征寻找:find_elements_by_tag_name

案例网址:https://book.douban.com/tag/%E6%BC%AB%E7%94%BB?start=20&type=T示例

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)_网络爬虫_14


③ 通过单个元素定位 + 循环迭代xpath获取一组元素

案例与②相同示例

【python爬虫专项(22)】利用Selenium获取网页信息(以爬取骆驼祥子数据为例)_网络爬虫_15


举报

相关推荐

0 条评论