0
点赞
收藏
分享

微信扫一扫

20-python中使用Selenium自动化框架

Aliven888 2022-03-14 阅读 78


​selenium​​ 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。

通过编写模仿用户操作的 Selenium 脚本,​可以从终端用户的角度驱动浏览器执行特定的动作​,这个特性对我们爬取由 JavaScript 动态渲染的页面是非常友好的。

因为由 JavaScript 动态渲染的页面,这种页面上的 JavaScript 通常经过了编译打包,看到的都是简码,非常难以阅读。

一、Selenium基础

官方文档:https://selenium.dev/selenium/docs/api/py/api.html

20-python中使用Selenium自动化框架_selenium

Selenium自动化测试工具:可以驱动浏览器执行特定的动作(例如:点击、下拉等)。​​同时还可以获取浏览器当前呈现的页面的源代码​​。

1.安装Selenium

pip install selenium

常用包导入:

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time

2.安装谷歌浏览器及ChromeDriver

ChromeDriver镜像网站:http://npm.taobao.org/mirrors/chromedriver/​[1]


ChromeDriver安装步骤:①下载chromedriver.exe(注意浏览器版本保持一致) ②将chromedriver.exe配置到系统环境变量​​Path​​(建议直接拷贝的python的安装目录Scripts目录下)


20-python中使用Selenium自动化框架_javascript_02

20-python中使用Selenium自动化框架_css_03

先写一点简单的小功能演示一下(浏览器自动打开百度搜索"曾庆林"):

from selenium import webdriver
from selenium.webdriver.common.keys import Keys


browser = webdriver.Chrome()
# 获取谷歌浏览器
browser.get('https://www.baidu.com')
# 打开百度
input = browser.find_element_by_id('kw')
# 找到id为kw的搜索框
input.send_keys('曾庆林')
# 设置搜索文本
input.send_keys(Keys.ENTER)
# 发送回车键
print(browser.current_url)
# 获取浏览器的当前地址
print(browser.get_cookies())
# 获取浏览器页面cookie
print(browser.page_source)
# 获取浏览器页面源文件

代码执行结果20-python中使用Selenium自动化框架_javascript_04

3.创建浏览器对象

from selenium import webdriver
browser = webdriver.Chrome()

或者使用PhantomJS(基于Webkit的“无界面”(headless)浏览器)

browser = webdriver.PhantomJS()

4.加载网页

browser.get(url)

二、浏览器操作

1.加载网页

browser.get(url)

2.执行js

browser.execute_script(js代码串)

3.截图

browser.save_screenshot("文件名.png")

4.前进与后退

# 页面后退
browser.back()
# 页面前进
browser.forward()

5.标签页切换

browser.switch_to.window(browser.window_handles[下标])

6.关闭

# 关闭当前标签页或窗口
browser.close()
# 关闭所有标签页或窗口
browser.quit()

三、节点选取

1.单节点选取

browser.find_element_by_id('kw')                # 原生语法
browser.find_element_by_css_selector('#kw') # CSS语法
browser.find_element_by_xpath("//*[@id='kw']") # XPath语法

以上三种方法获取的元素类型都是WebElement类型。以下两种方法等效:

browser.find_element_by_id('kw')
browser.find_element(By.ID, 'kw')

2.多节点选取

与单节点选取相似,将element改为elements即可。

browser.find_elements_by_id()
browser.find_elements_by_name()
browser.find_elements_by_tag_name()
browser.find_elements_by_class_name()
browser.find_elements_by_xpath()
browser.find_elements_by_css_selector()
browser.find_elements_by_link_text()
browser.find_elements_by_partial_link_text()

3.页面源代码获取

browser.page_source

四、提取节点数据

语法

数据

element.get_attribute(属性名)

获取节点属性值

element.text

获取节点文本内容

element.id

获取节点ID

element.location

获取节点位置

element.tag_name

获取节点标签

element.size

获取节点大小

五、动作

1.获取节点

•直接方法

element = browser.find_element_by_XXX(value)

•使用By类型(需要导入By)

from selenium.webdriver.common.by import By
element = browser.find_element(By.ID, value)

2.对节点元素的操作

动作

描述

element.click()

单击

element.submit()

提交

element.send_keys(data)

向可输入元素输入数据

element.clear()

清空可输入元素中的数据

六、动作链

用来模拟鼠标拖拽、鼠标按键等操作。

1.创建动作链对象

from selenium.webdriver import ActionChains
actions = ActionChains(browser)

2.动作

(1)鼠标操作

动作

描述

actions.click(on_element)

单击

actions.double_click(on_element)

双击

actions.context_click(on_element)

右键点击

actions.click_and_hold(on_element)

点击不放

actions.drag_and_drop(source, target)

拖放

actions.drag_and_drop_by_offset(source, target, xoffset, yoffset)

拖动至元素相对位置

actions.move_by_offset(xoffset, yoffset)

移动光标

actions.move_to_element(to_element)

移动光标至元素

actions.move_to_element_with_offset(to_element, xoffset, yoffset)

移动光标至元素相对位置

(2)键盘操作

动作

描述

actions.send_keys(data)

向当前焦点元素发送信息

actions.send_keys_to_element(element, data)

向元素发送信息

actions.key_down(value, element)

按下按键

actions.key_up(value, element)

释放按键

3.执行动作链

actions.perform()

七、延时等待

1.固定等待(强制等待)

等待固定的时间,不管页面的加载情况。

time.sleep(秒数)

2.隐式等待

页面加载完成或者超时执行下一步。

browser.implicitly_wait(time_to_wait)

3.显示等待

条件成立才执行下一步,超时则会抛出TimeoutException异常。

from selenium.webdriver.support import expected_conditions as EC
wait = WebDriverWait(browser, timeout)
element = wait.until(EC.条件)

4.等待条件

等待的条件

含义

title_is

标题是某内容

title_contains

标题包含某内容

presence_of_element_located

节点加载出来,需要传入定位元组(例如:(By.ID, 'q'))

visibility_of_element_located

节点课件,传入定位元组

visibility_of

传入的节点对象可见

presence_of_all_elements_located

所有节点可见

text_to_be_present_in_element

某个节点包含某文字

element_to_be_clickable

节点可被点击

staleness_of

判断一个节点是否仍在DOM中,可以判断页面是否被刷新过

alert_is_present

判断警告框是否弹出

八、cookie操作

1.获取cookie

browser.get_cookies()

2.添加cookie

browser.add_cookie({"name": 名称, "value": 值})

3.删除cookie

browser.delete_cookie(name)
browser.delete_all_cookies()

参考:https://www.jianshu.com/p/a36f92f74e75

IT入门 感谢关注 | 练习地址:www.520mg.com/it​

《0基础python爬虫系列教程》

​​01为什么要学习爬虫​​

​​02-认识python爬虫​​

​​03-爬虫基本原理​​

​​04-爬虫利器Fiddler​​

​​05-HTTP协议​​

​​06-爬虫库urllib​​

​​07-TCP3​​

​​08-页面解析之数据提取​​

​​09-XPath 语言​​

​​10-lxml库​​

​​11-Beautiful Soup​​

​​12-正则表达式​​

​​13-python爬虫JSON操作​​

​​14-Python 读写 Excel​​

​​15-python爬取百度贴吧​​

​​16-python之Requests库​​

​​17-python找女神什么感觉!​​

​​18-pymysql操作mysql​​

​​19-爬虫解析利器pyquery详解​​



20-python中使用Selenium自动化框架_python_05

IT入门 感谢关注



一学就会 Python入门教程 →

程序员用的单词表→

练习地址:www.520mg.com/it



举报

相关推荐

0 条评论