Python selenium 教程

我猜每个人的一生里都会遇见某个人,喜欢上她。有些人在合适的时间相遇,就像是在春天遇到花开,于是一切都会很好,他们会相恋、订婚、结婚、一起生活。而有些人在错误的时间相遇,就像是在冬天隔着冰看见浮上来换气的鱼,鱼换完气沉到水下去,再也看不见了,什么结果都没有,但我们能说在春天遇到花是对的,而在冬天遇到鱼是错的吗?在错误的时间遇到,就能克制自己不喜欢那个人么?是不是仍然会用尽了力气想去接近?想尽办法掩饰自己甚至伪装成另外一条鱼。

最后更新时间:

13:3159
星期三
2019年2月20日

前言

    selenium可以模拟真实浏览器,自动化测试工具,支持多种浏览器,爬虫中主要用来解决JavaScript渲染问题。本文记载的是selenium这个库常用的语句,方便复习。

基本使用方法

选择使用的浏览器类型

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time

声明使用的浏览器

browser=webdriver.Chrome() #常用的有Chrome(),PhantomJS(),Firefox() //注意大小写

访问网址

browser.get('http://www.baidu.com')//找到ID为kw的元素
input = browser.find_element_by_id('kw')//向这个元素里面发送一些键,就好像让你输入一些字符串
input.send_keys('Langzi_blog')

敲入回车

input.send_keys(Keys.ENTER)
//等待一段时间,这段时间浏览器会发送请求
wait=WebDriverWait(browser,10)#接受参数1浏览器2等待时间

等待期望的数值或者结果加载出来

wait.until(EC.presence_of_all_elements_located((By.ID,'content_left')))//等待id是content_id的页面加载出来

打印浏览器当前的网址

print browser.current_url

打印浏览器当前的Cookies

print browser.get_cookies()

打印浏览器当前网页的源代码

print browser.page_source()

关闭浏览器

browser.close()

查找元素

单个元素查找

browser.get('http://www.taobao.com')

利用id=xxx来寻找,比如寻找id=q的元素

first_input=browser.find_element_by_id('q')

利用CSS选择器,用法类似Pyquery #q

secend_input=browser.find_element_by_css_selector('#q')

利用xpath来选择元素

third_input=browser.find_element_by_xpath('//*[@id=q"]')

一个通用的方法

forth_input=browser.find_element(By.ID,'q')# 这里有By.ID,By.CSS等等
还有by_name,xpath,lint_text,tag_name,class_name,css_selector

利用浏览器元素

按F12,点击到需要点击的地方,右键,copy–>选择copy selector。然后把复制到的内容使用By.CSS_SELECTOR即可。
比如:

browser.find_element(By.CSS_SELECTOR,"#xxx你复制的内容xxx")

查找多个元素

browser.get('http://www.taobao.com')
fifth_input=browser.find_elements_by_class_name('li')
print fifth_input//返回的对象是列表,使用索引可以获取指定想要的某一个元素

浏览器交互

输入文字与回车点击

browser.get('http://www.taobao.com')

首先找到输入位置的标签

input=browser.find_element(By.ID,'q')

其次输入文字

input.send_keys('Book')

清除刚刚输入的文字

input.clear()

然后你在输入其他的文字

input.send_keys('ZhaohanEB0')

在找到浏览器页面中的点击标签

button=browser.find_element(By.CLASS_NAME,'btn-search')

点击刚刚找到的点击按钮

button.click()

把动作附加到动作链中串行执行,比如拖动某个地方(验证码中拖到最右边这种情况)

from selenium.webdriver import ActionChains
browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')//这个链接是模拟拖动的地址
browser.switch_to.frame('iframeResult')#这里相当于切换到里面的iframe
source=browser.find_element(By.CSS_SELECTOR,'.ui-draggable') //找到被拖动的那个块
target=browser.find_element(By.CSS_SELECTOR,'.ui-droppable') //找到要拖拽的目标块
actions=ActionChains(browser)
actions.drag_and_drop(source,target)
actions.perform()//在这里实现拖拽

执行JavaScript 实现进度条下拖

browser.get('https://www.zhihu.com/people/lan-yan-xiao-cang-shu/activities')
browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')

浏览器前进与后退

browser.get('http://www.langzi.fun')
browser.get('http://www.baidu.com')
browser.back() //后退
browser.forward() //前进

获取元素的属性

browser.get('http://www.langzi.fun')
input = browser.find_element(By.CSS_SELECTOR,'.fade_box')
print input.get_attribute('href') //标签里面href的值
print input.text //获取文本值

获取已经获取元素的属性,包括id,标签,大小

browser.get('http://www.langzi.fun')
input = browser.find_element(By.CSS_SELECTOR,'.fade_box')

获取id

print input.id

获取在浏览器里面的位置

print input.location

获取标签名

print input.tag_name

获取大小

print input.size

Frame的用法 相当于一个另外的网页,在主页面里切换到这个主页面里面的另一个页面

browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')//这个链接是模拟拖动的地址
browser.switch_to.frame('iframeResult')//这里相当于切换到里面的iframe,可以赋给一个新的变量然后寻找元素或者操作

等待

隐式等待,就是如果你想要找到的元素没有出现的时候等待一点时间(可以自己设置),直到那个元素出现为止

browser.implicitly_wait(10)//设置等待的时间
browser.get('http://www.langzi.fun')
print browser.find_element(By.ID,'link')

显式等待 设置一个等待时间,程序寻找元素,如果找到了就打印出来,没有找到就继续寻找,时间一到抛出异常

browser.implicitly_wait(10)//隐性等待和显性等待可以同时用,但要注意:等待的最长时间取两者之中的大者
browser.get('https://www.langzi.fun')
locator = (By.LINK_TEXT, 'CSDN')
try:
    WebDriverWait(browser, 20, 0.5).until(EC.presence_of_element_located(locator))
    print browser.find_element_by_link_text('CSDN').get_attribute('href')
finally:
     browser.close()

Cookie 当获取cookie后在调用或者编辑或者删除

browser.get('http://www.langzi.fun')
print browser.get_cookies()
browser.delete_all_cookies()

在浏览器里面在另外打开一个页面

使用JavaScript

browser.get('http://www.langzi.fun')
browser.execute_script('window.open()')
print browser.window_handles

使用代理IP

我一般是只是用chrome,首先你去这里下载chrome,然后添加到系统环境变量下载地址

第一种(好像咩用)

options = webdriver.ChromeOptions()
# 进入chrome设置模式
proxy = 'http://114.119.116.92:61066'
# 这个是一个代理IP
options.add_argument("'--proxy-server={}".format(proxy))
# 把代理IP添加到代理中
browser = webdriver.Chrome(chrome_options=options)
# 初始化浏览器
browser.get('https://langzi.fun')
# 发起请求

第二种(不带密码的)

chromeOptions = webdriver.ChromeOptions()
chromeOptions.add_argument('--proxy-server=http://ip:port')  
driver = webdriver.Chrome(chrome_options=chromeOptions)

第三种(带密码的)

# -*- coding:utf-8 -*-
import time

from selenium import webdriver

def create_proxyauth_extension(proxy_host, proxy_port,
                               proxy_username, proxy_password,
                               scheme='http', plugin_path=None):
    """Proxy Auth Extension

    args:
        proxy_host (str): domain or ip address, ie proxy.domain.com
        proxy_port (int): port
        proxy_username (str): auth username
        proxy_password (str): auth password
    kwargs:
        scheme (str): proxy scheme, default http
        plugin_path (str): absolute path of the extension

    return str -> plugin_path
    """
    import string
    import zipfile

    if plugin_path is None:
        plugin_path = 'vimm_chrome_proxyauth_plugin.zip'

    manifest_json = """
    {
        "version": "1.0.0",
        "manifest_version": 2,
        "name": "Chrome Proxy",
        "permissions": [
            "proxy",
            "tabs",
            "unlimitedStorage",
            "storage",
            "<all_urls>",
            "webRequest",
            "webRequestBlocking"
        ],
        "background": {
            "scripts": ["background.js"]
        },
        "minimum_chrome_version":"22.0.0"
    }
    """

    background_js = string.Template(
    """
    var config = {
            mode: "fixed_servers",
            rules: {
              singleProxy: {
                scheme: "${scheme}",
                host: "${host}",
                port: parseInt(${port})
              },
              bypassList: ["foobar.com"]
            }
          };

    chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});

    function callbackFn(details) {
        return {
            authCredentials: {
                username: "${username}",
                password: "${password}"
            }
        };
    }

    chrome.webRequest.onAuthRequired.addListener(
                callbackFn,
                {urls: ["<all_urls>"]},
                ['blocking']
    );
    """
    ).substitute(
        host=proxy_host,
        port=proxy_port,
        username=proxy_username,
        password=proxy_password,
        scheme=scheme,
    )
    with zipfile.ZipFile(plugin_path, 'w') as zp:
        zp.writestr("manifest.json", manifest_json)
        zp.writestr("background.js", background_js)

    return plugin_path

proxyauth_plugin_path = create_proxyauth_extension(
    proxy_host="220.176.90.95",
    proxy_port=62089,
    proxy_username="swkj",
    proxy_password="swkj"
)


co = webdriver.ChromeOptions()
co.add_argument("--start-maximized")
co.add_extension(proxyauth_plugin_path)


driver = webdriver.Chrome(chrome_options=co)
driver.get("http://www.langzi.fun")

打印当前网址

使用 current.url即可,这样可以用来判断网页是否关闭

def run():
    browser = webdriver.Chrome()
    browser.get('http://www.langzi.fun')
    while 1:
        try:
            print(browser.current_url)
            if browser.current_url:
                time.sleep(2)
            else:
                return None
        except:
            return None

判断是否有弹窗并截图

嘻嘻,猜一猜我要用这个功能干嘛~

driver = webdriver.Firefox()
driver.get('http://xxxx.com/help/searchlist.html?keyw=%E5%95%8A%E5%95%8A%E5%95%8A%E5%95%8A%E5%95%8A" onclick="confirm(1)')


print('加载完毕')
try:
    result = EC.alert_is_present()(driver)
    print(result)
    if result:
        print('存在弹窗行为')
        print('截图咯')
        driver.save_screenshot("codingpy.png")
except Exception as e:
    print(e)
print('over')

chrome过滤了xss,需要使用火狐噢,首先到官网下载firefox,然后下载geckodriver.exe就行~

但是发现selenium无法截图弹窗,我日,还是老老实实用pillow,根据弹窗判断然后截图吧,日

pillow也有个缺陷,就是如果打包成exe后,不能保存jpg的图片,只能保存为png图片

哪位大佬要是能解决这个,希望能告知小弟。

记住:如果网页弹窗,必须要使用quite方法关闭,而不能使用close噢~

忽略ssl

firefox

profile = webdriver.FirefoxProfile()

profile.accept_untrusted_certs = True

driver = webdriver.Firefox(firefox_profile = profile)

driver.get(u'url地址')

chrome

options = webdriver.ChromeOptions()

options.add_argument('--ignore-certificate-errors')

ddriver = webdriver.Chrome(chrome_options=options)

driver.get(u'url地址')

结语

    大概最常用的就这么多,其实语法还是很简单通用的,多多练习就好了。

坚持原创技术分享,您的支持将鼓励我继续创作!
------ 本文结束 ------

版权声明

LangZi_Blog's by Jy Xie is licensed under a Creative Commons BY-NC-ND 4.0 International License
由浪子LangZi创作并维护的Langzi_Blog's博客采用创作共用保留署名-非商业-禁止演绎4.0国际许可证
本文首发于Langzi_Blog's 博客( http://langzi.fun ),版权所有,侵权必究。

0%