BeautifulSoup4精华笔记

有些事你发狠你就能牛逼,大部分事你怀着希望赌上命都没用。

前言

    在爬虫中Bs4是一个非常方便的库,运用这个库可以节省大量的正则匹配代码,并且代码更加简单阅读,方便后期维护爬虫框架,这篇文章是我对Bs4常用的语句总结,记载下来防止遗忘。

代码块和常用功能

import sys
import re
from bs4 import BeautifulSoup as bs
import lxml
reload(sys)
sys.setdefaultencoding('utf-8')


bp = bs(html,’lxml’)

输出标题

print bp.name

输出页面返回的内容体

print bp.text

输出页面的标题

print bp.title  //输出结果带有标题和内容
print bp.title.string  //只输出标签里面的内容

输出第一个匹配到的a标签

print bp.a  //输出的结果带有标签和内容
print bp.a.string  //输出的结果是a标签里面的内容

格式化输出

print bp.prettify()  //格式化输出

按照标签里面的变量(id,href)来匹配寻找元素

print bp.a.attrs  //输出的结果是字典,就是每个=号对应的字典  比如下面寻找标签里面id的值
print bp.a.attrs['id']  //这样就能得到id对应的链接

遍历文档树

print bp.p.contents  //只输出p标签的内容,不带有标签,返回对象是列表,可以在列表中选择[0]
print bp.body.children   //返回对象不是列表,返回所有标签的内容 ,记住是所有
for x in bp.body.children:print x

寻找所有的a标签

print bp.find_all('a') //寻找所有a标签,但是输出结果带有标签和内容   
bp.find_all(['a','b'])  //AB两个标签都寻找
for x in bp.find_all('a'):print x.string //寻找所有a标签,并且输出内容体
print bp.find_all('a',limit=3) //只要找到的内容的前面三个结果

配合正则表达式一起使用

for x in bp.find_all(re.compile('hea')):print x.string //和上面同理 string 换成name 都可以 这个只能匹配标签头
print bp.find_all(id='link2')
print bp.find_all(href=re.compile('till'))
print bp.find_all(id='link1',href=re.compile('el'))

按照标签里不同的条件来匹配

print bp.find_all('a',class_='sister') //a标签里面,并且class=sister
print bp.find_all(attrs={'id':'link3'}) //寻找内容提里面有id=link3
print bp.find_all(text=re.compile('D'))  //text是在内容寻找,不能在标签里寻找

Select 用法 返回对象是列表

寻找所有a标签的内容

print bp.select('a')

类名 class=’sister’ 其中sister就是类名

print bp.select('.sister')

按照id名称来查找

print bp.select('#link2') //id=link2

组合在一起查找 中间空格分开

print bp.select('p #link2')  //p标签里面id=link2,只输出标签里面的内容

直接用子标签查找

print bp.select('head > title') //head标签里面的title标签里面的内容
for x in bp.select('a'):print x.get_text()

报错

出现红色的:

Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.

在极少数情况下(通常当UTF-8文档包含以完全不同的编码编写的文本时),获取Unicode的唯一方法是使用特殊的Unicode字符“REPLACEMENT CHARACTER”(U + FFFD)替换某些字符。 如果是Unicode,Dammit需要这样做,它将在UnicodeDammit或BeautifulSoup对象上将.contains_replacement_characters属性设置为True。 这让您知道Unicode表示不是原始的精确表示 - 一些数据丢失。 如果文档包含 ,但是.contains_replacement_characters为False,那么您将知道 原来是存在的,并且不代表缺少的数据。

解决:

soup=BeautifulSoup(urllib.request.urlopen(url_path),""html.parser",from_encoding="iso-8859-1")

结语

    在爬虫体系里面匹配元素不可能只局限于某个模块,多个模块功能配合在一起才能达到最简便的目的。所以关于正则,bs4,pyquery,xpath这几个库的功能都要熟记于心,才能达到信手拈来的境界。

坚持原创技术分享,您的支持将鼓励我继续创作!
------ 本文结束 ------

版权声明

LangZi_Blog's by Jy Xie is licensed under a Creative Commons BY-NC-ND 4.0 International License
由浪子LangZi创作并维护的Langzi_Blog's博客采用创作共用保留署名-非商业-禁止演绎4.0国际许可证
本文首发于Langzi_Blog's 博客( http://langzi.fun ),版权所有,侵权必究。

0%