beautiful soup 是一个用来从html或xml文件中提取数据的python库，它利用大家所喜欢的解析器提供了许多惯用方法用来对文档树进行导航、查找和修改。
帮助文档英文版：https://www.crummy.com/software/beautifulsoup/bs4/doc/
帮助文档中文版：https://www.crummy.com/software/beautifulsoup/bs4/doc.zh/
入门示例
以下是电影《爱丽丝梦游仙境》中的一段html内容：
我们以此为例，对如何使用beautifulsoup解析html页面内容进行简单入门示例：
解析器
beautiful soup除了支持python标准库中的html解析器外，还支持一些第三方的解析器，其中一个就是 lxml 。
下表列出了主要的解析器，以及它们的优缺点：
|
解析器 |
使用方法 |
优势 |
劣势 |
|
python标准库 |
beautifulsoup(markup, "html.parser") |
python的内置标准库 执行速度适中 文档容错能力强 |
python 2.7.3 or 3.2.2)前 的版本中文档容错能力差 |
|
lxml html 解析器 |
beautifulsoup(markup, "lxml") |
速度快 文档容错能力强 |
需要安装c语言库 |
|
lxml xml 解析器 |
beautifulsoup(markup, ["lxml", "xml"]) beautifulsoup(markup, "xml") |
速度快 唯一支持xml的解析器 |
需要安装c语言库 |
|
html5lib |
beautifulsoup(markup, "html5lib") |
最好的容错性 以浏览器的方式解析文档 生成html5格式的文档 |
速度慢 不依赖外部扩展 |
推荐使用lxml作为解析器，因为效率更高。 在python2.7.3之前的版本和python3中3.2.2之前的版本，必须安装lxml或html5lib， 因为那些python版本的标准库中内置的html解析方法不够稳定。
注意： 如果一段html或xml文档格式不正确的话，那么在不同的解析器中返回的结果可能是不一样的。
解析器之间的区别
beautiful soup为不同的解析器提供了相同的接口，但解析器本身是有区别的，同一篇文档被不同的解析器解析后可能会生成不同结构的树型文档，区别最大的是html解析器和xml解析器，看下面片段被解析成html结构：
因为空标签<b/>不符合html标准，所以解析器把它解析成<b></b>。
同样的文档使用xml解析如下(解析xml需要安装lxml库)。注意，空标签<b/>依然被保留，并且文档前添加了xml头，而不是被包含在<html>标签内：
html解析器之间也有区别，如果被解析的html文档是标准格式，那么解析器之间没有任何差别，只是解析速度不同，结果都会返回正确的文档树。
但是如果被解析文档不是标准格式，那么不同的解析器返回结果可能不同。下面例子中，使用lxml解析错误格式的文档，结果</p>标签被直接忽略掉了：
使用html5lib库解析相同文档会得到不同的结果：
html5lib库没有忽略掉</p>标签，而是自动补全了标签，还给文档树添加了<head>标签。
使用pyhton内置库解析结果如下:
与lxml 库类似的，python内置库忽略掉了</p>标签，与html5lib库不同的是标准库没有尝试创建符合标准的文档格式或将文档片段包含在<body>标签内，与lxml不同的是标准库甚至连<html>标签都没有尝试去添加。
因为文档片段“<a></p>”是错误格式，所以以上解析方式都能算作”正确”，html5lib库使用的是html5的部分标准，所以最接近”正确”，不过所有解析器的结构都能够被认为是”正常”的。
不同的解析器可能影响代码执行结果，如果在分发给别人的代码中使用了 beautifulsoup ，那么最好注明使用了哪种解析器，以减少不必要的麻烦。
创建文档对象
将一段文档传入beautifulsoup 的构造方法，就能得到一个文档的对象， 可以传入一段字符串或一个文件句柄。
首先，文档被转换成unicode，并且html的实例都被转换成unicode编码。
然后，beautiful soup选择最合适的解析器来解析这段文档，如果手动指定解析器那么beautiful soup会选择指定的解析器来解析文档。
对象的种类
beautiful soup将复杂html文档转换成一个复杂的树形结构，每个节点都是python对象，所有对象可以归纳为4种：tag 、navigablestring、 beautifulsoup、comment 。
tag
tag 对象与xml或html原生文档中的tag相同：
可遍历字符串
字符串常被包含在tag内，beautiful soup用 navigablestring 类来包装tag中的字符串：
beautifulsoup
beautifulsoup 对象表示的是一个文档的全部内容，大部分时候，可以把它当作 tag 对象，它支持 遍历文档树 和 搜索文档树 中描述的大部分的方法。
因为 beautifulsoup 对象并不是真正的html或xml的tag，所以它没有name和attribute属性。但有时查看它的 .name 属性是很方便的，所以 beautifulsoup 对象包含了一个值为 “[document]” 的特殊属性 .name 。
注释及特殊字符串
tag、navigablestring、beautifulsoup 几乎覆盖了html和xml中的所有内容，但是还有一些特殊对象，容易让人担心的内容是文档的注释部分：
comment 对象是一个特殊类型的 navigablestring 对象：
但是当它出现在html文档中时， comment 对象会使用特殊的格式输出：
beautiful soup中定义的其它类型都可能会出现在xml的文档中： cdata，processinginstruction， declaration，doctype。与 comment 对象类似。这些类都是 navigablestring 的子类，只是添加了一些额外的方法的字符串独享。下面是用cdata来替代注释的例子：
子节点
一个tag可能包含多个字符串或其它的tag，这些都是这个tag的子节点。beautiful soup提供了许多操作和遍历子节点的属性。
注意： beautiful soup中字符串节点不支持这些属性,因为字符串没有子节点。
继续拿上面的《爱丽丝梦游仙境》的文档来做示例：
注意：如果tag包含了多个子节点，tag就无法确定 .string 方法应该调用哪个子节点的内容， .string 的输出结果是 none 。
父节点
每个tag或字符串都有父节点，还是以上面的《爱丽丝梦游仙境》的文档来举例：
兄弟节点
为了示例如何使用beautifulsoup来查找兄弟节点，需要对上例中的《爱丽丝梦游仙境》文档进行修改，删掉一些换行符、字符串和标签。具体示例代码如下：
注意：标签之间包含的字符串、字符或者换行符等内容均会被看作节点。
回退和前进
继续用上一章节《兄弟节点》中的html文档进行回退和前进示例：
搜索文档树
beautiful soup定义了很多搜索方法，这里着重对 find_all() 的用法进行举例。
到此这篇关于使用beautifulsoup4解析xml的方法小结的文章就介绍到这了,更多相关beautifulsoup4解析xml内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！
