beautifulsoup解析
python独有
优势：简单、便捷、高效
- 环境安装 需要将pip源设置为国内源
-需要安装：pip install bs4
bs4在使用时需要一个第三方库
pip install lxml
流程：核心思想：可以将html文档转换成Beautiful对象，然后调用对象属性和方法进行html指定内容的定位和查找
1.导包2.创建Beautiful对象：
如果html文档来源于本地：Beautiful('open('本地html文件)',lxml)如果html文档来源于网络：Beautiful（'网络请求到的页面数据','lxml'）3.使用方法和属性：
根据标签名查找
soup.a 只能找到第一个符合要求的标签获取属性
soup.a.attrs 获取a所有的属性和属性值，返回一个字典soup.a.attrs['href'] 获取href属性 也可以简写为 soup.a['href']获取内容
soup.a.stringsoup.a.textsoup.a.get_text() 注意：如果标签还有标签，那么string获取的结果为None，而其他两个，可以获取文本内容 -find:找到第一个符合要求的标签soup.find('a')soup.find('a',title='xxx') 类似的soup.find('a',id='xxx') -finAll 获取所有符合条件的标签soup.findAll('a')soup.findAll(['a','b']) 找到所有的a标签和b标签soup.findAll('a',limit=2) 限制取前两个根据选择器选择指定的内容 soup.select() -常见的选择器：标签选择器、类选择器（.）、id选择器(#)、层级选择器 - 层级选择器：
div .dudu #lala 空格表示下面好多级
div > p > a > .lala > 只能是下面一级 注意：select返回的永远是列表，可以通过下标提取指定的对象
练习
需求：爬取古诗文网中三国小说里的标题和内容
import requests
from bs4
import BeautifulSoup
url =
'http://www.shicimingju.com/book/sanguoyanyi.html'
# 自定义请求头信息
headers=
{
'User-Agent':
'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
page_text = requests.get(url=url,headers=
headers).text
# 数据解析
soup = BeautifulSoup(page_text,
'lxml')
li_list=soup.select(
'.book-mulu > ul > li > a')
# type(li_list[0]) bs4.element.Tag Tag类型的数据可以继续调用属性方法进行解析
f = open(
'./三国演义.txt',
'w',encoding=
'utf-8')
for li
in li_list:
title =
li.text
# print(type(title))
conten_url =
'http://www.shicimingju.com' + li.attrs[
'href']
content_page = requests.get(url=conten_url,headers=
headers).text
content_soup = BeautifulSoup(content_page,
'lxml')
content = content_soup.select(
'.chapter_content')[0]
# print(content.text)
f.write(title+content.text+
'\n\n\n')
print(title+
' 已写入')
转载于:https://www.cnblogs.com/yuliangkaiyue/p/10001783.html
