搜集百度关键词的相关网站、生成词云

光是数据不展示粗来，怎么能一目了然呢？因此今天以百度“AI”这个关键词为例子，搜集搜索结果相关网站中的网页内容，用matplotlib+wordcloud实现生成词云图。 我们首先瞧一瞧百度搜索“AI”的是什么，https://www.baidu.com/s?wd=AI，结果发现基本由Artificial Intelligence人工智能的AI、Adobe Illustrator绘图工具的AI、“爱”的拼音等其他信息构成。其中除了人工智能方面以外的信息都是需要剔除的。 因此我们主要的思路是：采集数据→筛选→统计词频→生成词云图。

前期准备

下载好 urllib、BeautifulSoup、re正则表达式、matplotlib绘图、jieba分词、wordcloud词云、PIL、numpy数据处理这几个库并引用。

初写大纲

先来写个大纲版的，只有采集数据→词云图这两个简单的步骤。

数据采集部分： 需要进入到百度搜索出的结果里，爬取其中包含AI的页面内容。

from urllib import request import urllib.parse from bs4 import BeautifulSoup import re import random import datetime def getLinks(url): html = request.urlopen(url) bsObj = BeautifulSoup(html, "html.parser") return bsObj.find("div",{"id":"bodyContent"}).findAll("a",{"href":re.compile("^(/wiki/)((?!:).)*$")}) #findAll结果是列表ResultSet #我们发现class="result-op c-container"和class="HMCpkB"等均是百度相关、广告等内容，因此剔除 random.seed(datetime.datetime.now()) url = "https://www.baidu.com/s?wd=AI" linkList = getLinks(url) while len(linkList)>0: nextLink=linkList[random.randint(0,len(linkList)-1)].attrs['href'] #href属性值只有后半段链接 print(nextLink) linkList=getLinks(nextLink)

当我们手中有了数据信息的txt文档后，便可以进行简单的词云图绘制。 绘图部分：

import matplotlib.pyplot as plt import jieba from wordcloud import WordCloud , ImageColorGenerator from PIL import Image import numpy as np txt=open(r'C:\Users\AER\Desktop\text.txt',"r",encoding="utf-8").read() cut_text=jieba.cut(txt,cut_all=False) result='/'.join(cut_text) img=Image.open(r'C:\Users\AER\Desktop\PICPIC.png') graph=np.array(Image) wc=WordCloud( font_path=r"C:\Users\AER\testgit\Study-Notes\msyh.ttc", background_color='white', max_font_size=50, mask=graph) # wc.generate(result) image_color=ImageColorGenerator(graph) wc.recolor(color_func=image_color) wc.to_file(r"C:\Users\AER\testgit\Study-Notes\5gpic.png") plt.figure("词云图") plt.imshow(wc) plt.axis("off") plt.show()

数据处理