机器学习实战（代码部分）-- 朴素贝叶斯之垃圾邮件过滤（Ⅰ 准备数据：切分文本）

使用朴素贝叶斯进行垃圾邮件过滤的算法思想：

(1) 收集数据：提供文本文件。 (2) 准备数据：将文本文件解析成词条向量。 (3) 分析数据：检查词条确保解析的正确性。 (4) 训练算法：使用我们之前建立的trainNB0()函数。 (5) 测试算法：使用classifyNB()，并且构建一个新的测试函数来计算文档集的错误率。 (6) 使用算法：构建一个完整的程序对一组文档进行分类，将错分的文档输出到屏幕上。

 

准备数据：切分文本

从文本文档中构建自己的词列表。

（1）若使用split方法切割文本：

if __name__ == "__main__": str = "Good morning, my friends!!!" print(str.split()) # ['Good', 'morning,', 'my', 'friends!!!']

可以切分出所有词，但是标点符号也被当成词的一部分。

（2）使用正则表达式切分：

import re ''' 从字符串中提取出文本种的所有单词 输入参数： str：要切分的文本 返回值： 文本中包含的词列表（全部转换为小写） [tok for tok in words_of_str if len(tok) > 0]：返回长度大于0的字符串，可以去除只有空格的字符串 ''' def get_words(str): words_of_str = re.split('\\W', str) return [tok.lower() for tok in words_of_str if len(tok) > 0] if __name__ == "__main__": str = "Good morning, my friends!!!" print(" ********** 使用split切分字符串： ********** ") print(str.split()) # ['Good', 'morning,', 'my', 'friends!!!'] print(get_words(str)) # ['good', 'morning', 'my', 'friends']

则可以切分出每个单词（不包括标点和空串），同时都把词汇转成小写。