软工作业3-词频统计

mac2022-06-30  20

一、程序分析

(1)读文件到缓存区(process_file(dst))

def process_file(dst): # 读文件到缓冲区 try: # 打开文件 f = open(dst, 'r', encoding='gb2312') # dst为文本的目录路径 except IOError as s: print(s) return None try: # 读文件到缓冲区 bvffer = f.read() except: print('Read File Error!') return None f.close() return bvffer

 (2)处理缓冲区,返回存有词频数据的字典(process_buffer(bvffer))

def process_buffer(bvffer): if bvffer: word_freq = {} # 下面添加处理缓冲区 bvffer代码,统计每个单词的频率,存放在字典word_freq for ch in '“‘!;,.?”': bvffer = bvffer.lower().replace(ch, " ") words = bvffer.strip().split() # strip() for word in words: word_freq[word] = word_freq.get(word, 0) + 1 return word_freq

 (3)输出词频前十的单词(output_result(world_freq))

def output_result(word_freq): if word_freq: # 根据v[1]即词频数量排序 sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True) for item in sorted_word_freq[:10]: # 输出 Top 10 的单词 print("(%s,%d) " % (item[0], item[1]))

 (4)主函数对之前的函数进行整合(main())

if __name__ == "__main__": dst = 'src/Gone_with_the_wind.txt' # 《飘》文件的路径 bvffer = process_file(dst) word_freq = process_buffer(bvffer) output_result(word_freq)

(5)性能分析

将原来的运行词频的代码卸载main函数中进行测试

def main(): dst = 'Gone_with_the_wind.txt' # 《飘》文件的路径 bvffer = process_file(dst) word_freq = process_buffer(bvffer) output_result(word_freq)主函数入口改为性能分析的代码 if __name__ == "__main__": cProfile.run("main()", "result") # 把分析结果保存到文件中,不过内容可读性差...需要调用pstats模块分析结果 p = pstats.Stats("result") # 创建Stats对象 p.strip_dirs().sort_stats("call").print_stats() # 按照调用的次数排序 p.strip_dirs().sort_stats("cumulative").print_stats() # 按执行时间次数排序 # 根据上面2行代码的结果发现函数process_buffer最耗时间 p.print_callees("process_buffer") # 查看process_buffer()函数中调用了哪些函数

 二、代码风格说明

python代码编写时,不需要{ }括号,用缩进代替,用来强制规范代码

 

for ch in '“‘!;,.?”': bvffer = bvffer.lower().replace(ch, " ") words = bvffer.strip().split()

三、程序运行命令、运行结果截图

 

 

四、性能分析结果及改进

(1)总运行时间

 

 

 (2)执行次数最多的部分代码

 (3)执行时间最多的部分代码

 

 

转载于:https://www.cnblogs.com/hl5934/p/9763960.html

相关资源:JAVA上百实例源码以及开源项目
最新回复(0)