利用Scala简单实现WordCount代码
val line = List("hello tom hello jerry","hello xiaobai hello","hello tom") val strings: List[String] = line.flatMap(_.split(" ")) println(strings) /***下划线的用法在前面文章提到过 * 对其进行分割 flatMap其实就是flatten和Map方法的结合在对其进行遍历分割后， * 接着进行数据扁平化处理，相当于下面这行代码 * val words: List[Array[String]] = line.map(_.split(" ")) * val flatten: List[String] = words.flatten * println(flatten) */ val tuples: List[(String, Int)] = strings.map((_,1)) println(tuples)//形成对偶元组，类似键值对形式 val Tuples: Map[String, List[(String, Int)]] = tuples.groupBy(_._1) println(Tuples)//将相同单词进行分组 返回值是一个Map集合 val sum: Map[String, Int] = Tuples.mapValues(_.size) println(sum)//我们可以根据单词的Size直接求单词的总个数 //mapValues是处理Map集合中value的值,只操作value,原则是对应key的value值, // 返回值是一个 Map[key是原有的可以,value是计算结果之后的value] val list2: List[(String, Int)] = sum.toList println(list2) val sorted1: List[(String, Int)] = list2.sortBy(_._2) println(sorted1.reverse)//根据每个单词出现的个数进行排序，并反转得到升序序列 //简化版，在实际应用中我们用法只需一行语句 /** * line.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).mapValues(_.size).toList.sortBy(_._2).reverse *如果我们只想得到前TopN个数据的时候我们可以再加一个方法 sorted1 take N * 就可以得到前n个数据 */