0
点赞
收藏
分享

微信扫一扫

使用scala语言编写Spark独立应用程序计算学生成绩平均值

芷兮离离 2022-01-08 阅读 77

实验内容:
每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生名字,第二个是学生的成绩;编写spark独立应用程序求出所有学生的平均成绩。
下面是输入文件和输出文件的一个样例:
Algorithm成绩:
小明 92
小红 87
小新 82
小丽 90
Database成绩:
小明 95
小红 81
小新 89
小丽 85
Python成绩:
小明 82
小红 83
小新 94
小丽 91
平均成绩如下:
(小红,83.67)
(小新,88.33)
(小明,89.67)
(小丽,88.67)

代码:
AvgApp.scala

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object AvgApp {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("AvgApp")
    val sc = new SparkContext(conf)
   
    val dhltest = sc.textFile("file:///home/hadoop/stu")
    val res = dhltest.filter(_.trim().length>0).map(line=>(line.split(",")(0).trim(),line.split(",")(1).trim().toInt)).groupByKey().map(x => {
    	var num = 0.0
	var sum = 0
	for(i <- x._2){
	    sum = sum + i
	    num = num +1
        }
        val avg = sum/num
        val format = f"$avg%1.2f".toDouble
        (x._1,format)
    }).collect.foreach(x => println(x._1+"\t"+x._2))
  }
}


simple.sbt

name :="Simple Project"
version := "1.0"
scalaVersion := "2.12.10"
libraryDependencies += "org.apache.spark" %% "spark-core" % "3.1.2"

打包并运行出结果:
在这里插入图片描述

举报

相关推荐

0 条评论