0
点赞
收藏
分享

微信扫一扫

Hadoop+Spark大数据技术(微课版)曾国荪、曹洁版思维导图第五章 Scala基础与编程(未完待续。。。)

 

 

 

  • 5.1 Scala概述

    • 5.1.2 Windows环境下安装Scala

    • 5.1.1 Scala特性

      • 1.面向对象

      • 2.函数式编程

      • 3.扩展性

      • 4.并发性

      • 5.可以和Java混编

    • 5.2 Scala基础语法

      • 1.声明常量和变量

        • (1)声明常量

          • val 常量名:数据类型=初始值

          • val a:int =1或val a = 1

        • (2)声明变量

          • var 变量名:数据类型=初始值

          • 注:

            • 支持同时声明多个变量如var a,b = 1

            • 可以重复使用同一变量名定义变量,解释器以最新定义为准

            • 声明变量需要初始化,否则报错

            • (优先使用常量,除非确实需要修改)

      • 2.输出值的方式

        • (1)直接调用变量名

        • (2)借助输出函数

          • 差值字符串

            • 字符串前加“s”或“f”

              • 加s:不支持格式化

                • ${varName}

              • 加f:支持在$变量后指定格式化参数

                • $varNum%.2f (保留小数点两位)

            • ${varName}插入变量名

          • 1.print()函数结合加号对多个内容进行连接并输出

          • 2.println()函数输出结束后自动换行

          • 3.printf()函数格式化输出

      • 3.数据类型 (首字母大写)

        • 9种基本数据类型:String位于java.lang包,其余位于Scala包

        • Any是所有其他类型的超类(父类)

        • Nothing是任何其他类型的子类

        • Unit无返回值

        • String对象

          • 字符串对象用双引号

          • 常用方法

            • (1)String concat(String str)方法

              • 将指定字符串连接到此字符串的结尾

              • "ABC",concat("DEF")

            • (2)Boolean endsWith(String sufix)方法

              • 测试字符串是否以指定的后缀结束

              • "ABC". endsWith("C")

            • (3)Int length()方法

              • 返回字符串的长度

              • "ScalaPythonJava".length()

                • res: Int = 15

            • (4)Boolean matches(String regex)方法

              • 判断字符串是否匹配给定的正则表达式

              • "ScalaPythonJava".matches(".*Python.*")

                • res: Boolean = true

            • (5)String replace(char oldChar, char newChar)方法

              • 返回一个新的字符串,newChar 字符串替换原字符串中出现的oldChar字符串得到

              • "I love Python".replace("Python","Scala")

                • res: String = I love Scala

            • (6)String replaceAll(String regex, String replacement)方法

              • 使用给定的replacement字符串替换字符串中所有与给定的正则表达式相匹配的子字符串

              • "ab123sdab4543das756as876asd".replaceAll("\\d+","#num#")

              • res: String =abfnumtsdabfnumidastnumfasfnumfasd

            • (7)String replaceFirst(String regex,String replacement)方法

              • 使用给定的replacement字符串替换字符串中与给定的正则表达式相匹配的第一个子字符串

            • (8)String[] split(String regex)方法

              • 按正则表达式匹配的子字符串拆分字符串。

              • String[]表示split(String regex)执行结束后的返回值是字符串数组

              • "I love Python".split("")

                • res: Array[String]= Array(I, love, Python)

            • (9)Char[] toCharArray()方法

              • 将字符串转换为一个字符数组

              • "Scala".toCharArray()

                • res: Array[Char] = Array(S, c, a, l, a)

            • (10)String toLowerCase()方法

              • 将字符串中的所有字符都转换为小写

            • (11)String trim()方法

              • 删除字符串的首尾空白符

            • (12)String take(num)方法

              • 获取字符串前num个字符

              • //获取"hello"前两个字符 "hello".take(2)

                • res: String = he

            • (13)reverse属性

              • 反转字符串

      • 4.运算符

        • 算术运算符

          • +、-、*、/、%(取余)

        • 关系运算符(比较运算符)

          • ==,!=,>,<,≥,≤

        • 逻辑运算符

          • &&与(都满足),‖或(一个满足), !非

        • 赋值运算符

          • =,+=,-=,*=,/=,%=

    • 5.3 Scala控制结构

      • 1.条件表达式

        • val s = if(x >0)1 else 0

      • 2.if...else选择结构

        • 单分支,双分支,多分支

      • 3.编写和运行Scala脚本

        • 一起执行的Scala语句序列放在同一文件,称为脚本

        • 执行scala test.scala

      • 4.循环结构

        • while,do while,for

        • for没有直接对应结构

          • (1)for(x<-Range)

            • Range 可以是一个数字区间,如

              • i to j表示的区间是[i,j]

              • i until j表示的区间是[i,j)

          • (2)for 循环可用分号隔开多个区间

            • 可以迭代多个区间的所有可能值

            • for( a <- 1 to 2;b <-1 to 2) println( "a:"+a+"b:"+b)

          • (3)for 循环中使用数组、列表和集合

            • for 循环中使用列表 val list1=List(3,5,2,1,7)//创建列表 listl: List[Int] = List(3,5,2,1,7) for(x <- list1) print(""+x) 3 5 2 1 7

          • (4)for 循环中使用过滤器

            • for(x <- list1 if x%2==1) print(""+x) 3 5 1 7

    • 5.4 数组

      • 1.定长数组 使用()访问数组元素而不是[]

        • var z:Array[String] = new Array[String](3)

        • var z = new Array[String](3)

      • 2.变长数组

        • 1、ArrayBuffer创建变长数组

          • import scala.collection.mutable.ArrayBuffer

          • val arr1 = ArrayBuffer[Int]()//定义一个Int类型、长度为0的变长数组

        • 2.追加、修改、删除变长数组的元素

          • val bigData = ArrayBuffer("Hadoop","Storm")//创建变长数组

          • (1)“+=”追加一个元素
            • bigData += "Spark"

          • (2)“++=”追加一个数组的元素
            • bigData ++= Array("Hbase","Graphx")

          • (3)“-=”删除元素
            • bigData -= "Graphx"

          • (4)“--=”删除在指定数组中出现的元素
            • bigData --= Array("Spark","Graphx")

          • (5)remove()方法删除指定位置的元素
            • 调用变长数组对象的removeo方法从指定索引开始移除指定数量的元素。

            • bigData.remove(1,2)//从索引1处开始移除2个元素

          • (6)insert()方法在指定位置前插入元素
            • bigData.insert(0,"Spark")//在索引 0前插入元素"Spark"

            • 定长数组和变长数组之间转换,调用toBuffer()和toArray()方法。

      • 3.遍历数组

        • 1.for 循环和until遍历数组
          • for(i <- 0 until a.length)

          • △注意:变量i的取值从0到a.length-1。

        • 2.直接遍历数组元组
          • for(e <- b)

          • △注意:变量e先被设为b(0),然后被设为b(1),以此类推。

      • 4.数组转换

        • 按某种方式将一个数组转换为一个全新的数组,而原数组不变。

        • 创建一个新数组 val a=Array(1,2,3,4)

          • 1.for(...) yield
            • val result = for(elem <- a) yield 2 * elem

              • result: Array[Int] = Array(2, 4, 6, 8)

            • result中的值由yield之后的表达式2*elem产生,每次迭代为result产生一个值。

          • 2.数组对象的map()方法
            • val result2 = a.map{3 * _}

              • result2: ArraylInt] = Array(3,6, 9,12)

          • 3.数组对象的filter()和map()方法
            • val result3 = a.filter(_ % 2 == 0).map {2 * _}

              • result3: Array[Int] = Array(4, 8)

          • 可以添加语句处理那些满足特定条件的元素。

      • 5.数组对象的操作方法

        • 1.map()方法映射数组 var arr = Array(1,2,3,4)
          • 通过一个函数改变数组中的每个元素

          • arr.map(x => x* 5)

            • res: Array[Int] = Array(5, 10, 15, 20)

          • △注意:x=>x*5这种表达式称为Lambda表达式,用来创建临时使用的匿名函数。

            • Lambda 表达式的语法格式如下: (参数1,参数2,…)=>表达式

        • 2.foreach()方法遍历数组中的元素
          • 和map()方法类似,但是foreach()没有返回值。

        • 3.min、max、sum分别输出数组的最小元素、最大元素、数组元素和
        • 4.head、tail分别查看数组的第一个元素、除第一个元素外的其他元素
        • 5.sorted、sortBy()、sortWith()排序
          • (1)sorted
            • sorted默认为升序排列,降序排列则需要反转。

            • arr.sorted//升序

            • arr.sorted.reverse//降序

          • (2)sortBy()
            • 需要参数,表明进行排序的数组元素的形式。

            • arr.sortBy(x=>x)//升序

            • arr,sortBy(x =>-x)//降序

          • (3)sortWith() var arr = Array("a","d","F","B","e")
            • sortWith((String,String)=>Boolean) 需要匿名函数来说明排序规则,要有两个参数进行比较。

            • arr.sortWith((x:String, y:String) => x<y)

            • arr.sortWith((x,y) => x<y)

        • 6.filter()方法进行过滤
          • filter()方法移除传入函数的返回值为 false的数组元素。

          • 过滤掉数组 arr中奇数,得到只含偶数的数组。arr.filter(x=>x%2==0)

        • 7.flatten扁平化操作 val arr = Array(Array(1,2),Array(3,4))//二维数组
          • 把嵌套的结构展开,二维数组展开成一维数组。

          • arr.flatten

            • res: Array(Int) = Array(1, 2, 3,4)

        • 8.flatMap 操作
          • 结合map()和 fatten功能,相当于先进行map()操作再进行flatten操作,接收一个可以处理嵌套数组的函数,把返回结果连接起来。

          • arr.flatMap(x=> x.map(_*10))

            • res: Array[Int] = Array(10, 20, 30,40)

        • 9.显示数组内容
          • mkString()方法显示数组的内容,允许指定元素之间的分隔符,该方法的另一个重载版本可以指定元素的前缀和后缀。

          • to*方法(*为数据类型名)

            • 数据类型转换

    • 5.5 列表

      • 1.不可变列表

        • 与数组的比较

          • (List声明)类似于数组,所有元素都具有相同的数据类型。

          • 与数组不同的是,不可变列表的元素是不可变的,不可变列表的元素值一旦被觉了就不能改变。

        • 1.创建不可变列表

          • val course: List[String] = List("Scala", "Python")

            • course: List[String] = List(Scala, Python)

          • //创建二维列表 val dim: List[List[Int]]= List(List(1,0),List(0,1)

            • dim: List[List[Int]] = List(List(1, 0), List(0, 1))

          • 不可变列表具有递归的结构 (也即链接表结构) 数组不具有。即不变列表

            • 要么是Nil(即空列表)

            • 要么是一个head元素加上一个tail, 而tail又是一个列表

              • val nums:List[Int] = List(1,2,3,4)

                • nums: List[Int] = List(1, 2, 3, 4)

              • nums.head

                • res: Int = 1

              • nums.tail

                • res: List[Int] = List(2, 3,4)

          • (1)创建空列表
            • val L = Ni1

            • val L2 = List()

          • (2)“::”创建列表
            • “::”根据给定的head 和tail 创建一个新的列表。

            • △注意:“::”右结合,即从末端开始创建列表。

            • val newList=1::List(3, 5)

              • newList: List[Int] = List(1, 3, 5)

          • (3)“:::”连接列表创建新列表
            • val L4 = L3 ::: List("Hadoop","Hbase")

              • L4: List[String] = List(Spark, Scala, Python, Hadoop, Hbase)

        • 2.不可变列表的操作9个

          • head:返回列表的第一个元素。

          • tail:返回一个列表,含除了第一个元素之外的其他元素。

          • init:返回一个列表,含除了最后一个元素之外的其他元素。

          • reverse:用于将列表的元素顺序反转。

          • last:返回列表的最后一个元素。

          • length:返回列表的长度。

          • range:创建数值范围的列表。 List.range(from,until)

            • 创建从from 到until(不包括 until)的所有数值的列表。

            • step值作为第3个参数

              • 将产生从from到uni的间隔为step 的列表元素,step值可正可负。

              • List.range(1,9,2)

                • res: List[Int] = List(1, 3, 5, 7)

          • isEmpty:判断列表是否为空,在列表为空时返回true。

          • sorted:排序。

        • 3.不可变列表对象的常用方法15个

        • val L5= List("Spark","Scala", "Python", "Hadoop","Hbase")

        • L5: List(String)= List(Spark, Scala, Python, Hadoop, Hbase)

        • (1)count(s => s.length==num)

          • 统计列表中长度为num的字符串的个数

          • //对L5中长度为5的字符串进行计数 L5.count (s =>s.length == 5)

            • res0: Int = 3

        • (2)drop(num)

          • 返回去掉列表开头num个元素的列表

          • L5.drop(2)

            • res1: List[String] = List (Python, Hadoop, Hbase)

        • (3)dropRight(num)

          • 返回去掉列最后num个元素的列表

          • L5.dropRight(3)

            • res2: List[String] = List(Spark, Scala)

        • (4)exists(s => s=="***")

          • 判断列表中是否有字符串的值为"***"

          • L5.exists(s => s=="Spark")

            • res3: Boolean = true

        • (5)forall(s => s.endsWith(“k”)

          • 判断列表里的元素是否都以”k”结尾

          • L5.forall(s => s.endsWith("k"))

            • res4: Boolean = false

        • (6)foreach(s => println(s))

          • 遍历输出列表元素

          • L5.foreach(s => print(s+" "))

            • Spark Scala Python Hadoop Hbase

        • (7)map(f)

          • 通过给定的函数f将所有元素重新计算

          • //对L5的元素都拼接$,并返回一个新的列表 scala> L5.map(s => s + "$")

            • List[String] = List(Spark$, Scalas$, Python$, Hadoops$, Hbases$)

        • (8)mkString("-")

          • 对列表的元素以"-"拼接并返回

          • L5.mkString("-")

            • res11: String-Spark-Scala-Python-Hadoop-Hbase

        • (9)filterNot(s => s.length==5)

          • 返回列表中长度不为5的元素所组成的列表

          • L5.filterNot(s => s.length == 5)

            • res12: List[String] = List(Python, Hadoop)

        • (10)take(num)

          • 从列表左边取num个元素组成一个新列表

          • L5.take(3)

            • res13: List[String]=List(Spark, Scala, Python)

        • (11)takeRight(num)

          • 从列表右边取num个元素组成一个新列表

          • L5.takeRight(3)

            • res14: List(String) = List(Python, Hadoop, Hbase)

        • (12)sortBy(x => x),升序排列

          • sortBy(x => -x),降序排列

        • (13)sortWith(_<_),升序排列

          • sortWith(_>_),降序排列

        • (14)“:+”和“+:”

          • “:+”在末端添加元素以得到一个新列表

            • list2.:+(10)

              • res25:List[Int] = List(3, 5,2, 1, 7,10)

          • “+:”在首端添加元素以得到一个新列表

            • list2.+:(0)

              • res26: List(Int] = List(0, 3, 5,2, 1,7)

        • (15)toString()

          • 将列表转换为字符串

          • List(1,2,3).tostring()

            • res27: String = List(1, 2,3)

      • 2.可变列表 ListBufer声明

        • 对于可变列表,既可以修改某个位置的元素值,也可以增加或删除列表元素。

        • 1.创建可变列表

          • import scala.collection.mutable.ListBuffer

          • val LBl = ListBuffer(1,2,3,4,5,6)

        • 2.可变列表的常用操作

          • (1)按值删除列表元素

    • 5.6 集合

      • 不可变集合

      • 可变集合

    • 5.7 元组

      • 元组的常用操作

      • 拉链操作

    • 5.8 映射

      • 不可变映射

      • 可变映射

    • 5.9 Scala函数

      • 匿名函数

      • 高阶函数

      • 函数的定义

    • 5.10 Scala模式匹配

    • 5.11 Scala面向对象编程

      • 类与对象

      • 单例对象和伴生对象

    • 5.12 Scala读写文件

      • 读文件

      • 写文件

举报

相关推荐

0 条评论