Spark和Scala语法总结

标签:#scala##spark##编程# 时间:2018/07/24 19:23:34 作者:小木

1、require断言,一般是对参数的限制,在方法定义完成后第一时间使用require检查参数的类型等。:

例如如下,要求参数p必须大于1。

 def norm(vector: Vector, p: Double): Double = {
    require(p >= 1.0, "To compute the p-norm of the vector, we require that you specify a p>=1. " +
      "You specified p=$p.")
}

2、match,比switch更强大的条件筛选,例如如下判断test1的结果

val result1 = test1 match {
    case "1" => {
    "one"
    }
    case "2" => "two"
    case _ => "other"
}

3、persist(),RDD数据的持久化保存,和cache()类似,cache只有一个默认的缓存级别MEMORY_ONLY ,而persist可以根据情况设置其它的缓存级别。

4、takeSample()获取RDD数据的采样的子集,返回采样结果。按设定的采样个数进行采样,同时返回结果不再是RDD,而是相当于对采样后的数据进行collect(),返回结果的集合为单机的数组。

欢迎大家关注DataLearner官方微信,接受最新的AI技术推送