加载中…
个人资料
裴大帅2021
裴大帅2021
  • 博客等级:
  • 博客积分:0
  • 博客访问:11,105
  • 关注人气:63
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

spark通过reduce操作取最大值

(2018-04-03 18:49:22)
标签:

spark

reduce

max

分类: 大数据处理


    val conf = new SparkConf().setAppName("SimpleGraphX").setMaster("local[2]")
    val sc = new SparkContext(conf)

    def max(a: Int, b: Int): Int = {
      if(a > b) a else b
    }

    val list1 = List(1, 15, 3, 5, 7, 9 ,11)
    val maxNum = sc.parallelize(list1).reduce(max)
    println(maxNum)

       行动操作reduce()它接收一个函数作为参数,这个函数要操作两个 RDD 的元素类型的数据并返回一个同样类型的新元素。先对两个元素Key-Value进行reduce操作,然后将结果和迭代器取出的下一个元素进行reduce操作,直到迭代器遍历完所有元素,得到最后结果。一个简单的例子就 是函数 +,可以用它来对我们的 RDD 进行累加。使用 reduce(),可以很方便地计算出 RDD 中所有元素的总和、元素的个数,以及其他类型的聚合操作。

0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有