加载中…
个人资料
  • 博客等级:
  • 博客积分:
  • 博客访问:
  • 关注人气:
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

理解FlatMap

(2022-08-04 11:43:12)
分类: 大数据

https://zhuanlan.zhihu.com/p/166287794


很多资料对FlatMap的解释其实不够好理解。但其实理解FlatMap非常简单。

典型的场景是,上游为了足够的吞吐,给出的数据往往是一条数据包里面包裹了多条数据。要拆分开里面的数据给下游计算。

FlatMap就是一种将数据拆分成多条数据的方法。

示意图:

  [a|b|c|d]  [e|f|g|h|i]  [j|k|l]  [m] [n|o|p] ...
                  
                  
               flatmap ( msg -> msp.split('|') )
                  
                  
  [a][b][c][d][e][f][g][h][i][j][k][l][m][n][o][p]...


0

阅读 收藏 喜欢 打印举报/Report
前一篇:Flink基础
后一篇:杭州露营
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有