Python里面的Spark,为啥是最火的大数据计算引擎?

2021-11-06

点击上方“菜鸟学Python”,选择“星标”公众号

回复"666"获取精选的学习资料!


作者:朱凯

来源:大数据DT(ID:hzdashuju)


01 概述

十年前我们只有Hadoop,大家首先通过HDFS实现海量数据的共享存储,然后使用MapReduce以批处理的方式处理这些海量数据,这一切看起来似乎十分完美。

但众口难调啊,有人觉得MapReduce的编程模型太难使用了,为什么不能使用SQL来分析数据呢?我们数据库领域已经有非常成熟的数据仓库模型了,为何不实现一个大数据技术的数据仓库呢?于是Hive类的框架便诞生了,人们开始使用Hive类的框架来构建大数据技术的数据仓库,使用SQL查询数据。

接着人们又开始诟病MapReduce的执行效率太慢,因为它本质上是面向批处理场景的,难以支撑一些实时性要求很高的场景,我们需要一种能够支撑流计算的架构,于是Storm类的框架诞生了。人们开始使用Storm这类框架处理流计算场景。

接着伴随垃圾邮件分析、商品推荐、金融风控这类应用场景需求的出现,又迫使我们需要在大数据场景下具备机器学习的能力,于是乎Mahout类的框架出现了,人们使用它们来进行大数据下的机器学习。

随着越来越多来自应用领域的细分需求,人们从最初Hadoop的HDFS和MapReduce开始,一步步地构造出了各种细分领域的技术框架。有专攻处理批处理场景的,有专攻数据仓库场景的,有处理流计算场景的,也有专职机器学习的。

在我看来这有点像在给Hadoop打补丁,因为Hadoop在设计之初根本没有考虑过这么多的场景,它只是为了支撑离线批处理。但是需求摆在这里,为了实现目标只得另起炉灶通过设计一个全新的系统满足需求。这种现状造成了很多问题。

  • 重复工作:不同的系统之间都需要解决一些相同的共性问题,比如分布式执行和容错性。例如MapReduce、SQL查询引擎和机器学习系统都会涉及聚合操作。
  • 组合:不同系统之间的组合使用非常“昂贵”,因为不同系统之间无法有效的功效数。为了组合使用我们需要将数据在不同的系统之间频繁的导出导入,数据用来移动的时间可能都会超过计算的时间。
  • 维护成本:虽然这些系统从每个个体的角度来看都十分优秀,但是它们都是在不同时期由不同的团队设计实现的,其设计思路和实现方式也各不相同。这导致平台在部署运维这些系统的时候十分痛苦,因为它们差异太大了。
  • 学习成本:系统之间巨大的差异性对于开发人员来讲更是如此,这些技术框架拥有不同的逻辑对象、专业术语、API和编程模型,每种框架都需要重新学习一遍才能使用。

Spark意识到了这个问题,作为一个后起之秀它拥有天然的优势。Spark诞生于2012年,那个时候Hadoop生态已经经过了6个年头的发展,其生态格局已经成型。Spark已经能够看清大数据有哪些细分领域,同时MapReduce、Hive、Storm等开源组件也已经发展多年,Spark也能够了解到它们的长处和不足。

于是Spark横空出世,成为目前开源社区最为火爆的一款分布式内存计算引擎。Spark使用DAG(有向无环图)模型作为其执行模型,并且主要使用内存计算的方式进行任务计算。

Spark基于一套统一的数据模型(RDD)和编程模型(Trans-foration /Action)之上,构建出了Spark SQL、Spark Streaming、Spark MLibs等多个分支,其功能涵盖了大数据的多个领域,如图2-14所示。

▲图2-14 Spark涵盖的领域

Spark通过统一的数据模型和编程模型,构造出了SQL查询、流计算、机器学习和图计算等多个分支库。


02 数据模型

RDD是弹性分布式数据集(Resilient Distributed Datasets)的缩写,它是MapReduce模型的扩展和延伸。Spark之所以能够同时支撑大数据的多个领域,在很大程度上是依靠了RDD的能力。

虽然批处理、流计算、图计算和机器学习这些计算场景之间初看起来风马牛不相及,但是它们都存在一个共同的需求,那就是在并行计算阶段能够高效的共享数据。

RDD的设计者们洞穿了这一现象,于是通过高效的数据共享概念和类似MapReduce的操作设计了RDD,使得它能模拟迭代式算法、关系查询、MapReduce和流式处理等多种编程模型。

同时它也是一个可容错的、可并行的数据结构,可以让用户指定将数据存储到磁盘和内存中,并能控制数据的分区。同时它还提供了一些高效的编程接口操作数据集。


03 编程模型和作业调度

Spark将RDD的操作分为两类:转换(transformation)与行动(action)。

转换操作是一种惰性操作,它只会定义新的RDD,而不会立即执行。而行动操作则是立即执行计算,它要么返回结果给Driver进程,或是将结果输出到外部存储。常见转换操作如map、flatMap、filter等,常见行动操作如count、collect等。

当用户对一个RDD执行了行动操作之后,调度器会根据RDD的依赖关系生成一个DAG(有向无环图)图来执行程序。DAG由若干个stage组成,每个stage内都包含多个连续的窄依赖。而各个stage之间则是宽依赖。如图2-15所示,实线方框代表的是RDD。方框内的矩形代表分区,若分区已在内存中保存则用黑色表示。

▲图2-15 Spark任务拆分示意


04 依赖

RDD作为数据结构,本质上是一个只读的分区记录集合。一个RDD可以包含多个分区,每个分区是一个数据片段。

RDD可以相互依赖。如果父RDD的每个分区最多被一个子RDD的分区使用,则称之为窄依赖;若多个子RDD分区依赖一个父RDD的分区,则称之为宽依赖。不同的操作依据其特性,可能会产生不同的依赖。例如map操作会产生窄依赖,而join操作则产生宽依赖。

Spark之所以将依赖分为两种,基于两点原因。首先,窄依赖支持在同单个集群上以管道的形式式执,例如在执行了map后,紧接着执行filter。相反,宽依赖需要所有的父RDD数据都可用并通过shuffle动作才可继续执行。

其次,窄依赖的失败恢复更加高效,因为它只需要重新计算丢失的父分区,并且这些计算可以并行的在不同节点同时进行。与此相反,在宽依赖的继承关系中,单个失败的节点可能导致一个RDD的所有先祖RDD中的一些分区丢失,导致计算的重新执行。如图2-16所示,说明了窄依赖与宽依赖之间的区别。

▲图2-16 SparkRDD宽依赖和窄依赖示意


05 容错

传统分布式系统的容错方案有据复制和恢复日志两种方案。对于以数据为中心的系统而言,这两种方式都非常昂贵,因为它需要跨集群网络复制大量数据,而网络带宽的速度远远低于内存访问的速度。

RDD天生是支持容错的。首先,它自身是一个不变的数据集,其次,Spark使用DAG作为其执行模型,所以它能够通过RDD的依赖特性记住一系列操作生成一张DAG图。因此当执行的任务失败时,Spark只需根据DAG图进行重新计算即可实现容错机制。由于无须采用复制的方式支持容错,Spark很好地降低了跨网络的数据传输成本。


06 集群模式

Spark的应用以一组独立进程的形式运行在一个集群之上,由主程序中的SparkContext对象进行协调(也被称为driver程序)。Spark目前支持三种集群运行方式。

具体来说,Spark既可以通过standlone模式独立运行,也可以运行在Mesos或者YARN之上。

如图2-17所示,一旦SparkContext连接到集群,Spark首先会从集群的节点中获得一些executor进程,这些进程会用来执行我们程序中的计算和存储逻辑,接着它会通过jar包的形式分发我们的程序代码到各个executor进程。最后,SparkContext会分派任务到各executor进程进行执行。

▲图2-17 Spark任务进程示意

每个应用都拥有自己的executor进程,这些进程会在整个应用生命周期内持续运行并以多线程的方式执行具体的任务。这种设计的好处是将各个应用之间的资源消耗进行了隔离,每个应用都运行在它们各自的JVM中。但是这也意味着不同应用之间的SparkContext无法共享数据,除非借助扩展的存储媒介。

Spark对底层集群管理不可知。只要能够获取到executor进行,并且这些进程之间可以通信,它就能比较容易的运行在其他通用集群资源调度框架之上,如Mesos和YARN。


07 使用场景

Spark借助其RDD的出色设计,做到了横跨多个领域的支撑。这意味着我们在一套程序逻辑之中可以集成多种操作。

例如使用SQL查询过滤数据,然后进行机器学习或是通过SQL的方式操作流数据。在提升便利的同时也降低了开发人员的学习曲线,基于Spark,只需要学习一套编程模型即可处理多个领域。

所以将Spark作为平台的一站式计算解决方案是再合适不过了。

关于作者:朱凯,资深大数据专家和架构师,拥有10年IT从业经验,精通大数据、Java、Node.JS等技术。对大数据领域的主流技术与解决方案有深入研究,擅长分布式系统的架构设计与整合。曾主导过多款大数据平台级产品的规划设计与研发工作,一线实战经验丰富。

本文摘编自企业级大数据平台构建:架构与实现》,经出版方授权发布。


近期八大热门:







菜鸟学Python 原班人马打造的公众号:程序员GitHub,现已正式上线!
接下来我们将会在该公众号上,为大家分享GitHub上优质的开源神器,程序员圈的趣事,坚持每天一篇原创文章的输出,感兴趣的小伙伴可以关注一下哈!

长按 2 秒,输入【福利

获取程序员必读好书


点这里,领取新手福利

相关文章

Python这么火,要学吗?听听华为的工程师怎么说

2021-11-06
有人就有江湖,编程的江湖亦是如此.迅速崛起的Python,免不了要被拿来和其他语言比较.最近在华为工程师们也有讨论到Python的...

Python是个什么鬼?为何火遍国内外...

2021-11-06
Python又这么溜,这活生生的例子不就在我眼前吗?后来他给我甩了个链接,才发现是之前刷爆朋友圈的网红课——风变编程.广告词...

为什么“Python编程超级魔卡”这么火?

2021-11-06
Python语言在最近两个月的TIOBE排行榜里,与Java竞争激烈,不相上下,如果今年Python也能获得“年度编程语言”,就会成为连续...

15600+星的 Python Fire为什么这么火,用完你就知道了

2021-11-06
为什么这个项目这么火爆呢?俩字:『好用』......Github地址:https://github.com/google/python-fire获取方式:从 pypi 获取 `pip install ...

Python虽然很火,为啥找工作这么难

2021-11-06
在Python看起来还没今天那么火之前,它在技术圈其实就广为人知,特别适用于做 MVP(最小可行性)产品,运用在创业初期的产品...

Python是个什么鬼?为何火遍留德华人圈

2021-11-06
来源/全球化智库&智联招聘那么,我们留学生究竟靠什么拉高自己... Python进入小学课堂,各大高校也相继开设人工智能专业;腾讯、...

5天破10亿的哪吒,为啥这么火,Python来分析

2021-11-06
往期推荐49个Python学习资源:从初学者到高级玩家都有了Python正在慢慢失去魅力?Python这么慢,为啥大公司还在用?Python 开...

用Python爬取了《扫黑风暴》数据,并将其可视化分析后,终于知道它为什么这么火了~

2021-11-06
|用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影趣味:弹球游戏 | 九宫格 | 漂亮的花 | 两百行...

【实话实说】为啥Python都火到汽车圈了?

2021-11-06
短短时间阅读量突破3000后台索要资料包更是让小编回复到手软一个编程软件为什么会在汽车圈这么火?好奇的小编随机采访了几个圈...

执行效率太低又怎样? Python 照样火过 Java、C/ C++

2021-11-06
相较而言,Python 具有执行速度不够快、GIL 锁限制并发、版本间不能很好的兼容等缺陷.那么为什么近年来 Python 能够突破重围、...

随机推荐