Spark应用及案例分析

当下是大数据时代,为构建大数据平台,技术人员需要对分布式计算平台有一定深入的理解和应用。MapReduce作为一个经典的分布式计算框架,已经广为人知,且得到了广泛的应用,但MapReduce自身存在很多问题,包括迭代式计算和DAG计算等类型的数据挖掘与机器学习算法性能低下,不能很好地利用内存资源,编程复杂度较高等。
为了克服MapReduce的众多问题,新型计算框架出现了。Spark已经被不少互联网公司采用,大部分数据挖掘算法和迭代式算法在逐步从MapReduce平台迁移到Spark平台中,包括阿里巴巴,腾讯,百度,优酷土豆,360,支付宝等互联网公司已经在线上产品中使用spark,且取得了令人满意的效果,另外,部分省份的运营商也正在尝试使用spark解决数据挖掘和分析问题,部分银行,如工商银行,也正在尝试spark平台。

Spark平台的精进

运行架构和解析
scala编程
Spark编程模型和解析
Spark 数据挖掘
Spark Streaming原理和实践
Spark的优化
Spark的数据源
Spark Streaming应用及案例分析
典型项目案例实战

课程收益

掌握Spark平台的架构、模型、算法与优化;
分析典型项目案例以加深对技术的理解。

授课对象

云计算物联网产业相关负责人;
各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员;
对Spark感兴趣的团地或个人。

课程长度:3天

最后更新:2016年08月12日

关注度:

开班计划 暂无