大数据Spark集群架构与源码核心技术 非常稀有的Spark源码核心解读课程 Spark视频教程

教程目录：
(1)\01.Scala语言环境安装、Scala的基本语法；目录中文件数:14个
10、映射
11、元组
12、集合之seq
13、集合之set
14、集合之map
1、认识scala
2、安装开发环境
3、scala Shell、用idea创建maven项目
4、配置maven本地仓库、导入切换项目等其它配置
5、变量的声明
6、scala的7种值类型和条件表达式
7、for循环
8、方法和函数的声明以及方法转换成函数
9、数组
(2)\02.常用方法练习；目录中文件数:7个
1、大数据教程：1、lazy关键字
2、函数式编程练习之常用方法
3、函数式编程之reduce
4、函数式编程之fold
5、函数式编程之aggregate
6、函数式编程之交并差集
7、scala实现wordcount
(3)\03.面向对象、模式匹配；目录中文件数:12个
01、创建类、属性
02、构造器、辅助构造器
03、单例对象
04、伴生对象
05、apply和unapply方法
06、private关键字
07、特质、抽象类、继承、重写、实现等
08、模式匹配之匹配字符串
09、模式匹配之匹配类型
10、模式匹配之匹配数组、元组、集合
11、模式匹配之样例类
12、模式匹配之偏函数
(4)\04.Actor、柯里化、隐式转换；目录中文件数:10个
01、作为值的函数
02、柯里化概念及声明方式
03、柯里化练习
04、隐式转换和隐式参数
05、隐式转换练习1
06、隐式转换练习2
07、泛型
08、upperbound
09、viewbound
10、contextbound
(5)\06.Spark集群安装、Spark任务提交、Spark实现WordCount并上传任务；目录中文件数:5个
1、spark简介
2、spark集群搭建、启动
3、spark Shell.启动和提交任务
4、spark Wordcount
5、上传并执行任务
(6)\07.RDD的基本概念、常用算子练习；目录中文件数:5个
1、rdd的概念
2、生成rdd的两种方式
3、两种类型的算子：transformation和action
4、常用算子练习1
5、常用算子练习2
(7)\08.案例练习；目录中文件数:4个
1、案例需求-求用户在某基站停留的时间
2、案例实现-求用户在某基站停留的时间
3、案例实现-求用户访问学科的子网页top3
4、案例实现-求用户访问学科的子网页top3-chache、自定义分区器
(8)\09.Spark集群启动流程和任务提交流程、案例练习；目录中文件数:4个
1、spark集群启动流程
2、spark任务提交流程
3、wordcount中创建了那些rdd
4、案例分析实现-按照ip统计区域访问量
(9)\10.RDD的依赖关系、Stage划分、任务的生成、自定义排序；目录中文件数:4个
1、rdd之间的依赖关系
2、dag的生成和stage的划分
3、webui观察stage划分和任务的生成
4、自定义二次排序
(10)\11.Day11 Checkpoint、SparkSQL、Hive-On-Spark；目录中文件数:8个
1、checkpoint
2、sparksql介绍
3、创建dataframe
4、dataframe常用操作-dsl风格语法
5、dataframe常用操作-sql风格语法
6、通过反射推断schema
7、通过structtype直接指定schema
8、hive-on-spark
(11)\12.SparkStreaming、窗口操作、Spark-On-Yarn；目录中文件数:7个
1、sparkstreaming简介
2、实例分析：sparkstreaming获取netcat产生的数据进行实时分析
3、sparkstreaming实现按批次累加
4、窗口函数概念及使用场景
5、窗口函数实现wordcount
6、spark-on-yarn
7、补充：sparkstreaming依赖
(12)\13.源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程；目录中文件数:14个
10、executor向driveractor反向注册的过程
11、rdd生成和stage划分
12、生成任务并提交
13、task任务执行流程
14、总结-任务生成及提交流程
1、关于查看源码的一些介绍
2、导入源码
3、集群启动流程-master类
4、集群启动流程-worker类
5、sparksubmit提交任务
6、sparkcontext
7、创建driveractor和clientactor的过程
8、clientactor向master注册任务信息过程
9、任务调度的两种方式及master通知worker启动executor的过程
(13)\5.泛型、Akka；目录中文件数:9个
1、actor概念
2、actor实例之创建actor
3、actor实例之消息的接收与发送（异步没有返回值）
4、actor实例之消息的接收与发送（同步有返回值）
5、actor实例之消息的接收与发送（异步有返回值）
6、actor实例之并行编程思想实现单词计数
7、akka简介
8、akka案例需求分析
9、akka案例代码分析

下载地址：

游客，如果您要查看本帖隐藏内容请回复