好程序員-千鋒教育旗下高端IT職業教育品牌

400-811-9990
我的賬戶
好程序員

專注高端IT職業培訓

親愛的猿猿,歡迎!

已有賬號,請

如尚未注冊?

[BigData] Spark基礎及源碼分析視頻

[復制鏈接]
2832 0
梁棟 發表于 2018-12-3 15:27:19 | 只看該作者 |只看大圖 |閱讀模式 打印 上一主題 下一主題
Spark基礎及源碼分析視頻

以Java語言為藍本, 講解scala的語法特征以及Spark生態系統下 的大數據開發技術。課程包含Spark環境的搭建、 Spark源碼和Spark框架等。 從內到外,挖掘Spark的五臟六腑。 學員具備中級scala開發工程師水平

  • BigData

    課程分類

  • 104課時

    總課時

  • 初級

    課程難度

  • 點擊查看

    網盤密碼

課程試學目錄
  • 認識Scala

  • 安裝開發環境

  • Scala Shell、用IDEA創建Maven項目

  • 配置Maven本地倉庫、導入切換項目等其它配置

  • Scala的7種值類型和條件表達式

課程信息
本帖最后由 梁棟 于 2018-12-11 16:43 編輯

課程介紹:以Java語言為藍本,講解scala的語法特征以及Spark生態系統下 的大數據開發技術。課程包含Spark環境的搭建、 Spark源碼和Spark框架等。 從內到外,挖掘Spark的五臟六腑。 學員具備中級scala開發工程師水平


章節目錄及簡介:
大數據+人工智能免費視頻教程《Scala語言環境安裝Scala基本語法》


Scala語言開發環境的配置、結合Java語言來理解Scala的基礎語法。


認識Scala  
安裝開發環境  
Scala Shell、用IDEA創建Maven項目  
配置Maven本地倉庫、導入切換項目等其它配置  
變量的聲明  
Scala的7種值類型和條件表達式  
for循環  
方法和函數的聲明以及方法轉換成函數  
數組  
映射  
元組  
集合之Seq  
集合之Set  
集合之Map



大數據+人工智能免費視頻教程《常用方法練習》


通過對經常用到的方法的練習來熟悉函數式編程的強大魅力。


lazy關鍵字  
函數式編程練習之常用方法  
函數式編程之reduce  
函數式編程之fold  
函數式編程之aggregate  
函數式編程之交并差集  
Scala實現WordCount



大數據+人工智能免費視頻教程《面向對象、模式匹配》


結合Java語言來了解Scala面向對象的三大特性、以案例的方式充分理解Scala語言的模式匹配特性。


創建類、屬性  構造器、輔助構造器  
單例對象  
伴生對象  
apply和unapply方法  
private關鍵字  
特質、抽象類、繼承、重寫、實現等  
模式匹配之匹配字符串  
模式匹配之匹配類型  
模式匹配之匹配數組、元組、集合  
模式匹配之樣例類  
模式匹配之偏函數



大數據+人工智能免費視頻教程《Actor、柯里化、隱式轉換》


理解Actor并利用Actor模型實現高并發事務、Scala語言的另一個高級特性:高階函數,用柯里化結合隱式轉換實現高階函數的特性。


面向對象基本概念
類和對象的定義格式
作為值的函數  
柯里化概念及聲明方式  
柯里化練習  
隱式轉換和隱式參數  
隱式轉換練習01  
隱式轉換練習02
泛型  
UpperBound  
ViewBound  
ContextBound



大數據+人工智能免費視頻教程《泛型、Akka》


通過學習scala語言部分的課程,學生能夠具備一名中級scala開發工程師水平。


Actor概念  
Actor實例之創建Actor  
Actor實例之消息的接收與發送(異步沒有返回值)  
Actor實例之消息的接收與發送(同步有返回值)  
Actor實例之消息的接收與發送(異步有返回值)  
Actor實例之并行編程思想實現單詞計數  
Akka簡介  
Akka案例需求分析  
Akka案例代碼分析



大數據+人工智能免費視頻教程《Spark集群安裝、Spark任務提交、Spark實現WordCount并上傳任務》



本視頻,系統全面的講解Spark環境的搭建以及與Hadoop生態圈的銜接。


Spark簡介  
Spark集群搭建、啟動  
Spark Shell.啟動和提交任務  
Spark WordCount  
上傳并執行任務



大數據+人工智能免費視頻教程《RDD的基本概念、常用算子練習》


在Scala語言的基礎上,深入理解Spark常用算子和高級算子的使用場景,使得學生在以后的開發過程中能夠靈活運用Spark核心技術。


RDD的概念  
生成RDD的兩種方式  
兩種類型的算子:transformation和action  
常用算子練習01  
常用算子練習02



大數據+人工智能免費視頻教程《案例練習》


講解Spark生態,開發與性能調優雙管齊下,分享企業中實戰技能,學生學習更全面,更實際。


案例需求-求用戶在某基站停留的時間-1  
案例需求-求用戶在某基站停留的時間-2  
案例實現-求用戶訪問學科的子網頁top3
案例實現-求用戶訪問學科的子網頁top3-chache、自定義分區器



大數據+人工智能免費視頻教程《Spark集群啟動流程和任務提交流程、案例練習》



講解Spark生態,開發與性能調優雙管齊下,分享企業中實戰技能,學生學習更全面,更實際。


Spark集群啟動流程  
Spark任務提交流程  
WordCount中創建了那些RDD  
案例分析實現-按照IP統計區域訪問量



大數據+人工智能免費視頻教程《RDD的依賴關系、Stage劃分、任務的生成、自定義排序》


重點介紹RDD的生成、DAG的劃分、生成Task、提交Task到集群的四個步驟


RDD之間的依賴關系  
DAG的生成和stage的劃分  
WebUI觀察stage劃分和任務的生成  
自定義二次排序



大數據+人工智能免費視頻教程《Checkpoint、SparkSQL、Hive-On-Spark》


Checkpoint的重要性和設置檢查點的步驟、理解Spark SQL并掌握實現過程、用Spark引擎來處理Hive需求。


checkpoint  
SparkSQL介紹  
創建DataFrame  
DataFrame常用操作-DSL風格語法  
DataFrame常用操作-SQL風格語法  
通過反射推斷Schema  
通過StructType直接指定Schema  
Hive-On-Spark



大數據+人工智能免費視頻教程《SparkStreaming、窗口操作、Spark-On-Yarn》


用SparkStreaming實現實時需求分析、進一步了解實時分析中窗口操作的概念。


SparkStreaming簡介
實例分析:SparkStreaming獲取Netcat產生的數據進行實時分析
SparkStreaming實現按批次累加  
窗口函數概念及使用場景  
窗口函數實現WordCount  
Spark-On-Yarn  
補充:SparkStreaming依賴



大數據+人工智能免費視頻教程《Spark啟動流程、Stage劃分、任務生成、任務提交流程》


結合源碼深入理解從RDD的生成一直到提交任務到集群的四個步驟。


關于查看源碼的一些介紹  
導入源碼  
集群啟動流程-Master類  
集群啟動流程-Worker類  
SparkSubmit提交任務  
SparkContext  
創建DriverActor和ClientActor的過程  
ClientActor向Master注冊任務信息過程
任務調度的兩種方式及Master通知Worker啟動Executor的過程
Executor向DriverActor反向注冊的過程  
RDD生成和Stage劃分  
生成任務并提交  
Task任務執行流程  
總結-任務生成及提交流程

精彩內容,一鍵分享給更多人!
收藏
收藏0
轉播
轉播
分享
淘帖0
支持
支持0
反對
反對0
回復

使用道具 舉報

您需要登錄后才可以回帖

本版積分規則

關注我們
好程序員
千鋒好程序員

北京校區(總部):北京市海淀區寶盛北里西區28號中關村智誠科創大廈

深圳西部硅谷校區:深圳市寶安區寶安大道5010號深圳西部硅谷B座A區605-619

杭州龍馳智慧谷校區:浙江省杭州市下沙經濟技術開發區元成路199號龍馳智慧谷B座7層

鄭州校區:鄭州市二七區航海中路60號海為科技園C區10層、12層

Copyright 2007-2019 北京千鋒互聯科技有限公司 .All Right

京ICP備12003911號-5 京公安網11010802011455號

請您保持通訊暢通1對1咨詢馬上開啟

广东36选7玩法