過來人給你聊一聊,大資料學習方向

2021-07-08 12:56:38

大資料方向的工作目前分為三個主要方向:

01.大資料工程師

02.資料分析師

03.大資料科學家

04.其他（資料探勘本質算是機器學習，不過和資料相關，也可以理解為大資料的一個方向吧）

一、學習目標

企業級大資料工程師實訓以Java，Python，資料庫，Linux 為技術基礎，提高學員大資料開發技術水平及綜合素質為根本目標。在專業技術上突出強調學員對專業知識的實際應用；在綜合素質上突出強調學員的學習及應用能力、分析和解決問題的能力、良好的職業素質和團隊合作。

立足於培養大資料開發、架構設計、項目管理、技術支援等方向的人才，學生在具有必備的基礎理論知識和專業知識的基礎上，培養以下能力：

①掌握主流的開源大資料技術,包括安裝、使用、開發；

②理解大資料開發特點；能基於使用者的業務場景給出大資料技術解決方案；

③掌握企業大資料項目開發分析、設計、實現、測試、釋出全過程；

④瞭解並體驗企業工作環境和工作方式；

⑤培養職業素質、團隊合作精神及溝通能力，體驗企業文化，適應未來的工作環境；

⑥增強實訓學員的就業能力，培養符合企業需求的大資料工程師。

二、學習方向

階段一：大資料基礎

Linux虛擬機器安裝

Linux操作方法與常用命令

Linux軟體安裝。

複雜邏輯的SQL實現

海量資料的SQL開發注意事項

簡單網路資料抓取

需驗證登入的網路資料抓取

階段二：資料倉庫

資料倉庫基本概念

資料倉庫設計

用kettle實現ETL開發

用EasySchedule實現ETL開發

資料質量和任務排程

階段三：Apache Hadoop

Hadoop安裝與參數設定

Hadoop概述

HDFS操作方法

java開發遠端訪問HDFS

MR開發語法

hadoop生態紹

Apache Hive簡介與操作

Apache Hive開發

Apache Spark安裝

Apache Spark原理

Apache Spark Dataset開發語法

Apache Spark SQL開發語法

Apache Spark RDD開發語法

Apache Spark RDD開發案例解析

Apache HBASE安裝

Apache HBASE原理

Apache HBASE開發語法

階段四：流計算

Apache KAFKA安裝

Apache KAFKA原理

Apache KAFKA訊息生產者開發

Apache KAFKA訊息消費者開發

Apache Flink安裝

Apache Flink原理

Flink DataStream 接收socket資料來源

Flink DataStream 接收KAFKA資料來源

Apache Flink 資料輸出到hdfs、mysql

階段五：高效能資料庫

ElasticsSearch安裝

ElasticsSearch原理

ElasticsSearch的增刪改查開發

ClickHouse安裝

ClickHouse原理

ClickHouse語法

ClickHouse遠端訪問

階段六：資料探勘

資料探勘流程

常用演算法

資料探勘工具WEKA使用

Java呼叫WEKA演算法開發

Java 呼叫xgboost演算法開發

Python呼叫常用機器學習演算法

階段七：資料視覺化

JimuReport安裝

JimuReport開發流程

JimuReport表格開發

JimuReport圖形開發

階段八：架構設計

架構設計概述

功能架構設計

技術架構設計

系統架構設計

硬體與網路設計

過來人給你聊一聊,大資料學習方向

熱門文章