大數(shù)據(jù)概念和關(guān)鍵驅(qū)動(dòng)因素

大數(shù)據(jù)的定義

大數(shù)據(jù)的四個(gè)特征的名稱(chēng)

兩類(lèi)機(jī)器學(xué)習(xí)的名稱(chēng)和通常與之相關(guān)的技術(shù)

監(jiān)督式 - 分類(lèi)和回歸

非監(jiān)督式 - 聚類(lèi)和關(guān)聯(lián)

大數(shù)據(jù)的起源和三類(lèi)大數(shù)據(jù)發(fā)展階段的特點(diǎn)：

大數(shù)據(jù)的四個(gè)特征以及它們?nèi)绾螀^(qū)分大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)分析

1. Volume – 體量 2. Velocity – 速率 3. Variety- 多樣性 4. Veracity – 可信度

四種識(shí)別模式

1.analysis - 分析 2.analytics- 解析 3.business intelligence - 商業(yè)智能 4.Big Data - 大數(shù)據(jù)

不同類(lèi)型的解析目的

1. descriptive - 描述性 2. diagnostic - 診斷性 3. predictive - 預(yù)測(cè)性 4. prescriptive - 規(guī)范性

大數(shù)據(jù)環(huán)境中元數(shù)據(jù)的功能

三類(lèi)數(shù)據(jù)類(lèi)型的特征

1. Structured - 結(jié)構(gòu)化 2. Unstructured - 非結(jié)構(gòu)化 3. Semi-structured - 半結(jié)構(gòu)化

Hadoop 在分布式存儲(chǔ)和分布式處理中的作用

了解兩類(lèi)機(jī)器學(xué)習(xí)，并能夠識(shí)別相關(guān)樣

1.Supervised - 監(jiān)督式 2.Unsupervised - 非監(jiān)督式

大數(shù)據(jù)框架

大數(shù)據(jù)框架六種能力的名稱(chēng)

如何建立大數(shù)據(jù)組織的六大數(shù)據(jù)框架能力的相關(guān)性

大數(shù)據(jù)成熟度模型的不同層次

Level 1 - Analytically Impaired – 分析能力有損級(jí)

Level 2 - Localized Analytics – 分析能力本地級(jí)

Level 3 - Analytical Operation - 分析能力運(yùn)營(yíng)級(jí)

Level 4 - Analytical Enterprise - 分析能力企業(yè)級(jí)

Level 5 - Data Driven Enterprise - 數(shù)據(jù)驅(qū)動(dòng)企業(yè)級(jí)

大數(shù)據(jù)戰(zhàn)略

制定大數(shù)據(jù)戰(zhàn)略的五個(gè)步驟及其順序

制定大數(shù)據(jù)戰(zhàn)略所需要的六個(gè)業(yè)務(wù)驅(qū)動(dòng)影響因素，以及如何使用大數(shù)據(jù)來(lái)產(chǎn)生競(jìng)爭(zhēng)優(yōu)勢(shì)

優(yōu)先級(jí)矩陣

1. 目的 2. 結(jié)構(gòu)

制定大數(shù)據(jù)戰(zhàn)略五個(gè)步驟中的每一步所涉及的活動(dòng):

步驟1 - 定義業(yè)務(wù)目標(biāo)

步驟2 - 評(píng)估當(dāng)前現(xiàn)狀

步驟3 - 識(shí)別用例并排優(yōu)先級(jí)

步驟4 - 制定大數(shù)據(jù)路線(xiàn)圖

步驟5 - 通過(guò)變更管理植入

大數(shù)據(jù)架構(gòu)

指導(dǎo)性架構(gòu)與其目標(biāo)

NIST 大數(shù)據(jù)參考架構(gòu)的主要特點(diǎn)

整體結(jié)構(gòu)（5 個(gè)邏輯角色和2個(gè)維度)

角色名稱(chēng)

維度名稱(chēng)

信息如何在不同角色之間流動(dòng)

Hadoop 架構(gòu)下核心組件的名稱(chēng)

NameNode – 名字節(jié)點(diǎn)

MapReduce – 映射歸約

SlaveNode - 從屬節(jié)點(diǎn)

Job tracker – 工作跟蹤器

HDFS - 分布式文件系統(tǒng)

使用大數(shù)據(jù)參考架構(gòu)的收益

與參考架構(gòu)中的邏輯角色相關(guān)聯(lián)的職能和活動(dòng)

System Orchestrator - 系統(tǒng)編配器

Data Provider - 數(shù)據(jù)提供者

Big Data Application Provider - 大數(shù)據(jù)應(yīng)用提供者

Big Data Framework Provider - 大數(shù)據(jù)框架提供者

Data Consumer - 數(shù)據(jù)消費(fèi)者

本地式處理和分布式存儲(chǔ)處理的區(qū)別

面對(duì)海量數(shù)據(jù)的三種大數(shù)據(jù)存儲(chǔ)系統(tǒng)

Direct Attached Storage (DAS)- 直接附加存儲(chǔ)

Network Attached Storage (NAS) - 網(wǎng)絡(luò)附加存儲(chǔ)

Storage Area Network (SAN) - 存儲(chǔ)區(qū)域網(wǎng)絡(luò)

大數(shù)據(jù)存儲(chǔ)機(jī)制

File systems - 文件系統(tǒng)

NoSQL databases - NoSQL 數(shù)據(jù)庫(kù)

Parallel programming models - 并行編程模型

大數(shù)據(jù)實(shí)證分析體系結(jié)構(gòu)

Real time analysis- 實(shí)時(shí)分析

Off-line analysis - 離線(xiàn)分析

Hadoop 在大數(shù)據(jù)環(huán)境中的功能

以下 Hadoop 組件的角色

NameNode – 名字節(jié)點(diǎn)

MapReduce – 映射歸約

SlaveNode - 從屬節(jié)點(diǎn)

Job tracker – 工作跟蹤器

HDFS – 分布式文件系統(tǒng)

大數(shù)據(jù)算法

什么是描述性統(tǒng)計(jì)信息

關(guān)聯(lián)的關(guān)鍵要素

什么是關(guān)聯(lián)（correlation

兩種用于關(guān)聯(lián)的變量類(lèi)型

關(guān)于Pearson皮爾遜關(guān)聯(lián)系數(shù)的關(guān)鍵要素

分類(lèi)的關(guān)鍵要素

它能做什么？

機(jī)器學(xué)習(xí)的形式是什么？

對(duì)于每種類(lèi)型的描述性統(tǒng)計(jì)，了解每個(gè)統(tǒng)計(jì)操作/分布措施或顯示

Central tendency statistics - 集中趨勢(shì)統(tǒng)計(jì)

Dispersion statistics and – 離散統(tǒng)計(jì)

Distribution Shapes – 分布形態(tài)

偏度特征

Positive - 正偏度

Negative – 負(fù)偏度

大數(shù)據(jù)計(jì)算中為什么要標(biāo)準(zhǔn)化

識(shí)別和計(jì)算描述性統(tǒng)計(jì)的示例

不同類(lèi)型的分布式圖形的不同類(lèi)型特征

1.Frequency - 頻率分布 2.Probability - 概率分布 3.Sampling – 抽樣分布 4.Normal – 正態(tài)分布

為什么分布式圖形對(duì)大數(shù)據(jù)和數(shù)據(jù)科學(xué)很重要

Probability - 概率分布

Sampling – 抽樣分布

Normal – 正態(tài)分布

Skew – 偏度

人口、抽樣和偏倚對(duì)大數(shù)據(jù)的影響

如何在大數(shù)據(jù)中使用關(guān)聯(lián)，并識(shí)別這些示例

關(guān)聯(lián)與回歸的區(qū)別

識(shí)別分類(lèi)算法的示例

聚類(lèi)的關(guān)鍵特性

它能做什么？

大多數(shù)聚類(lèi)算法的典型著眼點(diǎn)

如何在大數(shù)據(jù)的上下文中使用異常檢測(cè)

每個(gè)可視化技術(shù)的關(guān)鍵特性以及每種技術(shù)是如何使用的

1. 柱形圖 2. 直方圖 3. 散點(diǎn)圖 4. 雙標(biāo)圖 5. 箱型圖 6.正態(tài)分布Q-Q圖 7.餅狀圖

大數(shù)據(jù)流程

用于大數(shù)據(jù)中三個(gè)的主要流程及其主要特征

在數(shù)據(jù)分析流程中的步驟是通常使用的下列工具/技術(shù)以及它們?cè)谠摬襟E中的應(yīng)用方式

1.數(shù)據(jù)識(shí)別圖 2.數(shù)據(jù)可視化技術(shù) 3. 算法

形成大數(shù)據(jù)項(xiàng)目業(yè)務(wù)目標(biāo)的六類(lèi)問(wèn)題的特點(diǎn)

1.描述性 2.探索性 3.推理性 4.預(yù)測(cè)性 5.因果性 6.機(jī)理性

數(shù)據(jù)分析流程中每個(gè)步驟的重要性以及每個(gè)步驟中發(fā)生的情況

1.確定目標(biāo) 2.數(shù)據(jù)識(shí)別 3.數(shù)據(jù)收集和采購(gòu) 4.數(shù)據(jù)評(píng)審 5.數(shù)據(jù)清洗 6.模型建立 7.數(shù)據(jù)處理 8.溝通結(jié)果

數(shù)據(jù)治理流程中每個(gè)步驟的重要性以及每個(gè)步驟中發(fā)生的情況

1.制定數(shù)據(jù)質(zhì)量戰(zhàn)略 2.評(píng)審合規(guī)性和隱私性需求 3.制定數(shù)據(jù)治理政策 4.分配角色和職責(zé)

數(shù)據(jù)管理流程中每個(gè)步驟的重要性以及每個(gè)步驟中發(fā)生的情況

1.指定指標(biāo)和績(jī)效指標(biāo) 2.監(jiān)控和管理企業(yè)數(shù)據(jù) 3.數(shù)據(jù)改進(jìn)和驗(yàn)證 4.對(duì)數(shù)據(jù)管理人員進(jìn)行溝通和培訓(xùn)

大數(shù)據(jù)職能

卓越的大數(shù)據(jù)中心的五大支柱名稱(chēng)和每個(gè)支柱的關(guān)鍵特征:

1.大數(shù)據(jù)團(tuán)隊(duì) 2.大數(shù)據(jù)實(shí)驗(yàn)室 3.概念驗(yàn)證 4.敏捷方法 5.計(jì)費(fèi)模型

卓越的大數(shù)據(jù)中心的收益

大數(shù)據(jù)團(tuán)隊(duì)中關(guān)鍵角色的典型職責(zé)和技能

1.大數(shù)據(jù)分析師 2.大數(shù)據(jù)科學(xué)家 3.大數(shù)據(jù)工程師

大數(shù)據(jù)組織的六個(gè)成功因素

人工智能

基于圖靈測(cè)試的智能化的實(shí)用型定義

關(guān)于認(rèn)知分析的關(guān)鍵因素

1.什么是認(rèn)知分析 2.認(rèn)知分析與其他形式的分析之間差異的兩個(gè)主要特征