插隊<<< doubanclaim64ea944f8164f0e1

從計算任務的特質(zhì)來看分為：

1、大計算量，小數(shù)據(jù)量

2、大數(shù)據(jù)量，計算相對簡單

3、大數(shù)據(jù)量，大計算量

常見的工作負載有：

1、日志分析，PB級別

2、脫機分析，商業(yè)智能，重數(shù)據(jù)量，TB級別

3、調(diào)查式分析，重響應速度，100GB以下

4、金融計算，蒙特卡洛算法，大計算量

常見的分布式計算框架：

1、Hadoop，以分布式文件系統(tǒng)為核心的 Map reduce 框架，擅長超大數(shù)據(jù)量，高延遲，IO開銷大

2、GridGain，以內(nèi)存數(shù)據(jù)庫為核心的分布式計算框架，擅長大計算量，低延遲，IO開銷小

計算的結(jié)構(gòu)有三種：

1、SMP

2、NUMA

3、分布式計算

延遲時間上升，換取計算總能力的上升。IO是主要制約因素。計算量問題首先是IO問題。

從解決問題嘗試順序來說有四層：

1、單線程

2、并行化

3、分布化

4、平臺化

并行化的主要目的是突破單核的計算能力上限

分布化的主要目的是突破單機的計算能力上限

平臺化的主要目的是突破單項目的能力上限

并行化的根本挑戰(zhàn)：

1、任務的切分

2、任務的調(diào)度

重心在算法邏輯上

并行化的主要問題：

1、資源爭搶

2、數(shù)據(jù)的隔離性

3、數(shù)據(jù)的可見性

4、饑餓，死鎖，活鎖

分布化的根本挑戰(zhàn)：

1、計算節(jié)點之間的高延遲

2、分布化之后缺乏OS這樣的管理者角色

在并行化解決了算法問題之后，分布化主要是為了克服物理限制

分布化的主要問題

1、更容易產(chǎn)生死鎖和饑餓

2、拓撲管理

3、異構(gòu)環(huán)境

4、容錯機制

5、分布式負載均衡

6、存儲能力共享

7、計算能力共享

8、代碼的部署和準備

9、集群的監(jiān)控和管理

平臺化的根本挑戰(zhàn)：業(yè)務問題，政治問題

平臺化的主要問題：

1、統(tǒng)一的計算抽象

2、統(tǒng)一的數(shù)據(jù)抽象

3、異構(gòu)數(shù)據(jù)的處理

4、業(yè)務優(yōu)先級的保證

平臺化的根本挑戰(zhàn)

從實現(xiàn)層面看，有三層問題需要考慮：

1、計算流程

2、多機計算

3、單機計算