hadoop和hdfs的关系 GreenPlum 与hadoop什么关系

GreenPlum 与hadoop什么关系  

GreenPlum 与hadoop什么关系

GreenPlum的元件分成三个部分MASTER/SEGMENT以及MASTER与SEGMENT之间的高效互联技术GNET。其中MASTER和SEGMENT本身就是独立的资料库SERVER。不同之处在于，MASTER只负责应用的连线，生成并拆分执行计划，把执行计划分配给SEGMENT节点，以及返回最终结果给应用，它只储存一些资料库的元资料，不负责运算，因此不会成为系统性能的瓶颈。这也是GREENPLUM与传统MPP架构资料库的一个重要区别。 SEGMENT节点储存使用者的业务资料，并根据得到执行计划，负责处理业务资料。也就是使用者关系表的资料会打散分布到每个SEGMENGT节点。当进行资料访问时，首先所有SEGMENT并行处理与自己有关的资料，如果需要segment可以通过进行innterconnect进行彼此的资料互动。 segment节点越多，资料就会打的越散，处理速度就越快。因此与SHARE ALL资料库丛集不同，通过增加SEGMENT节点伺服器的数量，GREENPLUM的效能会成线性增长。
GREENPLUM是典型关系型资料库产品，是面向查询的关系型资料库，它的
特点主要就是查询速度快，资料装载速度快，批量DML处理快。而且效能
可以随着硬体的新增呈线性增加，拥有非常良好的可扩充套件性。因此，它主
要适用于面向分析的应用。GreenPlum基于 Apache MADLib 的高阶机器
学习功能，支援快速复杂查询分析，满足各种BI使用者需求。
所以，greenplum是分散式资料库系统。
apache hadoop是大规模分散式计算的框架，涉及分散式储存HDFS，分散式平行计算框架MapReduce，Hadoop Yarn 作业排程和丛集资源管理框架，hadoop架构相关的框架HBase,Hive,Pig,ZooKeeper，还有火到爆的spark。
可以看出hadoop更像是一种分散式计算的框架，会有越来越多的应用框架使用hadoop框架完成大资料分析，你甚至可以把Greenplum部署到hadoop上，完成大资料的分析处理。

主流伺服器一般由多个NUMA节点组成，每个NUMA节点是一个SMP结构，一般由多个CPU组成，并且具有本地记忆体和IO装置。
NUMA节点可以直接访问本地记忆体，也可以通过NUMA互联模组访问其他NUMA节点的记忆体，但是访问本地记忆体的速度远远高于远端访问速度，因此，开发程式要尽量减少不同NUMA节点之间的资讯互动。

gp 可以处理大量资料, hadoop 可以处理海量.
gp 只能处理湖量,或者河量. 无法处理海量.

GreenPlum采取的是PostgreSql框架，是PostgreSql系的重要应用。
从这个角度上可以知道GreenPlum是关系型资料库。Hadoop框架是一种分散式的平台设计理念。
它本身不是资料库。其中Impala可以认为是一种非关系型的资料库, Hive相当于SQL。

gp的定位是mpp产品，与hadoop的定向不一样，并且处于市场竞争关系。gp大资料并行处理的时延低，主要用来做并发查询与即席查询。而hadoop从资料的安全性，资料处理吞吐已经资料量为重，处理资料时的时延较高。不过gp是采用master-slave的share nothing架构，丛集扩充套件有限，master很容易成为瓶颈，最多也只能上百个节点。而hadoop的namenode需要储存元资料，所以丛集节点也是有上限的

hadoop和cpps有什么关系

Hadoop自带了几个基准测试，被打包在几个jar包中，如hadoop-test.jar和hadoop-examples.jar，在Hadoop环境中可以很方便地执行测试。
测试使用的Hadoop版本是cloudera的hadoop-0.20.2-cdh3u3。