hadoop主节点叫什么 hadoop 什么是decommission data

hadoop 什么是decommission data  

hadoop 什么是demission data

data目录是要储存HDFS的档案内容的，而name目录只是存放HDFS档案系统的元资料的，比如档案的块分布情况。如果你将一个档案从本地档案系统拷贝到HDFS档案系统中，那么data目录就有内容了。

为什么hadoop删除节点在Demission in progress不动了

这可没法回答，发详细的错误日志资讯。感觉是你删除节点的方法不对

什么是hadoop

一个分散式系统基础架构，由Apache基金会所开发。
使用者可以在不了解分散式底层细节的情况下，开发分散式程式。充分利用丛集的威力高速运算和储存。
Hadoop实现了一个分散式档案系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬体上；而且它提供高传输率（high throughput）来访问应用程式的资料，适合那些有着超大资料集（large data set）的应用程式。HDFS放宽了（relax）POSIX的要求，可以流的形式访问（streaming aess）档案系统中的资料。
了解更多开源相关，去LUPA社群看看吧。

什么是primary data和secondary data?

原始资料、原始资料 & 二手资料，二手/次级资料

hadoop入门，了解什么是hadoop

你学hadoop的动机是什么?只是玩玩而已么。还是想从事这方面。
如果是后者，那么不学linux那就是个笑话，hadoop，直白点来说是多个主机来做一个储存或资料库，你不学习linux怎么配置各个linux的环境?怎么控制他的负载均衡?
甚至你需要学习网路等方面的知识，里面的一些报错很抽象，需要根据一些网路基础判断出错原因。

什么是hadoop trunk

Hadoop实现了一个分散式档案系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬体上；而且它提供高传输率（high throughput）来访问应用程式的资料，适合那些有着超大资料集（large data set）的应用程式。HDFS放宽了（relax）POSIX的要求，可以流的形式访问（streaming aess）档案系统中的资料。
----来自百度百科
个人理解：一个分散式档案储存系统+一个分散式计算框架，在其上还有很多的开源专案来丰富他的功能，如Hbase,hive等等
简单说，埠如果配置为trunk模式，则允许多个vlan的资料通过该埠，一般是交换机与交换机互联的埠配置成trunk。9600这个型号没听说过，如果说的是2960系列交换机的话，要看版本，有的是需要先配置封装，config模式下举例
inter g0/1
switchport trunk encapsulation dot1q(先打这条，再打下面的）
switchport mode trunk
配好之后预设的native vlan是1
有的版本不需要配置封装
直接 switchport mode trunk 就可以了。

什么是hadoop，怎样学习hadoop

Hadoop实现了一个分散式档案系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬体上；而且它提供高吞吐量（high throughput）来访问应用程式的资料，适合那些有着超大资料集（large data set）的应用程式。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming aess）档案系统中的资料。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的资料提供了储存，则MapReduce为海量的资料提供了计算。一句话来讲Hadoop就是储存加计算。
Hadoop这个名字不是一个缩写，而是一个虚构的名字。该专案的建立者，Doug Cutting解释Hadoop的得名 ：“这个名字是我孩子给一个棕黄色的大象玩具命名的。
Hadoop是一个能够让使用者轻松架构和使用的分散式计算平台。使用者可以轻松地在Hadoop上开发和执行处理海量资料的应用程式。它主要有以下几个优点：
1、高可靠性Hadoop按位储存和处理资料的能力值得人们信赖。
2、高扩充套件性Hadoop是在可用的计算机集簇间分配资料并完成计算任务的，这些集簇可以方便地扩充套件到数以千计的节点中。
3、高效性Hadoop能够在节点之间动态地移动资料，并保证各个节点的动态平衡，因此处理速度非常快。
4、高容错性Hadoop能够自动储存资料的多个副本，并且能够自动将失败的任务重新分配。
5、低成本与一体机、商用资料仓库以及QlikView、Yonghong Z-Suite等资料集市相比，hadoop是开源的，专案的软体成本因此会大大降低。
Hadoop带有用Java语言编写的框架，因此执行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程式也可以使用其他语言编写，比如 C++。
Hadoop大资料处理的意义
Hadoop得以在大资料处理应用中广泛应用得益于其自身在资料提取、变形和载入(ETL)方面上的天然优势。Hadoop的分散式架构，将大资料处理引擎尽可能的靠近储存，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向储存。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务(Map)传送到多个节点上，之后再以单个数据集的形式载入(Reduce)到资料仓库里。
Hadoop由以下几个专案构成
1、Hadoop Common ：Hadoop体系最底层的一个模组，为Hadoop各子专案提供各种工具，如：配置档案和日志操作等。
2、HDFS：分散式档案系统，提供高吞吐量的应用程式资料访问，对外部客户机而言，HDFS 就像一个传统的分级档案系统。可以建立、删除、移动或重新命名档案，等等。但是 HDFS 的架构是基于一组特定的节点构建的（参见图 1），这是由它自身的特点决定的。这些节点包括 NameNode（仅一个），它在 HDFS 内部提供元资料服务；DataNode，它为 HDFS 提供储存块。由于仅存在一个 NameNode，因此这是 HDFS 的一个缺点（单点失败）。 储存在 HDFS 中的档案被分成块，然后将这些块复制到多个计算机中（DataNode）。这与传统的 RAID 架构大不相同。块的大小（通常为 64MB）和复制的块数量在建立档案时由客户机决定。NameNode 可以控制所有档案操作。HDFS 内部的所有通讯都基于标准的 TCP/IP 协议。
3、MapReduce ：一个分散式海量资料处理的软体框架集计算丛集。
4、Avro ：doug cutting主持的RPC专案，主要负责资料的序列化。有点类似Google的protobuf和Facebook的thrift。avro用来做以后hadoop的RPC，使hadoop的RPC模组通讯速度更快、资料结构更紧凑。
5、Hive ：类似CloudBase，也是基于hadoop分散式计算平台上的提供data warehouse的sql功能的一套软体。使得储存在hadoop里面的海量资料的汇总，即席查询简单化。hive提供了一套QL的查询语言，以sql为基础，使用起来很方便。
6、HBase ：基于Hadoop Distributed File System，是一个开源的，基于列储存模型的可扩充套件的分散式资料库，支援大型表的储存结构化资料。
7、Pig ：是一个平行计算的高阶的资料流语言和执行框架 ，SQL-like语言，是在MapReduce上构建的一种高阶查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且使用者可以定义自己的功能。
8、ZooKeeper ：Google的Chubby一个开源的实现。它是一个针对大型分散式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分散式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的介面和效能高效、功能稳定的系统提供给使用者。
9、Chukwa ：一个管理大型分散式系统的资料采集系统 由yahoo贡献。
10、Cassandra ：无单点故障的可扩充套件的多主资料库 。
11、Mahout ：一个可扩充套件的机器学习和资料探勘库 。
Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性，正是这些设计上与生俱来的优点，才使得Hadoop 一出现就受到众多大公司的青睐，同时也引起了研究界的普遍关注。到目前为止，Hadoop 技术在网际网路领域已经得到了广泛的运用，如Yahoo、Facebook、Adobe、IBM、百度、阿里巴巴、腾讯、华为、中国移动等。
关于怎样学习hadoop，首先要了解并且深刻认识什么是hadoop，它的原理以及作用是什么，包括基本构成是什么，分别有什么作用，当然，在学习之前，至少要掌握一门基础语言，这样在学习起来才会事半功倍，因为目前hadoop在国内发展时间不长，有兴趣的朋友可以先找一些书籍来学习，打好基本功，本站也将持续更新有关hadoop的学习方法以及资料资源共享，希望我们一起努力，有好的方法和建议欢迎交流。

什么是 Apache Hadoop

Hadoop是一个由Apache基金会所开发的分散式系统基础架构。
使用者可以在不了解分散式底层细节的情况下，开发分散式程式。充分利用丛集的威力进行高速运算和储存。
[1] Hadoop实现了一个分散式档案系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬体上；而且它提供高吞吐量（high throughput）来访问应用程式的资料，适合那些有着超大资料集（large data set）的应用程式。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming aess）档案系统中的资料。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的资料提供了储存，则MapReduce为海量的资料提供了计算。[2]
参考资料：:baike.baidu./link?url=vFe2tGSMoXNc7K45h57KkAQMcUNL2fJOkXPj3n_Tz-PRvnN24a9faiSsZNjHxBXJlBuXK6EhTAp0yeimu2M4jq

是一个apache的开源专案，由分散式档案计算系统hadoop,大资料表hbase,丛集工具zookeeper，计算简化工具pig,hive，高阶计算工具mahout等组成。用来储存处理普通资料库处理不了的极大资料获取有价值资讯。