hadoop和spark 从事分散式系统，计算，hadoop 等方面工作需要哪些基础

从事分散式系统，计算，hadoop 等方面工作需要哪些基础  

从事分散式系统，计算，hadoop 等方面工作需要哪些基础

建议先熟悉作业系统，网路，资料库这三个基本课程的内容，最好再加上编译。接着从Google的三篇论文入手，GFS，MapReduce，Bigtable，其分别代表了分散式储存、计算和Nosql三个领域。
Hadoop1.0是根据MapReduce这篇论文做出来的东西。
当然这都是快10年前的东西了，然后针对自己要研究的方面再继续看深入的东西。

Hadoop主要元件是三个， hdfs, mapreduce和 core. HDFS是分散式档案系统，mapreduce是分散式计算平台。 他们组后后可以完成海量资料储存和资料分析的工作。 但是Mapreduce得模型只能处理一些简单的业务，这是他们的受限之处。 对于他们在效能上和可靠性上的问题，hadoop开源本身的发展正在解决问题。

想从事分散式系统，计算，hadoop等方面，需要哪些基础，推荐哪些书籍

其实，国内有个坏毛病，就是一旦国外搞个什么东东，就以为是什么圣经，一帮卫道士们到处炫耀以为很牛逼，我看一帮人推荐Hadoop的书，实在有点好笑，就一工具有啥好推荐的，如果楼主真的想踏踏试试的从事分散式方面的，想扎扎实实地学点基本功，就从网路、分散式一点一滴的慢慢学期，把基础打捞，其它基本上是不攻自破了，这里我推荐几本书吧：
《计算机网路》Tanenbaum版
《TCP/IP协议详解》一、二卷
《分散式系统：概念与设计》
《分散式系统：原理与范型》
《分散式作业系统》Tanenbaum版

这里我推荐几本书吧：
《计算机网路》Tanenbaum版
《TCP/IP协议详解》一、二卷
《分散式系统：概念与设计》
《分散式系统：原理与范型》
《分散式作业系统》Tanenbaum版

再看“Google三大论文”；

接下来再研究Hadoop的实现。

您好，很高兴为您解答。
课程：
MIT 6.824: Distributed Computer Systems Engineering——经典和详细的介绍了分散式系统的技术和工程实现经验，值得每个做分散式系统的人去看一遍，继续锤炼和提高自己的眼界和技术。
补充三篇论文:
1. Sinfonia: A New Paradigm for Building Scalable Distributed Systems，这篇论文是SOSP2007的Best Paper，阐述了一种构建分散式档案系统的正规化方法，个人感觉非常有用。淘宝在构建TFS、OceanBase和Tair这些系统时都充分参考了这篇论文。
2. The Chubby lock service for loosely-coupled distributed systems，:static.googleusercontent./external_content/untrusted_dlcp/research.google./zh-CNarchive/chubby-osdi06.pdf，这篇论文详细介绍了Google的分散式锁实现机制Chubby。Chubby是一个基于档案实现的分散式锁，Google的Bigtable、Mapreduce和Spanner服务都是在这个基础上构建的，所以Chubby实际上是Google分散式事务的基础，具有非常高的参考价值。另外，著名的zookeeper就是基于Chubby的开源实现，但是根据在Google工作的朋友讲，zookeeper跟Chubby在效能和功能上都还有差距。
3. Spanner: Google's Globally-Distributed Database，这个是第一个全球意义上的分散式资料库，也是Google的作品。其中介绍了很多一致性方面的设计考虑，为了简单的逻辑设计，还采用了原子钟，同样在分散式系统方面具有很强的借鉴意义。
如若满意，请点选右侧【采纳答案】，如若还有问题，请点选【追问】
希望我的回答对您有所帮助，望采纳！
~ O(∩_∩)O~

您好，很高兴为您解答。 课程： MIT 6.824: Distributed Computer Systems Engineering——经典和详细的介绍了分散式系统的技术和工程实现经验，值得每个做分散式系统的人去看一遍，继续锤炼和提高自己的眼界和技术。 补充三篇论文: 1. Sinfonia: ...

java的东西必须要会，然后再看hadoop的书，多练习才是王道。

分散式系统与云端计算说了哪些知识？

一、云端计算概念
二、云计算历史
三、云端计算现状
四，云计算发展前景
五、云端计算实现，目前存在的问题。
写论文多参考:华为的云端计算，wingdows云端计算，goole云端计算。明天看看再补充些，多参考