hbase入门教程（怎样进行大数据的入门级学习）

本文目录

• 怎样进行大数据的入门级学习
• 大数据课程基础内容有哪些
• hbase源码怎么导入eclipse

怎样进行大数据的入门级学习

如今大数据发展得可谓是如日中天，各行各业对于大数据分析和大数据处理的需求也是与日俱增，越来越多的决策、建议、规划和报告，都要依靠大数据的支撑，学习大数据成了不少人提升或转行的机会。因此，入门大数据开始成为很多人的第一步，下面给大家讲讲，究竟大数据入门，首要掌握的知识点有哪些，如何一步一步进阶呢？

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。楼主是JAVA毕业的，这无疑是极好的开头和奠基啊，可谓是赢在了起跑线上，接收和吸收大数据领域的知识会比一般人更加得心应手。

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。基础

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

记住学到这里可以作为你学大数据的一个节点。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

大数据课程基础内容有哪些

如需学习大数据，推荐选择【达内教育】，大数据的基础课程有以下这些：
第一阶段：大数据技术入门，前流行大数据技术，数据技术原理，并介绍其思想，介绍【大数据技术培训课程】，概要介绍。
第二阶段：海量数据高级分析语言，Scala是一门多范式的编程语言，介绍Scala的函数，函数按名称调用，使用命名参数函数。
第三阶段：海量数据存储分布式存储
HadoopHDFS分布式存储：HDFS是Hadoop的分布式文件存储系统，是一个高度容错性的系统，适合部署在廉价的机器上，HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用，介绍其的入门基础知识，深入剖析。
第四阶段：海量数据分析分布式计算
HadoopMapReduce分布式计算：是一种编程模型，用于打过莫数据集的并行运算。
Hiva数据挖掘：对其进行概要性简介，数据定义，创建，修改，删除等操作。
Spare分布式计算：Spare是类MapReduce的通用并行框架。感兴趣的话点击此处，免费学习一下
想了解更多有关大数据的相关信息，推荐咨询【达内教育】。达内与阿里、Adobe、红帽、ORACLE、微软、美国计算机行业协会（CompTIA）、百度等国际知名厂商建立了项目合作关系。共同制定行业培训标准，为达内学员提供高端技术、所学课程受国际厂商认可，让达内学员更具国际化就业竞争力。达内IT培训机构,试听名额限时抢购。

hbase源码怎么导入eclipse

　　如何使用Eclipse导入并运行源码(
　　网上关于Eclipse配置和开发入门程序的文章很多，可是要么很粗浅，要么很高深，却很少看到讲解如何把别人的源码导入到自己的Eclipse环境中编译运行的描述。做为初学者，能够学习网上一些优秀源码是提高的必由之路，可是Eclipse却不象VC和Delphi那样容易上手，对于很多初学者来说，它似乎还是太难了点。在找不到很好的关于Eclipse入门教程的情况下，为了能运行网上下载的Java源码，我颇费了一些时间寻找如何正确的导入源码并运行的方法，不敢独美，特贡献出来与初学者共享。
　　运行环境：
　　Java EE 5.0
　　Eclipse 3.1 中文版
　　源代码用例（都是Java Application）：
　　仿真Windows记事本
　　连连看
　　上述的两个源代码在赛迪网上可以找到。关于JDK的配置、安装和Eclipse的安装本文不再赘述，读者可以很容易地找到相关的资料。本文只讲使用Eclipse来导入源代码的方法。
　　首先确保你的工作空间已经创建好，在我的机器上工作空间所在的目录是“e:/workspace”。源代码存放路径假设为“我的文档/cai/Java/一个仿windows的记事本”和“我的文档/cai/Java/连连看/kyodai”。
　　下面开始介绍导入源码的方法。
　　◎选择菜单“文件/新建/项目”，选择“Java项目”，弹出“创建Java项目”对话框。
　　◎在“创建Java项目”中输入“项目名”，项目名可以为任意名字，不必和main类的名字一样。这里假设为“Notepad”。
　　在“内容”中有两个单选按钮，视你的需要来使用。其中“在工作空间中创建新项目”会在你的工作空间中创建一个新目录，目录名与项目名一致；“从现有资源创建项目”可以在源码所在目录中直接编译运行，生成的class文件也会存放在源码目录中。
　　
　　下面先讲“在工作空间中创建新项目”的方法。
　　◎在“内容”中单选“在工作空间中创建新项目”，点击“完成”按钮。此时在e:/workspace下生成Notepad目录。
　　◎下面需要导入源码到工作空间去。选择菜单“文件/导入”，选择“文件系统”。弹出“文件系统”对话框。
　　◎在“从目录”中选择源码存放目录“我的文档/cai/Java/一个仿windows的记事本”，勾选上所有的.java源码，其他的垃圾不要选上。下面又有两个选择：对话框下方有两个选项，若选择“创建完整的文件夹结构”，就会按源码所存放的路径完整地在工作空间中创建目录，创建完毕会由于main方法类的路径不对而在包资源管理器内的图标上显示叉叉，无法编译成功；若选择“只创建选择的文件夹”，则会在工作空间创建的目录下导入所有的文件而不会保留原目录，此时可以编译成功。
　　◎若选择“创建完整的文件夹结构”，导入完成后，选择菜单“项目/属性/Java构建路径/源代码”，点击“添加文件夹”，把子目录逐级点开，直到源代码所在这级目录为止，勾选上该目录。弹出的提示对话框点击确定即可。注意上级目录不要勾选，否则会报错。这样这种方法导入的源码也可以编译运行了。
　　◎注意若源代码中含有子目录，在main程序中会有import ...的语句，此时要注意import后面的目录级别，在选择Java构建路径时要勾选上import指明的上级目录名。例如，连连看代码中有子目录topbar，在main程序中有import kyodai.topbar语句，那么就要勾选到“我的文档/cai/Java/连连看/”这级目录，而非源码所在的“我的文档/cai/Java/连连看/kyodai”目录。
　　◎在连连看源码中，作者已经把所有源码都打包成了一个Jar，此时只需要添加该Jar包而不需要导入其他源码就可以运行了（但不能调试，因为Jar包中不含源码）。方法是创建完新项目后，选择菜单“项目/属性/Java构建路径”，点击“库”页，点击“添加外部JAR”按钮，选择源码自带的Jar包即可运行。
　　
　　下面介绍“从现有资源创建项目”的方法。
　　◎在“创建Java项目”对话框中，点击“下一步”按钮，弹出“Java设置”对话框。
　　◎在“Java设置”对话框中选择“库”页，选择“添加JAR”，若找不到随源码提供的Jar包，就选择“添加外部JAR”。一般如果Jar存放的目录正确，在“添加JAR”中是可以找到该条目的。双击出现的Jar包即可添加进去。若不需要额外的库支持，则点击“完成”。
　　
　　这样，用上面两种方法创建的项目就可以编译运行了。下面就介绍运行的方法。
　　◎选择菜单“Run/运行”，弹出“创建、管理和运行配置”对话框。
　　◎根据源码的种类在左边的列表中进行选择。我们用的两个例子都是Java应用程序，所以双击“Java应用程序”，在对话框右边可以输入运行的配置。
　　◎如果新建了项目还没有运行过，那么右边的“项目”栏缺省值即为刚创建的项目。在“名称”栏中输入运行配置的名称，建议与项目名称一致（也可以不一致），不能与其他的运行配置重名。
　　◎点击“Main类”栏右方的“搜索”按钮，一般只有一个main类，在弹出的对话框中双击下面那个栏目的main类即可。如果需要以其他的main方法做为程序入口，可以勾选上“Main类”栏下方的两个复选框，选择其他的入口。
　　◎如果需要增加特殊的环境变量，例如有的源码可能需要添加classpath环境变量，则可以在“环境”页中添加。
　　◎运行配置中的内容也会同样反映在调试配置中，运行和调试使用相同的配置。
　　
　　创建了一堆新项目后，包资源管理器中会有一堆乱七八糟项目，有些是你需要的，有些是早已废弃不用的，你可以删除那些不用的项目，方法是右键点击该项目，选择“删除”。这里要提醒读者一下的是，删除对话框有两个选项，问你是否删除该项目目录下的内容，缺省是“不删除内容”，如果选择删除，那么那个目录就整个被删除掉了，如果你这个目录下的东西还有用，那你只好哭了。
　　删除掉没用的项目后，运行/调试对话框中多余的配置也可以删除，方法是右键点击不用的配置名，选择删除。
　　
　　好了，这是我初学Eclipse的一些心得，希望能对广大想要使用Eclipse又担心它烦琐的初学者有些帮助。