myhadoop
- 浏览: 152053 次
-
最新评论
-
cldtc：
您好，想请教一个问题，using python脚本的时候怎样打 ...
Hadoop Hive sql语法详解5--HiveQL与SQL区别
文章列表
如何编写Hadoop调度器
- 博客分类：
- Hadoop
中国第一个在线Hadoop教育平台—小象学院，推荐给Hadoop初学者和实践者，网址是：http://www.chinahadoop.cn/
本博客微信公共账号：hadoop123（微信号为：hadoop-123），分享hadoop技术内幕，hadoop最新技术进展，发布hadoop相关职位和求职信息，hadoop技术交流聚会、讲座以及会议等。二维码如下：
1. 编写目的
在Hadoop中，调度器是一个可插拔的模块，用户可以根据自己的实际应用要求设计调度器，然后在配置文件中指定相应的调度器，这样，当Hadoop集群启动时，便会加载该调度器。当前Hadoop自带了几种调度器，分别 ...
hadoop实践总结
- 博客分类：
- 大数据
参考：http://wind-bell.javaeye.com/blog/81490 《hadoop入门转》设法找原文作者url没有找到。
http://hi.baidu.com/atlahla/blog/item/4e8e37039f64a48dd43f7cfe.html 《在Linux下设置最简单的ssh安全自动登录》
概论 作为Hadoop程序员，他 ...
作者：July、youwang、yanxionglu。时间：二零一一年三月二十六日说明：本文分为俩部分，第一部分为10道海量数据处理的面试题，第二部分为10个海量数据处理的方法总结。有任何问题，欢迎交流、指正。出处：http://blog.csdn.net/v_JUL ...
hashCode是编译器为不同对象产生的不同整数，根据equal方法的定义：如果两个对象是相等（equal）的，那么两个对象调用hashCode必须产生相同的整数结果，即：equal为true，hashCode必须为true，equal为false，hashCode也必须为false，所以必须 ...
一、tail
功能：显示指定文件的后若干行。
语法：tail [+ / - num ] [参数] 文件
tail命令中各个选项的含义为：
＋num 从第num行以后开始显示。
- num 从距文件尾num行处开始显示。如果省略num参数，系统默认值为10。
l 以文本行为num的计数单位。与参数选项＋num或- num选项同时使用时，num表示要显示的文本行行数。
c 以字节为num的计数单位。与参数选项＋num或- num选项同时使用时，num表示要显示的字符数。
（l、c选项可以省略，系统默认值为l，即按行计数）。
使用tail命令的-f选项可以方便的查阅正在改变的日志文件，tail - ...
解决windows下远程调试hadoop权限问题（附jar包）:
ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path:）
重新编译了hadoop-core-1.2.1,注释了包中org.apache.hadoop.fs下FileUtil.class中的checkReturnValue的验证方法
Java高手速成秘籍——Eclipse鲜为人知的快捷键，错过本文，那你绝对是错过了成为Java高手的机会。
查看资源：
1. Ctrl+Shift+R：打开资源
这可能是所有快捷键组合中最省时间的了。这组快捷键可以让你打开你的工作区中任何一个 ...
eclipse下java.lang.OutOfMemoryError: Java heap space的解决办法:
一、在eclipse下远程连接Hadoop出现如下问题：
14/03/28 22:39:03 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable14/03/28 22:39:03 ERROR security.UserGroupInformation: Priv ...
Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。
从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件，占据了大数据处理的广阔地盘。开源界及厂商，所有数据软件，无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域，变成了大数据开发的 ...
Maven教程
1. Maven的出发点
在进行软件开发的过程中，无论什么项目，采用何种技术，使用何种编程语言，我们 都要重复相同的开发步骤：编码，测试，打包，发布，文档。实际上这些步骤是完全重复性的工作。那为什么让软件 ...
一. 使用 su 命令临时切换用户身份
1、su 的适用条件和威力
su命令就是切换用户的工具，怎么理解呢？比如我们以普通用户beinan登录的，但要添加用户任务，执行useradd ，beinan用户没有这个权限，而这个权限恰恰由root所拥有 ...
以下 由网上内容 整理：
Hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑，就是些表的定义等，也就是表的元数据。使用SQL实现Hive是因为SQL大家都熟悉，转换成本低，类似作用的Pig就不是SQL。
HBase为查询而生的，它通过组织起节点內所有机器的內存，提供一個超大的內存Hash表，它需要组织自己的数据结构，包括磁盘和內存中的，而Hive是不做这个 ...