zqhxuyuan
zqhxuyuan · 共 20 篇文章
MapReduce源码注释-MapTask.MapOutputBuffer.Buffer
public class Buffer extends OutputStream { private final byte[] scratch = new byte[1]; public synchronized void write(int v) throws IOException { scratch[0] = (byte)v; write(scratch, 0, 1); } /**Attempt to write a sequence of bytes to the collection buffer. This method will block if the spill threa…
2013-10-28 14:49 · hadoop · 评论(0)
Hadoop DataNode小结
在分析DataNode时, 因为DataNode上保存的是数据块, 因此DataNode主要是对数据块进行操作. **A. DataNode的主要工作流程:** 1. 客户端和DataNode的通信: 客户端向DataNode的`数据块读写`, 采用TCP/IP流接口(DataXceiver)进行数据传输 2. 客户端在检测到DataNode异常, 主动发起的`数据块恢复`, 客户端会通过ClientDatanodeProtocol接口采用RPC调用的方式和DataNode通信. 3. `数据块替换和拷贝`, 由负载均衡器Balancer发起的, 是发生在DataNode之间. 也是通过Da…
2013-08-08 16:04 · hadoop · 评论(0)
Hadoop源码注释 - 块读取
DFSClient.RemoteBlockReader.newBlockReader() public static BlockReader newBlockReader( Socket sock, String file, long blockId, Token<BlockTokenIdentifier> accessToken, long genStamp, long startOffset, long len, int bufferSize, boolean verifyChecksum, String clientName) throws IOException { DataOutp…
2013-07-26 10:39 · hadoop · 评论(0)
Hadoop源码分析- RPC DataNode
见附件内容 FileSystem Writable RPC概述 RPC.Client Server RPC Protocol HDFS基本概念 Hadoop Upgrade Datanode存储 DataNode数据块读写 DataNode协议 DataNode 正在分析NameNode. 待续
2013-05-29 11:29 · hadoop · 评论(0)
Hadoop源码分析-RPC.Server
内部类 作用 Call 存储客户端发来的请求 Listener 监听类: 监听客户端发来的请求,内部静态类Listener.Reader: 当监听器监听到用户请求,便让Reader读取用户请求 Responder 响应RPC请求类,请求处理完毕,由Responder发送给请求客户端 Connection 连接类,真正的客户端请求读取逻辑在这个类中 Handler 请求处理类,会循环阻塞读取callQueue中的call对象,并对其进行操作 Server是个抽象类, 唯一抽象的方法. Server提供了一个架子, Server的具体功能, 需要具体类来完成。而具体类, 当然就是实现call方法…
2013-05-14 23:30 · hadoop · 评论(0)
Hadoop源码分析-RPC.Client
内部类 作用 Call 用于封装Invocation对象,作为VO写到服务端,同时也用于存储从服务端返回的数据 Connection 用以处理远程连接对象。继承了Thread ConnectionId 唯一确定一个连接 由于Client可能和多个Server通信, 典型的一次HDFS读, 需要和NameNode打交道, 也需要和某个/某些DataNode通信。这意味着某一个Client需要维护多个连接。同时为了减少不必要的连接, Client的做法是拿ConnectionId来做为Connection的ID。ConnectionId包括一个InetSocketAddress(IP地址+端口号…
2013-05-14 23:20 · hadoop · 评论(0)
Hadoop源码分析-RPC
方法 说明 waitForProxy 保证namenode启动正常且连接正常,主要由SecondayNode、Datanode、JobTracker使用 stopProxy 停止代理 getProxy 创建代理实例,获得代理实例的versioncode,再与getProxy()传入的versioncode做对比, 相同返回代理,不同抛出VersionMismatch异常 getServer 创建并返回一个Server实例,由TaskTracker、JobTracker、NameNode、DataNode使用 call 向一系列服务器发送一系列请求,在源码中没见到那个类使用该方法。但注释提到了…
2013-05-14 23:12 · hadoop · 评论(0)
Hadoop源码分析-JAVA RPC
JAVA RPC: http://jbm3072.iteye.com/blog/1088102 目标 :让客户端调用远程机器(不同JVM上)的方法. 技术 :RPC(Remote Process Call远程过程调用) 优点 :使用RPC,可以像使用本地的程序(本地JVM)一样使用远程服务器上的程序。使用RPC的好处是简化了远程服务访问。提高了开发效率。 做法 :在分发代码时,只需要将接口分发给客户端使用,在客户端看来只有接口,没有具体类实现。这样保证了代码的可扩展性和安全性。 基础 :Java反射机制,动态代理,Java IO/NIO/Socket Server接口 public inte…
2013-05-14 23:00 · hadoop · 评论(0)
OSCache 应用与源码分析
缓存配置oscache.properties cache.memory 是否使用内存缓存; true 或 false。默认为true; 如设置为false,那cache只能缓存到数据库或硬盘中。 cache.capacity 缓存的最大数量。默认是不限制,cache不会移走任何缓存内容。负数也被视不限制。 cache.algorithm 运算规则。为了使用规则,cache.capacity必须是指定的。有下面三种规则: com.opensymphony.oscache.base.algorithm.LRUCache: last in first out(最后插入的最先调用)。 com.ope…
2013-04-27 23:06 · Cache · 评论(0)
SpringMVC源码分析(1) HandlerMapping
源码分析(1):HandlerMapping 当用户在浏览器输入一个URL地址,浏览器发起一个http请求,请求到达服务器后,首先会被SpringMVC注册在web.xml中的前端转发器DispatcherServlet接收,DispatcherServlet是一个标准的Servlet,它的作用是接受和转发web请求到内部框架处理单元. HandlerMapping public abstract interface HandlerMapping { public abstract HandlerExecutionChain getHandler(HttpServletRequest par…
2013-04-27 22:00 · J2EE · 评论(0)
virtualbox ubuntu hadoop-1.0.4 完全分布式
主机操作系统:Ubuntu-12.04 虚拟机操作系统:Ubuntu-10.04.iso 虚拟机软件:Virtualbox-4.2.deb ps:从evernote复制到iteye,图片都没有,查看完整版本,移动evernote共享: https://www.evernote.com/pub/xuyuantree/10_hadoop 设置VirtualBox的Host-only网络 1. 安装虚拟机Virtualbox: $ sudo dpkg -i virtualbox.deb 2. 在Ubuntu 12.04 下,打开VirtualBox,选择"管理"→"全局设定"→"网络"→"添加Ho…
2013-04-26 21:53 · hadoop · 评论(0)
Pig Hive HBase Zookeeper安装和配置
Pig Hive HBase Zookeeper安装和配置 evernote共享链接: https://www.evernote.com/pub/xuyuantree/20_ hadoop@zqh:~$ cd /usr/local hadoop@zqh:/usr/local$ sudo mkdir pig hadoop@zqh:/usr/local$ cd /home/zqhxuyuan/download hadoop@zqh:/home/zqhxuyuan/download$ sudo tar zxf pig-0.10.0.tar.gz hadoop@zqh:/home/zqhxuyuan…
2012-07-13 17:51 · BigData · 评论(0)
Pig UDF(LOAD)示例代码分析
参考文档: Hadoop:The Definitive Guide3E Chapter11.Pig 代码具体地址: tomwhite-hadoop-book-32dae01\ch11\src\main\java\com\hadoopbook\pig 工具类 public class Range { private final int start; private final int end; public Range(int start, int end) { this.start = start; this.end = end; } public int getStart() { retu…
2012-07-13 17:47 · BigData · 评论(0)
Meet Hadoop on Windows
hadoop-0.20.2 单机模式和伪分布式部署 1. install cygwin sshd 2. 下载hadoop-0.20.2,解压到d:/hadoop-0.20.2 3. hadoop-evn.sh添加以下配置: export JAVA_HOME=C:/jdk1.6 4. 单机模式 下面的实例将已解压的 conf 目录拷贝作为输入, 查找并显示匹配给定正则表达式的条目。输出写入到指定的 output 目录。 $ ssh localhost $ export "LANG=en.UTF-8" $ cd d:/hadoop-0.20.2 $ mkdir input $ cp conf/*…
2012-02-24 22:16 · BigData · 评论(0)