Hadoop HDFS Java API
package com.uplooking.bigdata.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import o...
Hadoop
adminHadoop单机版安装配置
前言 Hadoop单机版本的环境搭建比较简单，这里总结一下。 Centos基本配置 网络配置 IPADDR=192.168.43.101 NETMASK=255.255.255.0 GATEWAY=192.168.43.2 DNS1=202...
Hadoop笔记整理（四）：Hadoop分布式HA的安装部署
Hadoop分布式HA的安装部署 前言 单机版的Hadoop环境只有一个namenode，一般namenode出现问题，整个系统也就无法使用，所以高可用主要指的是namenode的高可用，即存在两个namenode节点，一个为active状...
Hadoop笔记整理（三）：Zookeeper
为了方便知识的管理，把zk归到hadoop知识中来进行整理。 zookeeper基础知识 zookeeper概述 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现， 是Hadoo...
Hadoop笔记整理（二）：HDFS
HDFS(Hadoop Distributed File System)：分布式存储 NameNode 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的 元信息和每个文件对应的数据块列表。接收用户的操作请求。 文件包...
Hadoop笔记整理（一）：Hadoop概述
大数据概述 大数据 两个方面 数据体积 bit,byte,kb,mb,gb,tb,pb,eb,zb,nb,db,yb 处理方式 存储问题 数据体积比较大的时候不适合进行集中式的存储，转而使用分布式的存储 集中式存储 一个完整的数据都存储在一...
