Hadoop

Hadoop HDFS Java API

package com.uplooking.bigdata.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import o...

admin2019-07-03阅读(968)去评论

前言 Hadoop单机版本的环境搭建比较简单，这里总结一下。 Centos基本配置网络配置 IPADDR=192.168.43.101 NETMASK=255.255.255.0 GATEWAY=192.168.43.2 DNS1=202...

admin2019-07-03阅读(812)去评论

Hadoop分布式HA的安装部署前言单机版的Hadoop环境只有一个namenode，一般namenode出现问题，整个系统也就无法使用，所以高可用主要指的是namenode的高可用，即存在两个namenode节点，一个为active状...

admin2019-07-03阅读(727)去评论

为了方便知识的管理，把zk归到hadoop知识中来进行整理。 zookeeper基础知识 zookeeper概述 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoo...

admin2019-07-03阅读(860)去评论

HDFS(Hadoop Distributed File System)：分布式存储 NameNode 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。文件包...

admin2019-07-03阅读(945)去评论

大数据概述大数据两个方面数据体积 bit,byte,kb,mb,gb,tb,pb,eb,zb,nb,db,yb 处理方式存储问题数据体积比较大的时候不适合进行集中式的存储，转而使用分布式的存储集中式存储一个完整的数据都存储在一...

admin2019-07-03阅读(777)去评论