
Hadoop笔记整理(二):HDFS
HDFS(Hadoop Distributed File System):分布式存储 NameNode 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的 元信息和每个文件对应的数据块列表。接收用户的操作请求。 文件包...
HDFS(Hadoop Distributed File System):分布式存储 NameNode 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的 元信息和每个文件对应的数据块列表。接收用户的操作请求。 文件包...
大数据概述 大数据 两个方面 数据体积 bit,byte,kb,mb,gb,tb,pb,eb,zb,nb,db,yb 处理方式 存储问题 数据体积比较大的时候不适合进行集中式的存储,转而使用分布式的存储 集中式存储 一个完整的数据都存储在一...
Flume简介 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方,用于收集数据; 同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的...
Alpine Linux开启SSH远程登陆 简介: 最重要的一个服务了,远程登陆需要用它,文件传输需要用它,必备功能。不管你是在实体机上跑,虚拟机上跑,docker里面跑,这个都是必须的。 配置 配置文件位置: /etc/ssh/sshd_...
for i in range(1,10): for j in range(i,10): print('%s*%s=%s'%(i,j,i*j),end="\t") print("\r") for i in range(9,-1,-1): fo...
python对字符串的表示方法比c更有灵活性,但是也更难理解。 为了在平时使用、看代码过程中对着单引号(‘)、双引号(“)、三引号(”’,”””)不混淆,知...
运营反馈 Nginx 报 400 错误,具体点说:Request Header Or Cookie Too Large。其实随便搜搜就知道可以通过加大 client_header_buffer_size 和 large_client_hea...
准备知识 1.我们所执行的任何程序,都是由父进程(parent process)所产生出来的一个子进程(child process),子进程在结束后,将返回到父进程去。此一现像在Linux系统中被称为 fork。当子进程被产生的时候,将会从...
Shell中并没有真正意义的多线程,要实现多线程可以启动多个后端进程,最大程度利用cpu性能。 直接看代码示例吧。 (1) 顺序执行的代码 #!/bin/bash date for i in `seq 1 5` do { echo "sle...
shell远程执行: 经常需要远程到其他节点上执行一些shell命令,如果分别ssh到每台主机上再去执行很麻烦,因此能有个集中管理的方式就好了。一下介绍两种shell命令远程执行的方法。 前提条件: 配置ssh免密码登陆 对于简单的...
最新评论
顶起来
好
好文章
集群节点宕机后无法开启组复制,原因:节点宕机重启后svc默认不添加未就绪的pod,1.24版本在无头svc下添加: annotations: service.alpha.kubernetes.io/tolerate-unready-endpoints: "true" 1.24版本以上添加: 1.24版tolerate-unready-endpointsService 中的注解,改用Service.spec.publishNotReadyAddresses
在使用try_files的时候,能不能根据URI计算MD5访问文件啊,找了很久没找到相关的文章。
post { always { script{ if (currentBuild.currentResult == "ABORTED" || currentBuild.currentResult == "FAILURE" || currentBuild.currentResult == "UNSTABLE" ){ slackSend channel: "#机器人", message: "Build failure: ${env.JOB_NAME} -- No: ${env.BUILD_NUMBER}, please check detail in email!" } else { slackSend channel: "#机器人", message: "Build Success: ${env.JOB_NAME} -- Build No: ${env.BUILD_NUMBER}, please check on http://www.yourwebsite.com" } } } }