SecondaryNamenode二次节点持久化

SecondaryNamenode

SecondaryNamenode是一个二次节点,相当于公司的副总

主节点掌握一批元数据
为了保证数据的安全—将内存中的数据存放在磁盘中

在此介绍下
硬盘 内存大 便宜 还慢
内存 内存小 贵 还快

问题
当我们的集群因断电等特殊原因使得一些数据丢失怎么解决

首先说下为什么主节点不能做持久化的原因
可以做:需求小、占用内存小、不影响计算xiaol
不可以做 主节点(Namenode) 本身工作已经很多 有可能在做持久化的时候宕机

注意:SecondaryNamenode永远无法替代Namenode的位置,他只是Namenode的一个热备

Namenode和SecondaryNamenode的执行方式

Namenode 在和 SecondaryNamenode交互式会形成两个组件

edits
存放系统在运行过程中产生的操作信息
faimage
是在系统运行中不断产生的日志信息镜像在这里插入图片描述两个组件回到二次节点中形成一个新的fsimage,由二次节点SecondaryNamenode存到硬盘中等出现 问题时想要恢复状态直接就从硬盘中获取就行;

**持久化的触发条件**

当edits超过3600S或者edits的大小超过64兆的时候(数据不是死的都可以调)

总结:持久化就是将主节点Namenode的元数据写入到磁盘中进行存储,当主节点Namenode挂了之后重启的时候回去磁盘读取相应的元数据,恢复集群的状态----(内存断电丢失)

**断电问题**
 持久化之前  -----再次启动,读取系统日志
 持久化之后  -----读取磁盘中的数据,恢复状态
 
 **重复的断电**
主节点Namenode和从节点Datanode的通信级制--------心跳机制(每隔3S,从节点Datanode会向主节点Namenode发送一次心跳  1分钟没有心跳,则认为从节点Datanode从节点直接消失)

问题来了

在进行合并的时候形成新的fsimage,这时还没传送至主节点Namenode时edits又满64兆那怎么解决?
在这里插入图片描述此图比较抽象哈哈哈

1、 个别现象另外在启动一个edits里面会同时存在两个edits
fsimage会先和最近edits进行合并,然后在合并其它的
2、常态
就需要对集群进行调整,调大edits的大小

下面讲一下我们的安全模式

  1. 恢复系统的状态

  2. 检查从节点Datanode的信息

  3. 有问题的从节点Datanode进行修复
    1.在传输过程中断电 —数据丢失如果数据特别重要,那只能提前进行调优进行相应的调整
    2.传输完成之后断电
    当我的集群重新恢复之后,主节点Namenode会去读取元数据,对状态进行相应的恢复
    3.若从节点Datanode出现问题

    在从节点Datanode恢复之后,如果有新的任务,根据情况,确定是否将新的文件上传在这里插入图片描述备份机制会去查找断电之前的数据

版权声明:本文为weixin_43709367原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_43709367/article/details/91466338

智能推荐

java乐观锁和悲观锁最底层的实现

1. CAS实现的乐观锁 CAS(Compare And Swap 比较并且替换)是乐观锁的一种实现方式,是一种轻量级锁,JUC 中很多工具类的实现就是基于 CAS 的,也可以理解为自旋锁 JUC是指import java.util.concurrent下面的包, 比如:import java.util.concurrent.atomic.AtomicInteger; 最终实现是汇编指令:lock...

Python 中各种imread函数的区别与联系

  原博客:https://blog.csdn.net/renelian1572/article/details/78761278 最近一直在用python做图像处理相关的东西,被各种imread函数搞得很头疼,因此今天决定将这些imread总结一下,以免以后因此犯些愚蠢的错误。如果你正好也对此感到困惑可以看下这篇总结。当然,要了解具体的细节,还是应该 read the fuc...

用栈判断一个字符串是否平衡

注: (1)本文定义:左符号:‘(’、‘[’、‘{’…… 右符号:‘)’、‘]’、‘}’……. (2)所谓的字符串的符号平衡,是指字符串中的左符号与右符号对应且相等,如字符串中的如‘(&r...

JAVA环境变量配置

位置 计算机->属性->高级系统设置->环境变量 方式一 用户变量新建path 系统变量新建classpath 方式二 系统变量 新建JAVA_HOME,值为JDK路径 编辑path,前加 方式三 用户变量新建JAVA_HOME 此路径含lib、bin、jre等文件夹。后运行tomcat,eclipse等需此变量,故最好设。 用户变量编辑Path,前加 系统可在任何路径识别jav...

常用的伪类选择器

CSS选择器众多 CSS选择器及权重计算 最常用的莫过于类选择器,其它的相对用的就不会那么多了,当然属性选择器和为类选择器用的也会比较多,这里我们就常用的伪类选择器来讲一讲。 什么是伪类选择器? CSS伪类是用来添加一些选择器的特殊效果。 常用的为类选择器 状态伪类 我们中最常见的为类选择器就是a标签(链接)上的为类选择器。 当我们使用它们的时候,需要遵循一定的顺序问题,否则将可能出现bug 注意...

猜你喜欢

ButterKnife的使用介绍及原理探究(六)

前面分析了ButterKnife的源码,了解其实现原理,那么就将原理运用于实践吧。 github地址:       点击打开链接 一、自定义注解 这里为了便于理解,只提供BindView注解。 二、添加注解处理器 添加ViewInjectProcessor注解处理器,看代码, 这里分别实现了init、getSupportedAnnotationTypes、g...

1.写一个程序,提示输入两个字符串,然后进行比较,输出较小的字符串。考试复习题库1|要求:只能使用单字符比较操作。

1.写一个程序,提示输入两个字符串,然后进行比较,输出较小的字符串。 要求只能使用单字符比较操作。 参考代码: 实验结果截图:...

小demo:slideDown()实现二级菜单栏下拉效果

效果如下,鼠标经过显示隐藏的二级菜单栏 但是这样的时候会存在一个问题,就是鼠标快速不停移入移出会导致二级菜单栏闪屏现象,一般需要使用stop()来清除事件  ...

基于docker环境的mysql主从复制

1、安装docker 可以参考之前的博客,之前写过了~ 2、拉取mysql镜像 3、创建mysql01和mysql02实例 主: 从: 4、进入容器修改配置 1)修改主数据库配置 进入主数据库容器 切换到 etc/mysql/目录下 查看可以看到my.cnf文件,使用vim编辑器打开,但是需要提前安装 安装vim命令: 安装成功后,修改my.cnf文件 新增配置后的my.cnf: binlog 日...

机器学习算法之决策树

原文:http://www.jianshu.com/p/6eecdeee5012 决策树是一种简单高效并且具有强解释性的模型,广泛应用于数据分析领域。其本质是一颗由多个判断节点组成的树,如: 决策树 在使用模型进行预测时,根据输入参数依次在各个判断节点进行判断游走,最后到叶子节点即为预测结果。 如何构造决策树 决策树算法的核心是通过对数据的学习,选定判断节点,构造一颗合适的决策树。 假设我们从用户...