【2023】hadoop基础介绍_hadoop参考文献2023-程序员宅基地

技术标签： python  数据分析  hadoop  分布式  大数据  

目录

Hadoop组成

hadoop安装教程可以看我这篇文章===> hadoop通过docker安装

  • HDFS组件：是Hadoop内的分布式存储组件，可以构建分布式文件系统用于数据存储。
  • MapReduce组件：MapReduce是Hadoop内分布式计算组件。提供编程接口供用户开发分布式计算程序。
  • YARN组件：YARN是Hadoop内分布式资源调度组件。可供用户整体调度大规模集群的资源使用。

HDFS

分布式存储：主从架构——架构角色

  • 主角色：Master（NameNode）
  • 从角色：Slave（DataNode）
  • 主角色的辅助角色：（SecondaryNameNode）
    • 处理合并edits为fsimage：会通过http从NameNode拉取数据（edits和fsimage），然后合并完成后提供给NameNode使用。

HDFS操作

  • HDFS文件系统基本信息

    操作命令添加协议头就会分别是对对应的系统执行，如果不带是会按照

    在这里插入图片描述

  • 操作命令

不同版本命令开头

# 老版本
hadoop fs 
# 新版本
hdfs dfs

在这里插入图片描述

命令使用在这里插入图片描述

  • 上传文件到hdfs文件系统中
# hdfs dfs -put linux路径 HDFS文件路径
hdfs dfs -put ./test2.test /

在这里插入图片描述

  • 下载HDFS文件到linux中
# hdfs dfs -get HDFS文件路径 linux路径
hdfs dfs -get /.test.txt /

在这里插入图片描述

  • 拷贝HDFS文件和移动
#拷贝文件
hdfs dfs -cp 源路径 粘贴路径

#移动文件
hdfs dfs -mv 源路径 粘贴路径

在这里插入图片描述

  • 追加数据到HDFS文件

    HDFS只能追加和删除，不能修改

htfs -dfs -appendToFile

在这里插入图片描述

  • 查看文件和删除文件
#查看文件内容
htfs -dfs -cat 文件
#删除文件和文件夹（删除文件不用加-r，删除文件夹需要加-r）
htfs dfs -rm -r 文件路径

删除文件看是否需要添加回收站

在这里插入图片描述

html查看文件

在这里插入图片描述

产品插件用于使用：Big Data Tools

在这里插入图片描述

配置插件

在这里插入图片描述

HDFS分布式文件存储

hdfs存储的管理单位是叫 block块

通过分布式的方式进行存储5，为了避免block块丢失，一般会进行冗余备份（通过添加副本块的方式备份），避免文件丢失

在这里插入图片描述

NameNode元数据

  • edits文件———流水帐文件

在这里插入图片描述

  • FSlmage文件———最终文件（保存最终结果）

在这里插入图片描述

  • 执行流程

在这里插入图片描述

数据读写流程

在进行读写时，会优先读写到网络距离最近的那台dataNode给客户端进行读写，实现读写的最优解。

  • 数据写入流程

在这里插入图片描述

在这里插入图片描述

  • 数据读取流程

    在这里插入图片描述

YARN和MapReduce

  • 分布式（数据）计算
    • 分散—>汇总模式
      1. 将数据分片，多台服务器负责一部分数据处理
      2. 然后将各种的数据进行汇总
    • 中心调度—>步骤执行模式
      1. 由一个节点作为中心调度管理者
      2. 将任务划分为几个具体步骤
      3. 管理者安排每个机器执行任务
      4. 最终得到结果数据

MapReduce：分布式计算

采用的是分散—>汇总模式进行分布式计算

提供了2个编程接口

  • Map：分散
  • Reduce：汇总

在这里插入图片描述

YARN：资源管控调度

将资源统一管控进行分配可以提供资源利用率

MapReduce和YARN的关系

  • YARN用来调度资源给MapReduce分配和管理运行资源
  • 所以,MapReduce需要YARN配合使用

YARN架构

YARN采用的也是主从架构

核心角色

  • ResourceManager：整个集群的资源调度者，负责协调调度各国程序所需要的资源。
  • NodeManager：单个服务器的资源调度者，负责调度单个服务器上的资源提供给应用程序使用

辅助角色

  • ProxyServer：代理服务器
  • JobHistoryServer：历史服务器

在这里插入图片描述

YARN集群启动和停止命令（mapReduce无需启动任何进程）

#一键启动： 
$HADOOP_HOME/sbin/start-yarn.sh
#一键关闭
$HADOOP_HOME/sbin/stop-yarn.sh

#历史服务器启动和停止
mapred --daemon start｜stop historyserver

查看YARN的web页面通过8088端口

在这里插入图片描述

提交任务到YARN中运行

在这里插入图片描述
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52315708/article/details/135279405

智能推荐

学习小组结伴_第一行是一个整数n,表明n个同学。(2<=n<=50,n为偶数) 。 第二行n个整数表明n个同-程序员宅基地

文章浏览阅读1.2k次。题目内容：为了促进互帮互相，决定成立学习小组。小组结伴的规则是这样的：先将学号按升序排列，排在最前的一个人和排在最后的那个人结成同伴，排在第2个的与排在倒数第2个的结成同伴…依次类推，2个一组成同伴。输入格式:第一行是一个整数n，表明n个同学。(2<=n<=50，n为偶数) 。 第二行n个整数表明n个同学的学号，学号之间有一个空格，学号是无序输入的。如果输入的学生数是奇数，则输出提示信息：“odd number”输出格式：共n/2行，每行二个整数，表明结伴同学的学号，两个学_第一行是一个整数n,表明n个同学。(2<=n<=50,n为偶数) 。 第二行n个整数表明n个同

条件注解@Conditional_java 不存在才创建 @conditional-程序员宅基地

文章浏览阅读110次。如果没有havingValue，那么会采用prefix+name 或 prefix+value 的值，去和false比较，如果值等于false 那么失败， 如果不等于false 成功。定义：在spring框架中用于根据特定条件决定是否创建或者注册某个bean或配置的注解，他们可以根据运行时环境，配置属性，或其他条件来动态的控制bean的创建或者注册。在上述代码中，表示会去application文件中，读取前缀为：Spring.datasource下，名字为type的key的值，读取到之后，会跟。_java 不存在才创建 @conditional

PDF 参照流/交叉引用流对象(cross-reference stream)的解析方法_php无法解析压缩的交叉引用和对象流的pdf-程序员宅基地

文章浏览阅读3.8k次。采用交叉引用流对象有以下几点好处：1) 压缩后存储的信息更紧凑；2) 可以访问存储在对象流中的压缩对象，并允许以后加入新的参照选项类型。_php无法解析压缩的交叉引用和对象流的pdf

面试只会问八股？你应该好好思考怎样做一场面试_如果面试一直问八股-程序员宅基地

文章浏览阅读517次。八股文并不能很好地测试候选人水平，我们应该思考更有效的面试方法。_如果面试一直问八股

英特尔Realsense学习笔记番外篇一：QWindowsContext: OleInitialize() failed_qwindowscontext: oleinitialize() failed: "com erro-程序员宅基地

文章浏览阅读2k次。导入pyrealsense2以后，使用PyQt5，会有以下警告：QWindowsContext: OleInitialize() failed: "COM error 0xffffffff80010106 RPC_E_CHANGED_MODE (Unknown error 0x080010106)"此警告在使用过程中没有影响程序的正常执行，如果不需要看到waring可以导入warnings库过滤warning。参考文献：1.WindowsContext：OleInitialize（）失_qwindowscontext: oleinitialize() failed: "com error 0xffffffff80010106 rpc_e

linux DSA 开发（一）-程序员宅基地

文章浏览阅读6.5k次，点赞2次，收藏32次。linux DSA 开发（一）本文主要是翻译，原文链接如下：https://www.kernel.org/doc/html/latest/networking/dsa/dsa.html纲要本文档描述了**分布式交换机架构 (DSA)**子系统的设计原则、限制、与其他子系统的交互、如何为该子系统开发驱动程序设计原则分布式交换机架构最少是用于支持使用 Linux 的 Marvell 以太网交换机的子系统（MV88E6xxx），但此后也发展为支持其他供应商。这种设计_linux dsa

随便推点

LeetCode #566 - Reshape the Matrix__%#:566-程序员宅基地

文章浏览阅读90次。题目描述：In MATLAB, there is a very useful function called 'reshape', which can reshape a matrix into a new one with different size but keep its original data.You're given a matrix represented by a tw...__%#:566

UserWarning: Workbook contains no default style, apply openpyxl‘s default warn no default style 解决方案-程序员宅基地

文章浏览阅读6.4w次，点赞15次，收藏11次。本文主要介绍了UserWarning: Workbook contains no default style, apply openpyxl’s default warn(“Workbook contains no default style, apply openpyxl’s default”)解决方案，希望能对新手有所帮助。文章目录1. 问题描述2. 原理详解3. 解决方案 3.1 安装库 3.2 使用正确的API_userwarning: workbook contains no default style, apply openpyxl's default wa

c++中类成员函数的相互调用_c++类的成员函数调用其他成员函数-程序员宅基地

文章浏览阅读8.6k次，点赞4次，收藏23次。c++中类成员函数的相互调用_c++类的成员函数调用其他成员函数

Window Linux双系统安装 超详细教程_windows linux双系统-程序员宅基地

文章浏览阅读3.5w次，点赞71次，收藏615次。Window Linux双系统安装历程今天下午搞了几个小时，可谓是困难重重，但是实际上只是被一个很小的问题困住了，其它地方都很简单。接下来简单讲一下安装的步骤以及遇到的问题。先讲一下设备状况：一台12年买的i3 window7 待报废的lenovo 笔记本一个32g的usb3.0另一台新的win10笔记本电脑磁盘分区首先要在安装双系统的电脑上，划分硬盘中的一个分区来装linxu。点击我的电脑（此电脑）->管理-> 磁盘管理比如这里我们的e盘原本有98.55g，然后还有_windows linux双系统

Unity 模型涂鸦-程序员宅基地

文章浏览阅读2.3k次。首先，要获取鼠标点击处对应的UV坐标，详见API:https://docs.unity3d.com/ScriptReference/RaycastHit-textureCoord.htmlAPI中其实已经重画了图片，但只是一个像素，下面给线设置宽度： /// &lt;summary&gt; /// 画线 /// &lt;/summary&gt; /// ..._unity 模型涂鸦

qt使用q3dsurface绘制三维曲面图-程序员宅基地

文章浏览阅读7k次，点赞22次，收藏86次。在QT中使用Q3Dsurface绘制三维图。项目需要，而大部分教程都是比较简单的绘制，不能满足需求，本教程将三维数组数据绘制成三维曲面，在绘制三维曲面时，我原本以为是给入数据，然后由框架拟合出曲面，其实不是，本质上是一个一个点连接的，需要按顺序连接好节点，即一行一列连接，否则曲面就会看不出形状。_q3dsurface

推荐文章

热门文章

相关标签