技术标签: 云计算
什么是云
云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取算力、储存空间和信息服务。
云的特点
控制流和数据流分离,数据流只在client和chunk Server(数据块服务器)之间流动,Client和master(主服务器)之间只有控制流,没有数据流。;
命名空间和chunk上的实际目录存在映射关系。
Master容错:当master发生故障时,命名空间和映射表通过日志可以迅速恢复。
Chunk Server容错 :采用副本的方式实现容错,每个Chunk默认有三个副本。对于每个Chunk,必须将所有副本全部写入成功,才视为成功写入。
功能
把对数据集的大规模操作,分给一个主节点管理下的各分节点共同完成,通过这种方式实现任务的可靠执行与容错机制。
实现机制
图中:
适合批处理数据,不适合实时数据。
Chubby是谷歌设计的提供粗粒度锁服务的一个文件系统,基于松耦合分布式系统,解决了分布的一致性问题。
Bigtable分布式数据存储系统是Google为其内部海量的结构化数据开发的云存储技术。
融合SQL和noSQL
局部索引:定义在单个实体组中,作用域仅限于单个实体组。(如PhotosByTime)
全局索引:横跨多个实体组集进行数据读取操作(如PhotoByTag)
一个同特定事件相关的所有消息
实际上就是一条记录
辅助推断区间,也可以包含一些自定义内容。
Google App Engine是一个由Python应用服务器群、Bigtable数据库及GFS数据存储服务组成的平台,它能为开发者提供一体化的可自动升级的在线应用服务。
在hash换上,增加、删除节点数据会如何变化。
是包含了操作系统、服务器程序、应用程序等软件配置的模板。
当用户使用EC2服务区创建自己的应用程序时,首先要构建或获取相应的AMI。
EC2中实例由AMI启动,可以像传统的主机一样提供服务。同一个AMI可以用于创建具有不同计算和储存能力的实例。
与物理硬盘类似,大小由用户设定。适用于数据需要细粒度地频繁访问并持久保存的情况,适合作为文件系统或数据库的主存储。
地理区域
按照实际的地理位置划分。
可用区域
是否由独立的供电系统和冷却系统等,通常将每一个数据中心看做一个可用区域。每个地理区域包含多个可用区域。
S3储存系统的基本结构。
桶:用于存储对象的容器,不可被嵌套。
对象:存储数据(任意类型)和元数据(数据内容的附加描述信息,如时间、长度)。
1.RDS将MySQL数据库移植到集群中,在一定范围内解决了关系数据库的可拓展性
2.Mysql集群方式采用了Share-Nothing架构:
(1)每台数据库服务器是完全独立的计算机系统,通过网络相连,不共享任何资源
(2)这是个具有可扩展架构,当数据库处理能力不时,可以增加服务器数来提高处理力,同时多个服务器也增加了数据库并发能力
是亚马逊是解决云计算平台之间不同组件的通信专门开发的消息队列服务。
原本问题:
世界各地的访问者都必须直接和网站服务器连接才可以访问相关内容,存在明显的缺陷。
解决:
CDN技术通过将网站内容发布到靠近用户的边缘节点,使不同地域的用户在访问相同网页时可以就近获取。
DNS在对域名进行解析时,不再对用户返回网站服务器的IP,而是返回了由智能CDN负载均衡系统选定的某个边缘节点的IP。
文件上传
hadoop fs -put <local file> <hdfs file>
列出目录和文件
hadoop fs -ls
下载文件或目录到本地
hadoop fs -get <hdfs file> <local file or dir>
删除文件或目录
hadoop fs -rm <hdfs file>
hadoop fs -rm -r <hdfs dir>
创建目录
hadoop fs -mkdir -p <hdfs path> -- p参数表示递归创建
创建文件
hadoop fs -touchz <hdfs file>
拷贝文件
hadoop fs -cp <hdfs file> <hdfs file>
移动文件
hadoop fs -mv <hdfs file> <hdfs file>
加载文件
hadoop fs -cat <hdfs file>
格式化namenode
hadoop namenode -format
启动hadoop集群
start-all.sh
查看状态
hdfs dfsadmin -report
查看文件大小
hadoop fs -du <hdfs file>
资源管理
通过ResourceManager实现
任务调度
通过ApplicationMaster实现
Hadoop/MapReduce缺点(ppt重点提到缺点,但优点没单页列出,可补充)
(1) MR算法少,不适合描述复杂的数据处理过程(不适合Group By、 Join等操作)
(2) 每次Reduce都需要磁盘读写,速度慢;Spark只需要一次磁盘读写,大部分处理在内存中进行
(3) MR需要成对出现
(4) Master节点调度慢
(5) 单节点
文章浏览阅读105次。markdown语法教程1. 标题一级标题(#)二级标题(##)三级标题(###)四级标题(####)五级标题(#####)六级标题(######) 2. 段落格式换行(两个空格+回车)斜体(*文本*)粗体(**文本**)粗斜体(***文本***)分割线(---)删除线(~~文本~ ~)下划线(<u>文本</u>)脚注([^文本..._markdown 颜色方块
文章浏览阅读3.8k次,点赞3次,收藏9次。linux是一个多用户,多任务的系统,可以同时运行多个用户的多个程序,就必然会产生很多的进程,而每个进程会有不同的状态。Linux进程状态:R (TASK_RUNNING),可执行状态。 只有在该状态的进程才可能在CPU上运行。而同一时刻可能有多个进程处于可执行状态,这些进程的task_struct结构(进程控制块)被放入对应CPU的可执行队列中(一个进程最多只能出现在一个CP..._zl是什么进程
文章浏览阅读1.3k次。To control the execution of processes, the kernel must be able to suspend the execution of the process running on the CPU and resume the execution of some other process previously suspended. This acti_what is mode switch?what is process switch
文章浏览阅读9.2k次,点赞11次,收藏113次。虽然对机器学习算法、神经网络、深度学习的接触也已经有一年了,但是还没有认真搭建过一个网络。为了帮助自己更好地理解,同时提高实践能力,自己动手搭建一个卷积神经网络,以备后面的学习使用。使用比较熟悉的MNIST数据集,下载地址包含四个部分Training set images:train-images-idx3-ubyte.gzTraining set labels: train-l..._不使用conv2d函数 自己搭建一个卷积神经网络
文章浏览阅读1.2k次,点赞33次,收藏27次。Java中的图形界面在布局管理上采用容器和布局管理相分离的方案,也就是说容器只是把组件放进来,但它不管怎样放置。到目前 为止,我们编写的图形用户界面程序都仅仅只是完成了界面,而没有任 何实际的功能,要实现相应的功能,必须进行事件处理;把组件放在一排,从左到右排放,一行占满后,重新开启一行。当前我们要关注的并不是“事件是如何产生的” ,而是讨论当发生事件 后,我们应当“如何处理”。总共有5个区域,每个全用于可以放置一个组件,并且占满整个区域,添加组件时可以指定组件位置,如果不指定,默认添加到中间区域。
文章浏览阅读576次。一. elementUI的使用 二. axios前后端交互 三. axios的get请求和post请求的区别及优化 四. 跨域现象及解决方案_vue3element-ui 登录
文章浏览阅读142次。The Apache Tomcat Servlet/JSP Container Apache Tomcat 7Version 7.0.103, Mar 16 2020 Apache LogoLinksDocs HomeFAQUser CommentsUser Guide1) Introduction2) Setup3) First webapp4) Deployer5)..._security considerations d.13.1 reasoning
文章浏览阅读1.2k次。文章目录前言题目详细题解写法1 O(nlogn)O(nlogn)O(nlogn)推导证明写法2 O(nlogn)O(nlogn)O(nlogn)推导证明写法3 O(nlogn)O(nlogn)O(nlogn)推导证明举一反三总结前言今天是一个简单题,就是复习一下比较函数的三种写法,分别是重载,自定义和lambda表达式。下面直接看题。题目某小学最近得到了一笔赞助,打算拿出其中一部分为学习成绩优秀的前5名学生发奖学金。期末,每个学生都有3门课的成绩:语文、数学、英语。先按总分从高到低排序,如果_某小学最近得到
文章浏览阅读1.1k次。使用 Spring Boot for MongoDB 实现批量写入_mongo 批量保存
文章浏览阅读264次。进入电脑终端后执行以下命令:siege -c 100 -r 5 -b'http://192.168.101.173:31003/demo/interface_name POST'没有安装siege的先安装,这里的“-c 100”指的是并发量是100,“-r 5”指的是发送请求的次数是5次,-b指的是请求等待时间默认为0,单引号中的内容便是接口的地址,尾部的POST表示请求方式,注意这里的引号是不能省略的,如果省略则默认的是GET请求了,测试返回的值会出错。..._siege测试参数关联的接口
文章浏览阅读592次。前置操作的意思就是在执行一个方法之前执行其他的方法。前置操作有三种形式:1、没有关键字,作用是执行所有方法前先执行该方法2、except关键字,作用是除了后面的方法外,其他方法执行前都要执行该方法3、only关键字,作用是仅仅在执行后面的方法前,要先执行该方法下面用thinkphp 5.0官方文档例子来说明:namespace app\index\controller;u..._thinkphp5 beforeaction
文章浏览阅读961次,点赞2次,收藏3次。MXNet转onnx问题点记录MXnet转onnx时碰到的问题记录主要问题总结MXnet转onnx时碰到的问题记录最近将mxnet转onnx时碰到很多问题,在查找过程中发现解决方法,特记录下;转换过程主要参考如下链接中的解决方法mxnet模型转onnx模型 作者liguiyuan112 Insightface中ArcFace MxNet2ONNX踩坑MXNet Symbol Batch Normalization fix_gamma=True转ONNX方法主要问题转换时BN层出现错误on_onnx bn层