持久化的存储设备
存储设备,系统中容量最大的存储设备
存储数据之前,要先进行格式化
linux:ext4
windwos:FAT32、NTFS
在读写数据时,数据与磁盘间有个磁盘缓存(内存的一部分)
由盘片,磁头组成,数据存在盘片的环形磁道上,读写时,磁头移动,定位到数据的磁道,进行数据读写
由固态电子元器件组成,不需要磁头寻址,所以不管是连续IO还是随机IO,都比机械盘快
磁盘文件系统:ext4、xfs、nfs
内存文件系统:基于内存的文件系统 /proc/sys
网络文件系统:用来访问其他计算机数据的文件系统 nfs
,smb
扇区sector:磁盘组成的最小单位「512B」,磁盘磁道中一个弧段
块Block:操作系统与磁盘数据交换的最小单位,快=2^n*扇区
linux:类似Ext4文件系统,就是磁盘分块
windows:类似NTFS文件系统,也就是块,只是被叫做「簇」
页page:操作系统与内存数据交换的最小单位
缓冲区:buffer内存与磁盘速度不匹配,在数据与磁盘进行IO时,数据先进入缓存区
页缓存:Linux内存中对磁盘部分数据的副本,加快程序读取磁盘的速度和进程间数据共享
基本分区:不能再分区
扩展分区:必须进行二次分区,才能使用。再分区就是逻辑分区
linux中IDE设备分区符以「hd」开头
hd=Hard Disk表示硬盘是IDE(或ATA)并行接口.速度快一些
linux中SCSI设备分区符以「sd」开头
sd=Serial ATA Disk表示硬盘是scsi,SATA串行接口,u盘也是scsi
vmware中把磁盘做成scsi设备,所以硬盘名称是sda
sda:a、b、c…第几个硬盘
sda1、sda2…数字1、2、3表示第几个分区
fdisk -l
查看系统分区详细信息
root@zx:~# fdisk -l
Disk /dev/vda: 40 GiB, 42949672960 bytes, 83886080 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0xcdbde65e
Device Boot Start End Sectors Size Id Type
/dev/vda1 * 2048 83886046 83883999 40G 83 Linux
root@zx:~#
分区的目的:提升磁盘读写数据的速度
独立磁盘构成具有冗余能力的阵列
由多块独立的磁盘组成一个容量巨大的磁盘组,利用磁盘提供数据所产生的加成效果提升整个磁盘系统的效能。利用这个技术,把数据切割成多段,分别存在不同磁盘上
RAID0:数据分片存在2块磁盘,读写速度提升2倍,主要用于SWAP\TMP,但是数据不冗余,数据恢复难
RAID1:相同数据冗余存入2块磁盘,写速度不变,读速度提升2倍,数据冗余1份,主要用于数据备份,但磁盘利用率低
RAID5:数据分片和校验码混合存储3份,读写速度提升2倍,主要在要求告诉时用,可以用于数据还原
RAID10:2块磁盘1组先做RAID1,多组RAID1,再做RAID0,读写速度N「组数」倍
Virtual File System简称VFS。是Linux内核的子系统之一,它为用户程序提供文件和文件操作系统的统一接口,屏蔽不同文件系统的差异和操作细节。节奏VFS可以直接使用open(),read(),write()这样的系统调用操作文件,而无需考虑具体的文化系统和实际的存储介质
通过VFS系统,Linux提供了通用的系统调用,可以跨越不同文件系统和介质之间执行,极大简化了用户访问不同文件系统的过程。另一方面,新的文件系统,新类型的存储介质,可以无须编译的情况下,动态加载到Linux中
文件操作:先open,再read或write,最后close
读写的不同:
是否利用标准库缓存:缓存IO、非缓存IO
是否利用页缓存:直接IO、非直接IO
直接IO:跳过操作系统和页缓存,直接与文件系统交互来访问文件
非直接IO:文件读写时,先给页缓存,再由内核调用,写入磁盘
释放阻塞自身运行:阻塞IO、非阻塞IO
阻塞IO:如果没有获得响应,就阻塞当前线程
非阻塞IO:不阻塞当前线程
是否等待响应结果:同步IO、异步IO
同步IO:要一直等待整个IO完成,才能获取IO响应
异步IO:不等待IO完成,可以执行另外任务
root@zx:~# iostat -dx 2
Linux 5.4.0-54-generic (zx) 06/17/2021 _x86_64_ (2 CPU)
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz aqu-sz %util
vda 0.00 0.11 0.00 33.65 1.93 28.47 0.94 10.72 1.28 57.78 2.17 11.43 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.13
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz aqu-sz %util
vda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz aqu-sz %util
vda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
rrqm/s
:每秒进行merge的读操作数目,即delta(rmerge)/s
wrqm/s
:每秒进行merge的写操作数目,即delta(wmerge)/s
r/s
:每秒完成的读IO设备次数,即delta(rio)/s
w/s
:每秒完成的写IO设备次数
rsec/s
:每秒读扇区数
wsec/s
:每秒写扇区数
rkBs
:每秒读k字节数
wkB/s
:每秒写k字节数
指磁盘处理IO的时间百分比
磁盘处理IO的繁忙程度
input\output per second 每秒的IO请求
每秒的IO请求大小
指IO请求从发送到收到响应的时间间隔
echo 3 > /proc/sys/vm/drop_caches
echo 1:释放页缓存
echo 2:释放目录项
echo 3:释放页缓存、目录项、节点
执行之后,buff会为0,cache会减少,free增大
root@zx:~# dd if=/dev/zero of=$PWD/outfile bs=20MB count=100
100+0 records in
100+0 records out
2000000000 bytes (2.0 GB, 1.9 GiB) copied, 12.5943 s, 159 MB/s
root@zx:~# time dd if=/dev/zero of=$PWD/outfile bs=20MB count=100
100+0 records in
100+0 records out
2000000000 bytes (2.0 GB, 1.9 GiB) copied, 18.2494 s, 110 MB/s
real 0m18.556s
user 0m0.000s
sys 0m2.696s
if输入文件(in file)
of输出文件(out file)
/dev/zero 一个伪设备,只产生字符流,不会有IO
of=$PWD/outfile 输出到当前目录下的outfile文件中
bs=20MB count=100 块文件20MB,执行100次
使用vmstat 1
:free变小,空闲内存变小;buffer为0,cache数据变大,bo数据也变大,说明有大量的写磁盘
使用iostat -dx 1
:r/s没有数据,wKB/s有大量数据,说明有大量的磁盘操作
top
:wa有明显的数据
root@zx:~# df -h
Filesystem Size Used Avail Use% Mounted on
udev 1.9G 0 1.9G 0% /dev
tmpfs 394M 908K 393M 1% /run
/dev/vda1 40G 14G 24G 37% /
tmpfs 2.0G 0 2.0G 0% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 2.0G 0 2.0G 0% /sys/fs/cgroup
overlay 40G 14G 24G 37% /var/lib/docker/overlay2/620bb7aa0e627cdba9390176389043e6822ab9e5eb2babdeab85277eff33f615/merged
overlay 40G 14G 24G 37% /var/lib/docker/overlay2/d3473cb9961cfa686528b22e036640d393e58e3f53498952e88b602392005deb/merged
overlay 40G 14G 24G 37% /var/lib/docker/overlay2/4255afaa35207b007713bd6b0366838b6452038dffd1c1a1d23639aaab9a37ae/merged
tmpfs 394M 0 394M 0% /run/user/0
root@zx:~# dd if=/dev/vda1 of=/dev/null bs=20MB count=100
100+0 records in
100+0 records out
2000000000 bytes (2.0 GB, 1.9 GiB) copied, 17.9035 s, 112 MB/s
root@zx:~# time dd if=/dev/vda1 of=/dev/null bs=20MB count=100
100+0 records in
100+0 records out
2000000000 bytes (2.0 GB, 1.9 GiB) copied, 9.53937 s, 210 MB/s
real 0m9.548s
user 0m0.001s
sys 0m1.305s
if输入文件(in file)
of输出文件(out file)
/dev/vda1 磁盘第1个物理分区,读取这个磁盘文件,会有IO
/dev/null 一个伪设置,回收站,是个无底洞,可以无限放暑假
bs=20MB count=100 块文件20MB,执行100次
使用vmstat 1
:free变小,空闲内存变小;buffer明显变大,cache数据没有明显变化,bi也有明显的数据
bi数据,经过几次增加后,buffer数据也相应的增加,当bi数据没有时,buffer数据也不变了,但是读的操作还没有结束。说明后面的读数据来自buffer
buffer是由磁盘虚拟而来,用于加快磁盘读速度。
使用iostat -dx 1
:rkB/s数据变大,wkB/s数据不明显
在写磁盘数据时,cache会变大,在读磁盘数据时,buffer会变大。
root@zx:~# echo 3>/proc/sys/vm/drop_caches
root@zx:~# dd if=/dev/zero of=/dev/null bs=50MB count=100
100+0 records in
100+0 records out
5000000000 bytes (5.0 GB, 4.7 GiB) copied, 0.831753 s, 6.0 GB/s
内存的速度,大概是几个GB/s
内存的速度,看你是磁盘速度的上百倍
由机械硬盘,转为固态硬盘,提升磁盘的速度,所以整体性能提升
减少磁盘的IO次数。代码可以优化
可以适当的加大内存的大小
文章浏览阅读909次。《人机交互技术》课程介绍人机交互(Human-Computer Interaction, HCI):是研究人、计算机以及它们间相互影响,通过计算机输入、输出设备,以有效的方式实现人与计算机对话的技术;用户界面是人与计算机之间传递、交换信息的媒介和对话接口,是计算机系统的重要组成部分。人机交互与用户界面是两个有着紧密联系而又不尽相同的概念。人机交互强调的是技术和模型,用户界面是计算机的关键组成部分。..._人机交互方式的作用
文章浏览阅读3.2k次,点赞2次,收藏16次。在初步学习网络安全时,暂时了解DOS命令系统及常用命令,以形成一定的框架体系,后续学习中如需要再继续强化。_dos管道命令详解
文章浏览阅读219次。VB管理信息系统开发实战 大学计算机科学与技术专业毕业,从事教育培训两年,程..._管理系统vb教学
文章浏览阅读91次。React-StepPitGuide《React踩坑指南》十行代码九个警告八个错误竟然敢说七日精通六天学会五湖四海也不见如此三心二意之项目经理简直一等下流。自己总结的关于React学习心得,欢迎大家与我交流ReactGithub:TYRMarsgitbook经常出问题,所以迁到自建的站点了。React 基础知识React 版本..._react踩坑指南
文章浏览阅读5.5k次,点赞7次,收藏63次。常用的机器学习与深度学习算法简介1、机器学习1.1 决策树与随机森林1.2 支持向量机(SVM)1.3 k-最近邻算法1.4 朴素贝叶斯分类器2、深度学习2.1 人工神经网络2.2 深度神经网络2.3 卷积神经网络2.4 循环神经网络2.5 自编码器1、机器学习1.1 决策树与随机森林决策树(Decision Tree)是一种将决策流程以树状结构清晰表示的机器学习方法,本质上是通过一系列规则对数据进行分类的过程。图1-决策树随机森林(Random Forest)是通过构建多个决策树对样本进行训_机器学习和深度学习算法
文章浏览阅读95次。简述AOP是面向切面编程(Aspect-Oriented Programming)的简称。它不是一项技术,和平常说的OOP(Object-Oriented Programming)一样,它是一种编程思想。这里不再做更多的名词解释。上图:从这个丑陋的图中可以看出,利用AOP后,OOP的Objects 都可以只专注于自己的事情,而不需要去管用户是否登录以及记录本次操作日志的事情了。 而且关..._adaptinterceptor(
文章浏览阅读383次。逐浪锥钉体.rar逐浪圆体.rar_逐浪字体 版权
文章浏览阅读217次,点赞4次,收藏3次。GraphQL CLI:简化GraphQL开发的利器项目地址:https://gitcode.com/graphql-cli/graphql-cliGraphQL CLI 是一个强大的命令行工具,旨在帮助开发者更高效地管理和操作他们的GraphQL项目。它是开源的,由GraphQL社区维护,并且完全免费,其目标是统一和优化GraphQL的工作流程。项目简介GraphQL CLI 提供了多样...
文章浏览阅读1.8k次。_形式语义学 入门
文章浏览阅读1.2k次。HTML一、HTML概述1、HTML是一种描述性标记语言,用来描述页面内容的显示方式,如:文字、视频、音频程序等复杂元素。2、HTML文件是一种纯文本文件,以“.html”或“.htm”为后缀。3、HTML的基本组成单位是元素。4、HTML文档结构是由<html>、<head>和<body>这三大元素组成:1)<html>元素..._内容标题是html文档中的文本元素吗
文章浏览阅读733次。Exited(137),docker exec -it 容器名 /bin/bash 无法进入_docker 137
文章浏览阅读2.3k次,点赞4次,收藏27次。java迭代器Iterator讲解_iterator迭代器详解