技术标签: 机器学习 学习笔记 [林轩田]机器学习基石学习笔记
上节课,林教授讲到了,当样本 N N 足够大,且成长函数 存在断点 k k 时,可以概率性地推出
即
对演算法 A A 在数据空间
上选择的任何假设 g g ,当
在统计学意义上足够大时,这个假设是坏假设的几率是
所以,如果
有了上面三条,再加上好运气,我们就学到了好的规律!!
假设函数 H H 的VC维,记为 ,是使得成长函数 mH(N)=2N m H ( N ) = 2 N 最大的N,即
如下图,这是上节课提出的几个例子:
所以,如果我们有有限个VC维的话,就可以推出不论选择哪个 g g ,都能够保证 ,而不用关心
开始之前,我们先复习两个矩阵相关的概念。
则称,B为A的逆矩阵,A为可逆矩阵。 则 称 , B 为 A 的 逆 矩 阵 , A 为 可 逆 矩 阵 。
注:E为单位矩阵。 注 : E 为 单 位 矩 阵 。
举个例子:
求 A A 的逆矩阵。
解:
假设
设 a1,a2,...am a 1 , a 2 , . . . a m 为一组 n维向量 n 维 向 量 ,若存在一组不全为0的实数 k1,k2,...km k 1 , k 2 , . . . k m ,使得
将向量组写成矩阵,如何通过矩阵的性质判断向量组是线性相关还是线性无关呢?
首先我们来回顾一下二维感知器:
在线性可分的情况下,PLA是可以找到最佳的 g g 的,当迭代次数
足够大时,我们能保证 Ein(g)=0 E i n ( g ) = 0 ;
在之前关于机器学习可行性的论证中,二维线性分割问题的vc维等于3是有限的,在训练样本 N N 足够大时,
所以,我们能推出,在二维线性可分问题中, PLA的 Eout(g)≃0 E o u t ( g ) ≃ 0 。
现在,我们提出一个问题,PLA在多维情况下仍旧可行吗?
注意到一维的感知机 dvc=2 d v c = 2 ,二维的感知机 dvc=3 d v c = 3 ;
猜想, D D 维的感知机
如何验证这个猜想呢?分为两步:
首先证明 dvc≥d+1 d v c ≥ d + 1 ,因为 vc v c 维的定义是,能够被shatter的最大输入数量;如果我们能找到至少1个 d d 维的能shatter的最大输入数量是
的情形,那么就可以说 dvc≥d+1 d v c ≥ d + 1
我们构造一个有 d+1 d + 1 个inputs的 d d 维矩阵:
第一个input向量代表原点,有d个0;其余d行向量分别代表某一维值为1,其它维值为0的向量。
注意到图中灰色的一列,我们给向量的左边添加一列常数1,代表threshold。
当 d=1 d = 1 时:
我们说 d+1 d + 1 个inputs是shatter的,就是说假设空间中,包含输出 y y 的全排列,就是对任意的
,
注意到我们构造的矩阵是可逆的,所以 wX=y→w=X−1y w X = y → w = X − 1 y 总是成立的。
这里我们证明了第一个不等式,即我们找到了d维的d+1个inputs可以被shatter。
如何证明 dvc<=d+1 d v c <= d + 1 呢?我们需要证明,对d维的任意 d+2 d + 2 个输入来说,都是不能被shatter的。
考虑一个二维的例子, d=2,d+2=4 d = 2 , d + 2 = 4 ,也就是4行2列的矩阵,我们在左边偷偷再加一列常数1表示threshold,这样就构成了一个4行3列的矩阵。
这四个点在平面直角坐标系上的表示,分别是(0,0),(1,0),(0,1),(1,1),根据以前的学习,我们知道这四个点是不能被shatter的。
也就是说,如果我们定好了另外三个点分别是圈、叉、圈,第四个点一定不能是叉,只能是圈,用线性代数表示:
从矩阵的角度来说,如果一个矩阵的行数大于列数,这个矩阵的向量组是线性相关的。
这里假设, an a n 与 wTxn w T x n 的符号相同,也就是说,我们假设 a1 a 1 是正的, a2,a3....,ad+1 a 2 , a 3 . . . . , a d + 1 是负的,那么
根据负负得正, wTxd+2 w T x d + 2 一定大于0;也就是说,不存在 xd+2 x d + 2 为叉叉的情况,这样已经证明出, d+2 d + 2 个inputs是不能被shatter的,所以 dvc<=d+1 d v c <= d + 1
所以,我们证明了d维的感知机模型, dvc=d+1 d v c = d + 1 。
第五节课曾经讨论过 M M 和机器学习两个核心问题的关系,将 转换为 dvc d v c ,结论类似。
所以选择一个合适的 dvc d v c ,或者说合适的假设空间 H H ,或者说合适的模型,是十分重要的。
Fun Time问题是,经过原点的也就是说固定 为0的感知器模型的 dvc d v c 是多少?这个问题可以从自有参数与 dvc d v c 的关系入手,因为自由参数少了一个,所以 dvc d v c 也相应地减1。答案是2,d。
在深入解释vc维之前,我们先来回顾一下vc边界。vc边界指坏事发生的概率的右边界,用 δ δ 表示。
换个说法,好事情发生概率的左边界就是 1−δ 1 − δ ,即
也就是说,在 1−δ 1 − δ 的概率下:
我们重点关注右边界,使用 Ω(N,H,δ) Ω ( N , H , δ ) 表示根号项的一大串内容,视为模型复杂度的惩罚项。
左图横轴是 dvc d v c ,纵轴是Error。
给定一些参数,计算需要训练样本 N N 的值,我们发现,理论上样本
,但是经验上, N=10dvc N = 10 d v c 就可以了。
所以说我们的vc bound是十分宽松的,那它为什么如此宽松呢?原因如图。
文章浏览阅读1k次。通过使用ajax方法跨域请求是浏览器所不允许的,浏览器出于安全考虑是禁止的。警告信息如下:不过jQuery对跨域问题也有解决方案,使用jsonp的方式解决,方法如下:$.ajax({ async:false, url: 'http://www.mysite.com/demo.do', // 跨域URL ty..._nginx不停的xhr
文章浏览阅读2k次。关于在 Oracle 中配置 extproc 以访问 ST_Geometry,也就是我们所说的 使用空间SQL 的方法,官方文档链接如下。http://desktop.arcgis.com/zh-cn/arcmap/latest/manage-data/gdbs-in-oracle/configure-oracle-extproc.htm其实简单总结一下,主要就分为以下几个步骤。..._extproc
文章浏览阅读1.5w次。linux下没有上面的两个函数,需要使用函数 mbstowcs和wcstombsmbstowcs将多字节编码转换为宽字节编码wcstombs将宽字节编码转换为多字节编码这两个函数,转换过程中受到系统编码类型的影响,需要通过设置来设定转换前和转换后的编码类型。通过函数setlocale进行系统编码的设置。linux下输入命名locale -a查看系统支持的编码_linux c++ gbk->utf8
文章浏览阅读750次。今天准备从生产库向测试库进行数据导入,结果在imp导入的时候遇到“ IMP-00009:导出文件异常结束” 错误,google一下,发现可能有如下原因导致imp的数据太大,没有写buffer和commit两个数据库字符集不同从低版本exp的dmp文件,向高版本imp导出的dmp文件出错传输dmp文件时,文件损坏解决办法:imp时指定..._imp-00009导出文件异常结束
文章浏览阅读143次。当下是一个大数据的时代,各个行业都离不开数据的支持。因此,网络爬虫就应运而生。网络爬虫当下最为火热的是Python,Python开发爬虫相对简单,而且功能库相当完善,力压众多开发语言。本次教程我们爬取前程无忧的招聘信息来分析Python程序员需要掌握那些编程技术。首先在谷歌浏览器打开前程无忧的首页,按F12打开浏览器的开发者工具。浏览器开发者工具是用于捕捉网站的请求信息,通过分析请求信息可以了解请..._初级python程序员能力要求
文章浏览阅读7.6k次,点赞2次,收藏6次。@Service标注的bean,类名:ABDemoService查看源码后发现,原来是经过一个特殊处理:当类的名字是以两个或以上的大写字母开头的话,bean的名字会与类名保持一致public class AnnotationBeanNameGenerator implements BeanNameGenerator { private static final String C..._@service beanname
文章浏览阅读6.9w次,点赞73次,收藏463次。1.前序创建#include<stdio.h>#include<string.h>#include<stdlib.h>#include<malloc.h>#include<iostream>#include<stack>#include<queue>using namespace std;typed_二叉树的建立
文章浏览阅读7.1k次。在Asp.net上使用Excel导出功能,如果文件名出现中文,便会以乱码视之。 解决方法: fileName = HttpUtility.UrlEncode(fileName, System.Text.Encoding.UTF8);_asp.net utf8 导出中文字符乱码
文章浏览阅读2.1k次,点赞4次,收藏23次。第一次实验 词法分析实验报告设计思想词法分析的主要任务是根据文法的词汇表以及对应约定的编码进行一定的识别,找出文件中所有的合法的单词,并给出一定的信息作为最后的结果,用于后续语法分析程序的使用;本实验针对 PL/0 语言 的文法、词汇表编写一个词法分析程序,对于每个单词根据词汇表输出: (单词种类, 单词的值) 二元对。词汇表:种别编码单词符号助记符0beginb..._对pl/0作以下修改扩充。增加单词
文章浏览阅读773次。我在使用adb.exe时遇到了麻烦.我想使用与bash相同的adb.exe shell提示符,所以我决定更改默认的bash二进制文件(当然二进制文件是交叉编译的,一切都很完美)更改bash二进制文件遵循以下顺序> adb remount> adb push bash / system / bin /> adb shell> cd / system / bin> chm..._adb shell mv 权限
文章浏览阅读6.8k次,点赞12次,收藏125次。1. 单目相机标定引言相机标定已经研究多年,标定的算法可以分为基于摄影测量的标定和自标定。其中,应用最为广泛的还是张正友标定法。这是一种简单灵活、高鲁棒性、低成本的相机标定算法。仅需要一台相机和一块平面标定板构建相机标定系统,在标定过程中,相机拍摄多个角度下(至少两个角度,推荐10~20个角度)的标定板图像(相机和标定板都可以移动),即可对相机的内外参数进行标定。下面介绍张氏标定法(以下也这么称呼)的原理。原理相机模型和单应矩阵相机标定,就是对相机的内外参数进行计算的过程,从而得到物体到图像的投影_相机-投影仪标定
文章浏览阅读2.2k次。文章目录Wayland 架构Wayland 渲染Wayland的 硬件支持简 述: 翻译一篇关于和 wayland 有关的技术文章, 其英文标题为Wayland Architecture .Wayland 架构若是想要更好的理解 Wayland 架构及其与 X (X11 or X Window System) 结构;一种很好的方法是将事件从输入设备就开始跟踪, 查看期间所有的屏幕上出现的变化。这就是我们现在对 X 的理解。 内核是从一个输入设备中获取一个事件,并通过 evdev 输入_wayland