4 文本预处理 4.1 简单的文本预处理步骤 文本是一类序列数据,一篇文章可以看作是字符或单词的序列,本节将介绍文本数据的常见预处理步骤,预处理通常包括四个步骤: (1)读入文本 (2)分词 (3)建立字典,将每个词映射到一个唯一的索引(index) (4)将文本从词的序列转换为索引的序列,方便输入模型 4.2 pytorch实现 (1)读入文本 (2)分词 (3)建立字典,将每个词映射到一个唯一...

此篇博客为作者对《深度学习入门——基于Python的理论和实现》一书中的im2col函数的笔记 1 学习该函数前需要具备什么知识? 需要了解卷积的相关知识 2 im2col函数的作用(为什么要使用im2co函数)? 卷积运算需要好几层for语句,这样实现麻烦,而且numpy中存在使用for语句变慢的缺点,所以不使用for语句,而用im2col函数代替。 im2col全称im...

神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题,解决这个问题的过程称为最优化(optimization)。遗憾的是,神经网络的最优化问题非常难。这是因为参数空间非常复杂,无法轻易找到最优解(无法使用那种通过解数学式一下子就求得最小值的方法)。而且,在深度神经网络中,参数的数量非常庞大,导致最优化问题更加复杂。 1.SGD: 公式如下: 更新的权重参数记为W,&eta...

波士顿房价预测是机器学习或者深度学习中一个较常见到的小例子,接下来我会通过对代码的解析为大家正式打开paddlepaddle的大门。 一、分析数据 首先我们需要了解一下波士顿房价的数据。因为房价预测这个小例子比较经典,所以在很多机器学习的包中都已经封装好了,我们只需要直接调用即可。想要查看数据,我们只需要导入sklearn即可: 波士顿房价的数据有13个特征变量和一个目标值(MEDV): CRIM...

超参数优化:网格搜索法

深度学习  python  

  

2020-06-08 09:16:20

文章目录 网格搜索法在机器学习和深度学习中的使用 1.项目简介 2.机器学习案例 2.1导入相关库 2.2导入数据 2.3拆分数据集 2.4网格搜索法 2.5使用最优参数重新训练模型 3.深度学习案例 3.1导入相关库 3.2导入数据 3.3拆分数据集 3.4构造模型 3.5网格搜索法 3.6使用最优参数重新训练模型 网格搜索法在机器学习和深度学习中的使用 1.项目简介   在...

Pytorch半精度训练,只需要修改以下内容: Variables: model: 以两层累积BP网络为例,数据采用西瓜数据集3.0,分别使用全精度训练和半精度训练,发现在本文中网络很小的情况下,二者的loss曲线几乎是一样的(见下图),二者的测试结果也是一样的。 另外,使用Adam优化器注意需要设置eps参数,否则loss会报NaN: 使用SGD优化器则没有这个问题。 Adam出现NaN的问题在...

生成ckpt格式的模型 CKPT 转换成 PB格式 通过传入 CKPT 模型的路径得到模型的图和变量数据 通过 import_meta_graph 导入模型中的图 通过 saver.restore 从模型中恢复图中各个变量的数据 通过 graph_util.convert_variables_to_constants 将模型持久化 在pycharm下调试Alt+Shift+F9,然后按0,进入参数...

  项目的初衷:虽然做二分类用SVM就基本能够满足功能需求,但因为Squeezenet网络模型足够小,所以想试一下在嵌入式运行速率和精确度是否能够比拟SVM从而尝试替代   功能实现:制作自定义的车位数据集在Pytorch上进行训练,以onnx文件形式在opencv上进行调用实现车位场景和非车位场景的二分类 1.数据集的制作   首先看一下我拿到的数据集样子以及标签方...

前言 此书使用Python作为编程语言,尽可能地少使用外部库,从零开始实现深度学习的程序。 此书从简单的机器学习问题开始,最终实现一个能高精度地识别图像的系统。 此书以图像识别为主题,主要学习使用深度学习进行图像识别时所需的技术。自然语言处理或者语音识别等不是此书的讨论对象。 此书不介绍Caffe、TensorFlow、Chainer、Theano等深度学习框架的使用方法。 此书不介绍深度学习的详...

一、查看图像模式 根据原论文《EyeTracking for everyone》,其中iTracker的网络输入有一个faceGrid,这个人脸掩模表征了头部在图像中的位置和大小信息。GazeCapture数据集中也准备好了这样的face mask图片。 可以通过下面的程序,查看该样本的图像数据以及模式等信息: 得到的结果如下图所示,全为1的区域表示人脸ROI在图像中的位置。 将图像数据转化为图片...

前提是我的CUDA相关的东西安装好了,因为以前装过tensorflow GPU版本的,如果没有GPU应该也不会影响(我猜的)。现在电脑上没有pytorch软件,参考这里,改了一下torch和torchvision的安装版本,安装步骤: 1、win+R,运行窗口输入cmd打开控制台,输入以下命令 等待大约5分钟左右就安装完了,提示安装成功窗口 验证是否安装成功,在该窗口继续输入python 打开py...

手写数字数据集MNIST

深度学习  python  

  

2020-10-16 18:27:53

文章目录 一、 简介 二、下载MNIST数据集 训练集和测试集的长度 输出图像数据和标记数据的形状 显示手写数字图片 输出数据集中的第1个样本 显示图片 一、 简介 MNIST是一个非常有名的手写体数字识别数据集(手写数字灰度图像数据集),在很多资料中,这个数据集都会被用作深度学习的入门样例。 MNIST数据集是由0到9的数字图像构成的。训练图像有6万张,测试图像有1万张。MNIST数据集是NIS...

可训练变量

深度学习  python  

  

2020-10-22 19:11:02

TensorFlow的自动求导机制 tensorflow提供了强大的自动求导机制,在编程时,不用再一步一步的去写如何计算偏导数的代码了,即使你不会求偏导数,也可以使用tensorflow轻松实现梯度下降法。 我们知道在tensorflow中所有的运算都是在张量中完成的,张量由tensor对象来实现。 除此之外,tensorflow还提供了Variable对象。 它是对tensor对象的进一步封装 ...