深度学习
从"深度"与"学习"两方面谈
①深度
深度学习前身:人工神经网络(ANN).它的基本特点:模仿人脑神经元传递和处理信息
人工神经网络模型: 输入层----->隐藏层--->输出层. 而"深度"则一般是要求隐藏层很多
每一层由大量节点组成,层层之间由大量链接,但层内神经元一般相互独立
深度学习目的:利用已知的数据学习一套模型,使系统在遇见未知的数据时,也能够做出预测.在这个过程中,神经元需具备以下两个特性:
1,激活函数:非线性函数,前向传播
2,成本函数:在特定输入值下,输出与输入的真实值有多远,降损.反向传播
神经网络算法核心:计算,连接,评估,纠错,训练
深度学习:增加隐藏层数与神经元数量,让系统运行大量数据,训练它
②学习(其实就是进行分类)
有监督学习:有特征,有标记,寻找特征与标记的映射关系(分类,回归)
无监督学习:(思路一:训练时对聚群结构进行聚类;思路二:成功时,强化学习)只有特征没有标记,(聚类,回归)
半监督学习:有标记的跟没有标记的.
入门过程:
1,数学知识:概率论与数理统计,高等数学,线性代数
2.机器学习理论与算法:LR,SVM,决策树,RF
3.编程工具:Python,Java…..
4,研读论文:LeNet,GoogleNet,AlexNetLSTM,GAN
5,动手训练
6,计算机视觉,自然语言处理
TensorFlow
简介
Google框架,实现深度学习中运用的神经网络
亮点:异构设备分布式计算,异构设备指:使用CPU,GPU等核心进行有效协同合作,分布式:帮助我们调度,分配计算资源(甚至容错)
支持的神经网络:卷积神经网络(CNN),循环神经网络(RNN),以及RNN的长短期记忆网络(LSTM)
一个有效框架该有的功能:
·Tensor库对CPU/GPU透明,并且实现很多操作
透明是指:用户只需指定哪个设备进行哪种运算,剩下的都是框架帮用户去实现
·独立的代码库,通过脚本语言(最理想_python)操作tensor,实现所有深度学习内容,包括前向/反向传播,图形计算
·没有编译过程
TensorFlow特性:
·高度灵活性:采用数据流图,用户数值计算
·真正的可移植:在CPU.GPU运行,PC,移动端,服务器,云端服务器等都可以运行
·:科研与产品结合在一起
·自动求微分
·多语言:接口:python,java,c++,核心:C++
·:最优化性能
下载,-----自行Google
依赖的一些模块
1,numpy:存储和处理大型矩阵的科学计算包,包括:
·一个强大的N维数组对象
·比较成熟的函数库
·用于整合C/C++和Fortran代码的工具包
·使用的线性代数,傅里叶变换和随机数生成函数
安装方法: pip install numpy --upgrade
2,matplotlib:python最著名的绘图库
安装方法:pip install matplotlib --upgrade
3,jupyter:Ipython升级版
安装方法:pip install jupter --upgrade
4,scikit-image:有一组图像处理算法,过滤图片变得简单,适用于对图像的预处理
安装方法:pip install scikit-image --upgrade
5,librosa:用python进行音频特征提取
安装方法:pip install librosa --upgrade
6,nltk:包含大量的语料库,很方便的完成很多自然语言处理的任务
安装方法:pip install nltk --upgrade
安装完成后,需要导入nltk工具包下载nltk数据源:
import nltk
nltk.download()
7,keras:第一个被添加到tensorflow和心中的高级别框架
安装方法:pip install keras --upgrade
8,tflearn:另一个支持tensorflow的第三方框架
安装方法:pip install git+https://github.com/tflearn/tflearn.git
TensorFlow可视化:
1,playground:-----http://playground.tensorflow.org/
2,TensorBoard:
是TebsorFlow自带的一个强大的可视化工具,也是一个web应用程序,目前支持7种可视化:
①:SCALARS(scalars):展示训练过程中的准确率.损失值,权重/偏置的变化情况
②:IMAGES(images):展示训练过程中记录的图像
③:AUDIO(audio):展示训练过程中记录的音频
④:GRAPHS(graphs):展示模型的数据流图,以及训练在各个设备上消耗的内存和时间
⑤:DISTRIBUTIONS(distributions):展示训练过程中记录的数据分布图
⑥:HISTOGRAMS(histograms):展示训练过程中记录数据柱状图
⑦:EMBEDDINGS(embeddings):展示词向量(如Word2vec)后的投影分布
用法:运行本地服务器,监听6006端口,在浏览器发出请求时,分析训练时记录的数据来绘制训练过程中的图像
步骤:
1,运行测试数据集:python tensorflow-1.2.0/tensorflow/examples/tutorials/mnist/mnist_with_summaries.py
2,打开TensorBoard面板:tensorboard --logdir=/tmp/tensorflow/mnist/logs/mnist_with_summaries
3,浏览器访问本地IP加端口:6006
