受限玻尔兹曼机

百科

受限玻尔兹曼机是玻尔兹曼机(Boltzman machine,BM)的一种特线次殊拓扑结构。BM来自的原理起源于统计物理学360百科,是一种基于能量函数的建模方法,能够描述变量之间的高阶够那吸春害调害相互作用,BM的学习算法较复杂,但所建模型和学习算法有比较完备的物理解释和严格的数理统计理论作基础。BM是一种对称耦合的随机反馈型二值单元神经网络,由可见层和多个隐层组成,网络节点分为可见矛足当称见节装单元(visible u们故杂抗nit)和隐单元(hidden unit),用可见单元和隐单元来表达随机网络与随机环境的学习模型年乐,通过权值表达单元之间的切阳鱼乐相关性。

以Hinton和Ackley两位学者为代表的研究人员从不同领烧秋歌短耐笑镇域以不同动机同时友线军项还伯提出BM学习机。

Sm律金了olensky提出的RBM由一个可见鸡果司立神经元层和一青投担说危毫巴督个隐神经元层组成,由于隐层神经元之间没有相互连接并且隐层神经元独立于给定的训练样本,这使直接计算依赖数据的期望值变得容易,可见层神经元之间也没有相互连接,通过从训练样本得到评存景触的隐层神经元状态上执行马尔可夫链抽样过程,来估计独立社护示纸少让冷计于数据的期望值,并行交替更新所有可见层神经元和隐层神经元的值。

  • 中文名 受限玻尔兹曼机
  • 外文名 Restricted Boltzmann Machine,RBM
  • 起源于 统计物理学
  • 最初由发明者 保罗·斯模棱斯基

神经网络简介

  BM是由Hinton和Sejnowski提出的一种随机递归神经网络,可以看做是一种随机生成的Hopf零激ield网络,是能够通过学习数据的固有内在表示解决困难学习问题的最早的人工神经网络之一,因样本分布遵循玻尔兹曼分云井丰乱解头露鱼探质乐布而命名为BM。BM由二值神经元构成,每个神经元只取1或0这两种状态,状态1代表该神经元处于接通状态,状态0代表该神经元处于断开状态。在下面的讨论中单元和节点的意思相同,均表示神经元。

详细解释

  受棉植路上逐日检分调析的限玻尔兹曼机(英语:restricted Boltzmann machine,RBM)来自是一种可通过输入360百科数据集学习概率分布的随机生成神经网络。RBM最初由发而异河雷临接病明者保罗·斯模棱斯基(PaulSmolensky)于1986年命名为簧风琴(Harmoniu校素故装位兵县评重察和m),但直到杰弗里·辛顿及其合作者在2000年代中叶论阶粮成来局白确十当阿发明快速学习算法后,受限玻尔兹曼机才变得知名。

  正如名字所提示的那样,受限玻尔兹曼机是一种玻尔兹曼机的变体,但限定模型必须为二分图。模型中包含对应输入参数的输入(可见)单元和对应训练结果的隐单元,图中的每条边必须连接一个可见单元和一个隐单元。(与此相对,"无限制"玻尔兹曼机包含隐单元间的回尽课载征能赶三边,使之成为递归里怎喜胶述行取肉见不神经网络。)这一限定使得相比一般玻尔兹曼机更高效的训练算法成为可能,特别是基于梯度的对比分歧(contrastivedivergence)算法。

功能

  深信任网络(deep belief network,DBN)和深玻尔兹曼机(deep Boltzmann machine,DBM),由多层神经元组成,已经应用于许多机器学习任务中,能够很来自好地解决一些复杂问题,在一定程度上提高了学习性能。深神经网络由许多受限玻尔兹曼机(re外针速立充stricted Boltzmann machine,RBM)堆栈构成,RBM的可见层神经元之间和隐层神经元之间假定无连接。深神经网络360百科用层次无监督贪婪预训练方法分层预训练RBM,将得到的结果作为监督学习训练概率模型的初始值,学习性能得到很大改善。无监督特征学习就是将RBM的复杂层次结构与海量数据集之间实现统计建模。通过无监督预训练使气损客金网络获得高阶抽象特征,并且提供较好的初始权值,将权值限定在对全局训练有利的范围内,使用层与层之间的局部信息进行逐层训练,注重训练数据自身的特性,能够减小对学习目标过拟合的风险,并避免深神经网络中误差累积传递过长的问题。RBM由于表示力强、易于推理等优点被成功用作深神经网络的结构单元使用,在近些年受到广泛关注,作为实际应用,RBM的学习算法已经兰奏模斤护在MNIST和NORB等数据集上显示出优越的学习性能。RBM的学习在深度神经网络的学习中占据核心的地位。

应用

  BM及其模型已经成功应用伤六皇维兴于协同滤波、分类、降维、报茶整华企毫微需图像检索、信息检索、第钟问你费损法代你永语言处理、自动语音识别、时间序列建模、文档分际许未音过改率类、非线性嵌入学习、暂态数据模型学习和信号与信息处理等任务。受限玻尔兹曼机在降维、分类、协同过滤、特征学习和主题建模中得到了应用。根据任务的不同,受限玻尔兹曼机可以使用监督学习或无监督学习的方法进行训练。

标签:
声明:此文信息来源于网络,登载此文只为提供信息参考,并不用于任何商业目的。如有侵权,请及时联系我们:yongganaa@126.com

评论留言

我要留言

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

声明:此文信息来源于网络,登载此文只为提供信息参考,并不用于任何商业目的。如有侵权,请及时联系我们:yongganaa@126.com