以下为《人工智能ppt总结》的无排版文字预览,完整格式请下载
下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。
第一章
智 能 :
? 从心理科学的角度分析… …
? 从感觉到记忆到思维这一过程,称为“智慧”(智慧的结 果就产生了行为和语言);将行为和语言的表达过程称为 “能力”,两者合称“智能”。
? 将感觉、记忆、回忆、思维、语言、行为的整个过程称为
智能过程(它是智力和能力的表现)。
? 我们可以用“智商”和“能商”来描述智能在个体中发挥 智能的程度;“情商”可以调整智商和能商的正确发挥, 或控制二者恰到好处地发挥它们的作用。
什么是人工智能?
从表现形式的角度:
机器智能,一台机器能够在各类环境中,自主地或交互地执行各种拟人任务。
从学科发展的角度:
人工智能,是计算机科学中涉及研究、设计和应用智能机器的一个分支,其近期
主要目标是用机器来模仿和执行人脑的某些智能功能,并开发相关理论和技术。
从实用主义的角度:
智能计算,研究智能信息处理技术,以使机器具有与人类智能相类似的行为,如:
判断、推理、证明、识别、感知、理解、通信、设计、思考、规划、学习和问题
求解等思维活动。
物理符号系统的六种基本功能:
? 1.输入符号——Input;
? 2.输出符号——Output;
? 3.存储符号——Storage;
? 4.复制符号——Copy;
? 5.建立符号结构:通过找出各个符号之间的关系,在符号系统中形成
一种结构,即:符号结构;
? 6.条件性迁移:根据已有符号,完
成活动过程,即某种形式的推理过程。
物理符号系统的三个推论?
推论一:
? 既然人具有智能,那么他(她)一定是一个物理符号系统。
? 解释:人之所以能够表现出智能,就是基于他的信息处理过程。
推论二:
? 既然计算机是一个物理符号系统,它就一定能够表现出智能。
? 解释:计算机是一个信息处理系统;这是人工智能的基本条件。
推论三:
? 既然人是一个物理符号系统,计算机也是一个物理符号系统,
那么就能够用计算机来模拟人的活动。
认知行为的不同层次?
认知生理学:
? 研究认知行为的生理过程;主要研究人的神经系统(神经元、中枢神经系统
和大脑)的活动;认知科学研究的底层。
认知心理学:
? 研究认知行为的心理活动;主要研究人的思维策略;是认知科学研究的顶层。
认知信息学:
? 研究人的认知行为在人体内的初级信息处理;主要研究人的认知行为如何通
过初级信息自然处理,由生理活动变为心理活动及其逆过程,即由心理活动
变为生理行为;这是认知活动的中间层,承上启下。
认知工程学:
? 研究认知行为的信息加工处理;主要研究如何通过以计算机为中心的人工信
息处理系统,对人的各种认知行为(如知觉、思维、记忆、语言、学习、理
解、推理、识别等)进行信息处理;这是研究认知科学和认知行为的工具,
应成为现代认知心理学和现代认知生理学的重要研究手段。
人工智能信息处理的方法:
遗传系统 → 进化计算
免疫系统 → 人工免疫系统
自然免疫系统的主要特点:
免疫识别 免疫应答 免疫耐受 免疫记忆 免疫调节
人工智能的研究目标:
近期目标:
?建造智能计算机代替人类的部分智力劳动。
远期目标:
?用自动机模仿人类的思维过程和智能行为。
最终目标:
?机器智能实现生物智能的各项功能。
人工智能的各种认知观?
符号主义:
? 其原理主要为物理符号系统(即符号操作系统)假设和有限合理性原理。
连接主义:
? 其原理主要为神经网络及神经网络间的连接机制与学习算法。
行为主义:
? 其原理为控制论及感知—动作型控制系统。
人工智能的基本技术:
知识表示:
? 状态空间法、问题归约法、谓词逻辑法…
推理搜索:
? 启发式搜索、消解原理、不确定性推理…
计算智能:
? 模糊计算、神经计算、进化计算…
构成技术(系统与语言):
? 产生式系统、LISP语言、Prolog语言…
人工智能的研究与应用领域有哪些?
问题求解 逻辑推理与定理证明 自然语言理解 自动程序设计 专家系统
机器学习 神经网络 机器人学 模式识别
第二章
模糊计算:??
以模糊集合理论、模糊语言变量和模糊推理为基
础的控制方法
采用模糊集合理论和模糊逻辑,并同传统的控制
理论结合,模拟人的思维方式,对难以建立数学
模型的对象实施的一种控制方法
特点:
无须对象数学模型
反映人类智慧
易于人们接受
构造容易
鲁棒性、适应性好
精确集合,模糊集合:
隶属函数:
模糊集合中的元素属于该集合的程度,可从0—1之间连续的变化。
并以“隶属度”来表示。 模糊集合中的特征函数,被称为“隶属函数”。
隶属函数的性质:
a) 隶属函数在0和1之间;
b) 其值的确定具有主观性和个人的偏好。
论域的二种形式:
1)离散形式(有序或无序)
2) 连续形式
模糊集合的表示法:(各元素与隶属度结合在一起)
a) Zadeh表示法:
b) 序偶表示法
c) 函数描述法
典型的隶属函数:
(1)高斯函数
(2)广义钟某某
(3)S函数
(4)T型隶属函数
(5)三角形隶属函数
(6)Z型隶属函数
确定隶属函数的方法?
1.模糊统计法
根据所提出的模糊概念进行调查统计, 提出与之对应的模糊集A,通过统计实验,确定不同元素属于A的程度。
2.主观经验法
离散论域,直接给出隶属度。
3.神经网络法
利用神经网络学习功能,由神经网络自动生成隶 属函数,并通过网络学习自动调整。
4.二元对比法
2个概念之间相互对比,依次调整而得。
模糊计算:
模糊计算是以模糊集理论为基础的计算 模拟人脑非精确、非线性的信息处理能力。
推理:
根据已知的一些命题,按照一定的法则,去推断一个新的命题的思维过程和思维方式。即从已知条件求未知结果的 思维过程,就是推理。
人工语言
人们为计算机而设计的语言是形式语言。格式严格、概念十分明确。
有严密的规则,若违背了会产生“语法错”。
特点:
* 所有词义和语义都是明确的;
* 语句的结构遵循严格的规则;
* 凡不属于所定义的词、语句结构的一切表达形式,都视为错误;
* 逻辑推理受到语句结构的限制,推理方式少。
自然语言
具有模糊性。
特点:
* 所有词和语句的意义,可以是明确的,也可以是模糊的;
* 语句的结构有一定的约定规则,但不是一成不变的;
* 与词和语句的结构有一定的偏差和出入的表达形式,并不认
为是错误的,能被理解和接受;
* 逻辑推理不断发展。
语言可分为两种:自然语言和形式语言
二值逻辑:
? 经典二值(布尔)逻辑体系中:
? 所有的分类都被假定为有明确的边界;
? 任一被讨论的对象要么属于这一类,要么不属于这一类;
? 一个命题不是真即是假,不存在亦真亦假或非真非伪的
情况。
? 数理逻辑的逻辑值只有真或假,即0或1两个值的,称为
二值逻辑。
? 有一些问题用二值逻辑是无法解决的。
多值逻辑:
?在二值逻辑中插入一个值,从而构成“三值逻辑”。
?在二值逻辑中插入多个值,则构成“多值逻辑”。
?多值逻辑在本质上仍属于精确逻辑,不是真正的亦此亦彼的逻辑。
?多值逻辑虽然否定逻辑真值的两极性,认为逻辑真值具有离散的中间过渡。但是,它把所有的中介看成是若干完全分立离散、界限分明的对象,而不承认相邻中介的相互渗透和交叉重迭。
模糊逻辑:
? 模糊逻辑是对二值逻辑的扩充。
? 关键的概念是渐变的隶属关系。
? 一个集合可以有部分属于它的元素;
? 一个命题可能亦此亦彼,存在着部分真、部分伪。
? 模糊逻辑是在多值逻辑的基础上发展起来的,但是
两者有区别在于:
?
模糊逻辑不仅承认真值的中介过渡性,还认为事物在形态 和类属方面具有亦此亦彼,或模糊性。相互中介之间是相互交叉和渗透,其真值也是模糊的。
模糊推理系统
模糊推理系统是建立在模糊集合理论,模糊if-then 规则和模糊推理等概念基础之上的先进的计算框架。 模糊推理系统包括三部分:规则库;数据库,所有
隶属度函数;推理机制。
去模糊化方法:
重心法
面积等分法
极大平均法
极大最小法与极大最大法
模糊推理系统构成:
知识库,包含模糊if-then规则库和数据库。其中,规则库中的模糊规则定义和体现了与领域问题有关的专家经验 或知识,而数据库则定义模糊规则中用到的隶属函数。
? 推理机制,按照这些规则和所给的事
实执行推理过程,求得合理的输出或结论。
? 模糊输入接口,将明确的输入转换
为对应隶属函数的模糊语言值。
? 去模糊输出接口,将模糊的计算结果转换为明确的输出。
K-Means
随机选取K个对象作为初始的聚类中心,然后计算每个对象与各个种子聚类中心之间的距离,把每个对象分配给距离它最近的聚类中心。
fuzzy c-means?
通过优化目标函数得到每个样本点对所有类中心的隶属度,从而决定样本点的类属以达到自动对样本数据进行分类的目的。
第三章
计算智能与人工智能的区别和关系
计算智能是一种智力方式的低层认知,它与人工智能的区
别只是认知层次从中层下降至低层而已。中层系统含有知
识(精品),低层系统则没有。
计算智能系统 与人工智能系统 的区别
若一个系统只涉及数值数据,含有模式识别部分,不应用人工智
能意义上的知识,而且能够呈现出:计算性应性;计算容错性;
接近人的速度;误差率与人相近,则该系统是计算智能系统 。
若一个计算智能系统以非数值方式加上知识(精品)值,即成为
人工智能系统
人工神经网络的特性
并行分布处理
非线性映射
通过训练进行学习
适应与集成
硬件实现
神经网络的联接模式:
层内联接
? 层内联接又叫做区域内(Intra-field)联接或侧联接(Lateral)。
? 用来加强和完成层内神经元之间的竞争
循环联接
? 反馈信号
层间联接
? 层间(Inter-field)联接指不同层中的神经元之间的联接
? 这种联接用来实现层间的信号传递
神经网络的分层结构:
单某某
? 简单单某某
? 单级横向反馈网
多级网
循环网
感知机:
感知机是二分类的线性模型,其输入是实例的特征向量,输出的是事例的类别,分别是+1和-1,属于判别模型。
神经网络存储与映射
空间模式(Spatial Model)
时空模式(Spatialtemporal Model)
空间模式三种存储类型
1、RAM方式(Random Access Memory) 随机访问方式是将地址映射到数据。
2、CAM方式(Content Addressable Memory) 内容寻址方式是将数据映射到地址。
3、AM方式(Associative Memory) 相联存储方式是将数据映射到数据。
神经网络的主要学习算法
有师学习算法
? 能够根据期望的和实际的网络输出(对应于给定输入)间的差来
调整神经元间连接的强度或权。
无师学习算法
? 不需要知道期望输出。
强化学习算法
? 采用一个“评论员”来评价与给定输入相对应的神经网络输出的
优度(质量因数)。强化学习算法的一个例子是遗传算法(GA)。
反馈神经网络
在反馈(递归)神经网络中,多个神经元互连以组织一个互连神经网络。
前馈神经网络
前馈网络具有递阶分层结构,同层神经元间不存在互连的层级组成。
BP算法
BP算法是由学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经常采用误差反向传播算法,人们也常把将多层前馈网络直接称为BP网络。
BP算法思想:
1.处理信号的正向传播:
输入信号从输入层经隐单元层传向 输出层,每一层的神经元状态只会
影响到下一层神经元的输入。
2.处理信号的正向传播过程:
当输出信号不能满足期望输出时, 则将误差信号沿原来的连接通路返
回,通过修改各层神经元的连接权值,使得输出误差信号达到最小。
BP算法的特点:
1. BP算法的收敛速度慢,学习过程长;
2. 在解决复杂问题时,不一定保证全局收敛而易陷入局部最小,致使
学习过程失效;
3. 隐单元层的层数和每层神经元个数的选取缺乏理论上的指导;
4. 采用BP算法的前馈神经网络的容错能力较弱。
基于神经网络的知识表示
? 在这里,知识并不像在产生式系统中那样独立地表示为每一条规则,
而是将某一问题的若干知识在同一网络中表示。例如,在有些神经
网络系统中,知识是用神经网络所对应的有向权图的邻接矩阵及阈
值向量表示的。
基于神经网络的推理
? 是通过网络计算实现的。把用户提供的初始证据用作网络的输入,
通过网络计算最终得到输出结果。
? 一般来说,正向网络推理的步骤如下:
1. 把已知数据输入网络输入层的各个节点。
2. 利用特性函数分别计算网络中各层的输出。
3. 用阈值函数对输出层的输出进行判定,从而得到输出结果。
进化计算理论
进化计算的体系框架
?二. 遗传算法的结构
?三. 模式定理
?四. 多样性、收敛性、复杂性
?五. 进化规划、进化策略进化计算的体系框架
进化计算的体系框架
进化计算方法的种类
? 遗传算法(Genetic algorithms,GA)
? 进化策略(Evolution strategies,ES)
? 进化编程(Evolutionary programming,EP)
? 遗传编程(Genetic programming,GP)
?二. 遗传算法的结构
遗传算法
遗传算法的本质 :是模仿生物遗传学和自然选择机理,通过人工方式所构造的一类优化搜索算法,是对生物进化过程进行的一种数学仿真,是进化计算的最重要的形式。
遗传算法的目的 :为那些难以找到传统数学模型的难题指出了一个解决方法
遗传算法的特点
直接对结构对象操作,不存在求导和函数连续性的限定;
遗传算法不是从单个点,而是从一个群体开始搜索;
具有内在的隐并行性和较好的全局寻优能力;
采用概率化寻优方法,能自动获取搜索过程中的有关知识并用于指导优化,自适应地调整搜索方向,不需要确定的规则;
鲁棒性。
简单遗传算法(SGA)
编码与解码
适应度函数
遗传操作
染色体 表示待求问题的解的形式的一种数据结构。
基因 构成染色体的最基本的数据单位
个体 具有某类染色体结构的一种特例
交叉 连续改变染色体多个基因位上的遗传信息
变异 随机改变染色体某些基因位上的遗传信息
选择 从群体中选择优胜的个体,淘汰劣质个体的操作叫选择
过程:1. 初始化群体;
2. 计算群体上每个个体的适应度值
3. 按由个体适应度值所决定的某个规则选择将进入下一代的个体;
4. 按概率Pc进行交叉操作;
5. 按概率Pc进行突变操作;
6. 若没有满足某种停止条件,则转第2步;否则进入下一步;
7. 输出群体中适应度值最优的染色体作为问题的满意解或最优解
三. 模式理论、定理
3.1模式:分析编码字符串时,常常只关心某一位或某几位字符,或字符的某些特定形式,
如1****,11***,0****。这种特定的形式就叫模式。
即相同的构形,它描述的是一个串的子集,这个集合中串之间在某些位上相同
例如,添加符号 * 表示不确定字母,即0或1,
考虑串长为7的模式H=*11*0**,则串 A=***是模式H的一个表示,
对于基数为k的字母表,每一个串有(k+1)l 个模式
3.2模式的阶:出现在模式中确定位置的数目
3.3模式的定义长度:模式中第一个确定位置与最后一个确定位置之间的距离
3.4 模式总数:1)假设字符串长度为l,字符的取值为 k 种,字符串组成的模式数目 n1 最多为: n1=(k+1)l
2)编码字符串(一个个体编码串)所含模式总数:假设字符串长度为l,字符的取值为 k 种,字符串组成的模式数目 n2 最多为:n2=2l。
3)在长度为l,规模为M的二进制编码字符串群体中,一般包某某2l ~ M ·2l个 模式。
3.5 模式定理
(复制时的模式数目——比例选择算子
交叉时的模式数目——交叉算子
变异时的模式数目——变异算子)
模式定理:平均适应度高于群体平均适应度的,长度较短,低阶的模式在遗传
算法的迭代过程中将按指数规律增长。
模式对搜索空间的划分:模式能够划分搜索空间,而且模式的阶越高,对搜索空间的划分越细致。
? GA根据模式的适应度、长度和阶次为模式分配搜索次数。
? 为那些适应度较高,长度较短,阶次较低的模式分配的搜索次数按指数率增长;
? 为那些适应度较低,长度较长,阶次较高的模式分配的搜索次数按指数率衰减
3.6 建筑快假说
建筑块(或称积木块):短定义长度、低阶、高适应度的模式。
建筑块假说: GA在搜索过程中将不同的“建筑块”通过遗传算子(如交叉算子)的作用结合在一起,形成适应度更高的新模式。大大缩小GA的搜索范围
建筑块混合:建筑块通过遗传算子的作用集合在一起的过程。
当那些构成最优点(或近似最优点)的“建筑块”结合在一起时,就得到了最优点。
3.7 隐含并行性(内在并行性)
遗传算法所处理的有效模式总数约与群体规模M的立方成正比。也就是说,虽然在进化过程的每一代中只处理了M个个体,但实际上我们并行处理了与M的立方成正比例的模式数。
因此,遗传算法实际上是一种并行算法,隐藏在个体的背后,故称隐含并行算法。正是由于这种隐含并行性,遗传算法的搜索效率很高
3.8 收敛性定理
如果在每一代演化过程中,遗传算法保留最好的解,并且算法以杂交和变异作为随机化算子,则对于一个全局优化问题,随着演化代数趋向于无穷,遗传算法将以概率1找到全局最有解。
遗传算法极限特性的分析表明算法能够对搜索空间进行持续的搜索,因此遗传算法特别适合于在全局优化问题中应用。
五.进化策略
进化策略是一类模仿自然进化原理以求解参数优化问题的算法。
进化策略的算法模型
寻求与函数极值关联的实n维矢量x。
随机选择父矢量的初始群体。
父矢量xi, i=1,…,p产生子代矢量xi。
对误差 (i=1,…,p)排序以选择和决定保持哪些矢量。
继续产生新的试验数据以及选择最小误差矢量
进化策略和遗传算法的区别
进化策略和遗传算法有着很强的相似性,它们都是一类模仿自然进化原理的算法。
两者也存在着区别,
? 研究方法和领域不同
? 表示个体的方式不同
? 选择过程不同
? 参数变化不同
? 最基本的区别是进化策略是一种数值优化的方法,它采用一个具有自适应步长和倾角的特定爬山方法。
? 遗传算法从广义上说是一种自适应搜索技术。
进化规划:根据正确预测的符号数来度量适应值。通过变异,为父代群体中的每个 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。
生成器网络从随机向量生成样本,鉴别器网络判别给定样本是自然样本还是伪造样本。这两个网络共同训练以提高性能,直到它们达到无法区分假冒和真实样本的程度。
5)长短期记忆网络(LSTM):LSTM是RNN的一个变种,主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说,就是相比普通的RNN,LSTM能够在更长的序列中有更好的表现。
LSTM工作原理:(扩展)
存储单元中管理向单元移除或添加的结构叫门限,有三种:遗忘门、输入门、输出门。门限由sigmoid激活函数和逐点乘法运算组成。前一个时间步骤的隐藏状态,一个送到遗忘门(输入节点),一个送到输入门,一个送到输出门。就前传递而言,输入门学习决定何时让激活传入存储单元,而输出门学习合适让激活传出存储单元。相应的,对于后传递,输出门学习何时让错误流入存储单元,输入门学习何时让它流出存储单元。
3. 训练技巧
数据扩充
辍学:辍学包括将每个隐藏神经元的输出设置为零,概率为p。 以这种方式“退出”的神经元不参与正向反向传播,也不参与反向传播
雷某某 批量规范化
[文章尾部最后500字内容到此结束,中间部分内容请查看底下的图片预览]
以上为《人工智能ppt总结》的无排版文字预览,完整格式请下载
下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。