【人工智能】不确定性推理（QDU）

不确定性推理的基本概念

不确定性推理： 是从不确定性的初始证据出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却合理或者近乎合理的结论的思维过程

举例：“医生通过病患发热、头痛等症状推断出病人感冒”，这就是种不确定性推理，病人所说的症状并不一定完全符合自身情况，医生根据症状的判断也并非能完全正确，因此最终的结论也具有不确定性的。

**研究不确定性推理的意义：**正如上面的例子一样，生活中含有大量的不确定信息需要处理

不确定性推理的表示：

​ 证据不确定性的表示：”证据“相当于”条件“，证据的不确定性相当于条件的不确定程度

​ 结论不确定性的表示：如果”知识“和”证据“都是确定的话，根据知识可以由证据推出确定的结论，如果”知识“和”证据“不确定，则结论的不确定性的含义为结论的 不确定程度

​ 知识不确定性的表示：”知识“是一种关系，是”证据“与”结论“之间的一种推出关系，知识的不确定性的含义为这个关系的不确定程度。有时也称知识为规则

不确定性的量度： 既然涉及计算，就需要为抽象的”不确定性的程度“确定一种定量的表示方法。这就需要用不同的数据表示其不确定性的程度，同时还要事先规定它的取值范围。

计算问题概述：

1. 不确定性的传递算法

   已知证据的不确定性程度对应值和知识的不确定性程度对应的值，如何计算结论的不确定性程度对应的值

   符号表示：已知 C(E)，f(H,E)，如何计算 C(H)。其中 E、H分别为证据和结论，C(E)、C(H)分别表示证据和结论的不确定性程度对应值，f(H,E)表示知识的不确定性程度对应值。下面类似

2. 结论不确定性的合成

   已知多个证据根据不同的知识推出的同一个结论的若干不确定性程度对应的值，如何计算这些证据共同推出的结论不确定性程度对应的值

   符号表示：已知 C1(H)，又得到 C2(H)，如何确定 C(H)

3. 组合证据的不确定性算法

   已知多个证据的不确定性程度对应的值，如何计算这些证据经过析取或合取后的不确定性程度对应的值

   典型方法：最大最小法，概率方法，有界方法

   符号表示：如何由 C(E1)，C(E2)，计算 C(E1∨E2)，C(E1∧E2)

基于可信度的不确定推理方法

可信度（Certainty Factor）的概念： 可信度是指人们根据以往经验对某个事物或现象为真的程度的一个判断，或者说是人们对某个事物或现象为真的相信程度

CF模型

知识的不确定性表示：

在CF模型中，知识是用产生式规则表示的，其一般形式为：
$$IFETHENH(CF(H,E))$$

• E是知识的前提条件，即证据
• H是知识的结论
• CF(H,E)是知识的可信度，称为可信度因子或规则强度或知识强度，表示当前提条件E所对应的证据为真时，它对结论H为真的支持程度
• 若由于相应证据的出现增加结论H为真的可能性，则CF(H,E)>0，证据的出现越是支持H为真，就使CF(H,E)的值越大；反之，CF(H,E)<0，证据出现越是支持H为假，CF(H,E)的值就越小；若CF(H,E)=0，表示证据和结论没有关系
• CF(H,E)是根据经验对一个事物或现象为真的可信程度的度量，它描述的是知识的静态强度
• CF(H,E)取值为：[-1,1]

例如：

IF 发烧 AND 流鼻涕 THEN 感冒 (0.8)

表示当某人确实有“发烧”及“流鼻涕”症状时，则有80%的把握是患了感冒。

知识可信度（即CF）的定义：
$$CF(H,E)=MB(H,E)-MD(H,E)$$

• MB（Measure Belief）：信任增长度，它表示因为与前提条件E匹配的证据的出现，使结论H为真的信任增长度。
• MD（Measure Disbelief）：不信任增长度，它表示因为与前提条件E匹配的证据的出现，对结论H的不信任增长度。

MB、MD由条件概率和先验概率定义：

MB的定义：
M B ( H , E ) = { 1 i f    P ( H ) = 1 m a x { P ( H ∣ E ) , P ( H ) } – P ( H ) 1 − P ( H ) e l s e MB(H,E)=\begin{cases} 1 & & if\space\space P(H)=1 \\ \frac{max\{P(H|E), P(H)\} – P(H)}{1-P(H)} & & else \\ \end{cases} MB(H,E)={11−P(H)max{P(H∣E),P(H)}–P(H)​​​if  P(H)=1else​
MD的定义：
M D ( H , E ) = { 1 i f    P ( H ) = 0 m i n { P ( H ∣ E ) , P ( H ) } – P ( H ) − P ( H ) e l s e MD(H,E)= \begin{cases} 1 & & if\space\space P(H)=0 \\ \frac{min\{P(H|E), P(H)\} – P(H)}{-P(H)} & & else \\ \end{cases} MD(H,E)={1−P(H)min{P(H∣E),P(H)}–P(H)​​​if  P(H)=0else​
其中，P(H)为H的先验概率，P(H|E)表示在前提条件E所对应的证据出现的情况下，结论H的条件概率。

MB与MD的性质：

• 互斥律：一条证据不可能既支持又不支持某一假设，即：

  • 如果MB(H, E) > 0，那么MD(H, E) = 0.

    如果MD(H, E) > 0，那么MB(H, E) = 0.

  • P(H|E) > P(H)时，即MB(H, E) > 0，说明由于E所对应的证据的出现增加了H的信任程度，但不信任程度没有变化，即MD(H, E) = 0，可以理解为E的出现增加了H为真的概率，增加了H为真的可信度

    P(H|E) < P(H)时，即MD(H, E) > 0，说明由于E所对应的证据的出现增加了H的不信任程度，但信任程度没有变化，即MB(H, E) = 0，可以理解为E的出现减少了H为真的概率，增加了H为假的可信度

  • 当P(H|E) = P(H)时，根据公式P(H|E)×P(E) = P(H, E)可知P(H)P(E) = P(H,E)，即证据E和结论H相互独立，此时MD(H, E) = MB(H, E) = 0，可以理解为即E的出现对H没有影响

• 对H的信任增长度等于对非H的不信任增长度

  即：MB(H,E) = MD(~H,E)

  可以理解为对H为真信任增长度等于对H为假的不信任增长度

• 对H的可信度与对非H的可信度之和为0

  即 CF(H,E) + CF(~H,E) = 0

  可以通过上面的性质代入CF的定义式中推出CF(H,E) + CF(~H,E) = 0

证据的不确定性表示：

证据的不确定性也用CF来表示，它描述的是证据的动态强度。

• 知识的静态强度CF(H,E)表示规则强度，即当E所对应的证据为真对H的影响程度；
• 证据的动态强度CF(E)表示证据E当前的不确定程度。

CF值的来源分两种情况：

• 初始证据：由提供证据的用户给出
• 以前的结论作为新证据：由传递算法推出

证据的CF取值范围：[-1,1]

• E肯定为真时：CF(E)=1
• E肯定为假时：CF(E)= -1
• 对E一无所知时：CF(E)=0
• CF(E)>0表示E以CF(E)为真
• CF(E)<0表示E以CF(E)为假

组合证据的不确定性算法：

最大最小方法中：

组合证据多个单一证据的合取

​ E = E₁ AND E₂ AND …… AND E_n 则 CF(E)=min{CF(E₁),CF(E₂),……,CF(E_n)}

组合证据是多个单一证据的析取

​ E = E₁ OR E₂ OR …… OR E_n 则 CF(E)=max{CF(E₁),CF(E₂),……,CF(E_n)}

概率方法中：

​ C(E₁∧E₂) = C(E₁) · C(E₂)

​ C(E₁∨E₂) = C(E₁) + C(E₂) - C(E₁) · C(E₂)

有界方法中：

​ C(E₁∧E₂) = max{0， C(E₁)+C(E₂) - 1}

​ C(E₁∨E₂) = min{1, C(E₁)+C(E₂)}

不确定性的传递算法：

CF模型中的不确定性推理：从不确定的初始证据出发，通过运用相关的不确定性知识，最终推出结论并求出结论的可信度值，结论H的可信度可由下式计算

​ CF_i(H) = CF(H,E_i) * max{0, CF(E_i)}

结论不确定性的合成算法：

一般步骤：（以两条知识推出同一个结论为例）

① 通过公式 CF_i(H) = CF(H,E_i) * max{0, CF(E_i)} 分别求出每条知识对应的CF，即CF₁(H)和CF₂(H)

② 通过下面的公式，由CF₁(H)和CF₂(H)计算出CF_1,2(H)，CF_1,2(H)即为所需
C F 1 , 2 ( H ) = { C F 1 ( H ) + C F 2 ( H ) − C F 1 ( H ) ∗ C F 2 ( H ) , C F 1 ( H ) ≥ 0 , C F 2 ( H ) ≥ 0 C F 1 ( H ) + C F 2 ( H ) + C F 1 ( H ) ∗ C F 2 ( H ) , C F 1 ( H ) < 0 , C F 2 ( H ) < 0 C F 1 ( H ) + C F 2 ( H ) 1 − m i n { ∣ C F 1 ( H ) ∣ , ∣ C F 2 ( H ) ∣ } , C F 1 ( H )     与     C F 2 ( H )   异 号 \textcolor{red} { CF_{1,2}(H)= \begin{cases} CF_1(H) + CF_2(H) - CF_1(H) * CF_2(H) & & , & CF_1(H) ≥ 0 , CF_2(H) ≥ 0 & \\ CF_1(H) + CF_2(H) + CF_1(H) * CF_2(H) & & , & CF_1(H) < 0 , CF_2(H) < 0 & \\ \frac{ CF_1(H) + CF_2(H) }{1-min\{|CF_1(H)|, |CF_2(H)|\}} & & , & CF_1(H) \space\space\space与\space\space\space CF_2(H)\space 异号 & \\ \end{cases} } CF1,2​(H)=⎩⎪⎨⎪⎧​CF1​(H)+CF2​(H)−CF1​(H)∗CF2​(H)CF1​(H)+CF2​(H)+CF1​(H)∗CF2​(H)1−min{∣CF1​(H)∣,∣CF2​(H)∣}CF1​(H)+CF2​(H)​​​,,,​CF1​(H)≥0,CF2​(H)≥0CF1​(H)<0,CF2​(H)<0CF1​(H)   与   CF2​(H) 异号​​
注意：当多于两条知识时，可以先将知识1和知识2合并再依次合并3、4、……

标红的三个公式是计算的重点！！！

例题1：

设有如下一组规则：
$$\begin{gathered} r1：A_1\to B_{1}CF(B_1,A_1)=0.8 \\ r2:A_2\to B_{1}CF(B_1,A_2)=0.5 \\ r3:B_1\wedge A_3\to B_{2}CF(B_2,B_1\wedge A_3)=0.8 \end{gathered}$$
初始证据$A_1$ ，$A_2$ ，$A_3$的CF值均设为1，而初始未知证据$B_1$ ，$B_2$的CF值为0，即对$B_1$ ，$B_2$是一无所知的。

求：CF(B₁)，CF(B₂)的更新值

解答：

CF₁(B₁) = CF(B₁,A₁) × max{0, CF(A₁)} = 0.8 × 1 = 0.8

CF₂(B₁) = CF(B₁,A₂) × max{0, CF(A₂)} = 0.5 × 1 = 0.5

因为两者均 >0，所以

CF(B₁) = CF₁(B₁) + CF₂(B₁) - CF₁(B₁) × CF₂(B₁) = 0.8 + 0.5 - 0.8 × 0.5 = 0.9

令 E = B₁ ∧ A₃， 则CF(E) = min{CF(B₁), CF(A₃)} = 0.9

可得 CF(B₂) = CF(B₂,E) × max{0, CF(E)} = 0.8 × 0.9 = 0.72

例题2：

设有如下一组知识：

$$R1:IF{E}_{1}THENH(0.8)$$

$$R2:IF{E}_{2}THENH(0.6)$$

$$R3:IF{E}_{3}THENH(-0.5)$$

$$R4:IF{E}_{4}AND(E_{5}OR{E}_6)THEN{E}_1(0.7)$$

$$R5:IF{E}_{7}AND{E}_{8}THEN{E}_3(0.9)$$

已知：CF(E₂) = 0.8，CF(E₄) = 0.5，CF(E₅) = 0.6，CF(E₆) = 0.7，CF(E₇) = 0.6，CF(E₈) = 0.9

求：CF(H)

解答：

欲求解CF(H)，即求解CF_1,2,3(H)，需要先求解CF₁(H)、CF₂(H)和CF₃(H)

其中CF(H,E₁)、CF(H,E₂)、CF(H,E₃)和CF(E₂)已知，因此CF₂(H)可以通过公式 CF_i(H) = CF(H,E_i) * max{0, CF(E_i)} 得到，CF₂(H) = 0.6 × max{0,CF(E₂)} = 0.48

欲求CF₁(H)和CF₃(H)必须先求CF(E₁)和CF(E₃)：

由R4得到：CF(E₁) = 0.7 × max{0,CF(E₄∧(E₅∨E₆)]} = 0.7 × max{0,min{CF(E₄),max{CF(E₅),CF(E₆)}}} = 0.35

由R5得到：CF(E₃) = 0.9 × max{0,CF(E₇∧E₈)} = 0.9 × max{0,min{CF(E₇),CF(E₈)}} = 0.54

求得CF(E₁) = 0.35，CF(E₃) = 0.54

由R1得到：CF₁(H) = 0.8 × max{0,CF(E₁)} = 0.28

由R2得到：CF₂(H) = 0.6 × max{0,CF(E₂)} = 0.48

由R3得到：CF₃(H) = 0.5 × max{0,CF(E₃)} = -0.27

根据结论不确定性的合成算法：

CF_1,2(H) = CF₁(H) + CF₂(H) - CF₁(H) × CF₂(H) = 0.63

CF_1,2,3(H) = [CF_1,2(H)+CF₃(H)] / [1-min{|CF_1,2(H)|,|CF₃(H)|}] = 0.49

即最终的综合可信度为CF(H) = 0.49

思考：在求CF(H)时，变换结论不确定性合并算法中的计算顺序（即H₁，H₂，H₃的组合顺序），结果不变

有关上述计算的小总结：

CF(H)与CF_i(H)的区别：

1. 当只有一个条件E能推出结论H时，不存在CF_i(H)之说
2. 若存在 i （i>1）个条件能推出结论H时，记条件分别为 E₁、E₂、……、E_i，CF(H) = CF_1,2,……,i(H)；而CF_1,2,……,i(H)的求得要通过重复”结论不确定性的合成算法“

CF模型题目

在如图所示的推理网络中，A、B、E为确定性证据，网络中弧上的数据表示对应的CF值，如CF(C, A)=0.8，CF(F, E)=-0.3，求基于证据A、B、E的结论F的CF值。

首先明确已知和待求。

已知：

​ 图中显示的信息：CF(C,A)=0.8，CF(C,B)=0.5，CF(D,C)=0.7，CF(F,D)=0.9，CF(F,E)=-0.3

​ 题目文字的信息：因为A、B、E为确定性证据，因此CF(A) = CF(B) = CF(E) = 1

待求：

​ “求基于证据A、B、E的结论F的CF值”，即求CF(F) = CF_A,B,E(F)

思考过程：

​ 知识（规则）的可信度都是已知的，下面的思考就不再考虑计算知识（规则）的可信度了。

​ 既然要求CF(F)，那么就要先求F的证据的可信度，即CF(E)和CF(D)，CF(E)是已知的，因此只需求CF(D)。

​ D既是F的证据也是C的结论，因此可以使用“证据结论传递算法”通过证据C求解结论D的可信度。

​ 但是CF©同样未知，也就无法求解CF(D)，因此需要先通过证据A、B求解出结论C的可信度，进而求解D的可信度。

​ A、B的可信度是已知的，CF(A) = CF(B) = 1。

​ 这样就可以通过A、B计算出CF©，进而计算CF(D)，最后通过CF(D)和CF(E)计算出CF(F)。

计算过程：

​ ∵ CF_A(C) = CF(C, A) × max{0, CF(A)} = 0.8 （不确定性的传递算法）

​ CF_B(C) = CF(C, B) × max{0, CF(B)} = 0.5 （不确定性的传递算法）

又∵CF_A(C) > 0, CF_B(C) > 0

​ ∴CF(C) = CF_A,B(C) = CF_A(C) + CF_B(C) - CF_A(C) × CF_B(C) = 0.9 （结论不确定性的合成算法）

​ ∴CF(D) = CF(D, C) × max{0, CF(C)} = 0.63 （不确定性的传递算法）

​ ∴CF_D(F) = CF(F, D) × max{0, CF(D)} = 0.567 （不确定性的传递算法）

​ ∵CF(F,E) = -0.3, CF(E) = 1

​ ∴CF_E(F) = CF(F, E) × max{0, CF(E)} = -0.3 （不确定性的传递算法）

​ ∵CF_D(F) > 0, CF_E(F) < 0

​ ∴CF(F) = CF_D,E(F) = CF_A,B,E(F) = (CF_D(F) + CF_E(F) ) / (1 - min{|CF_D(F) | , |CF_E(F) |}) ≈ 0.38 （结论不确定性的合成算法）

基于主观贝叶斯方法的不确定推理方法

前置知识：

• 先验概率

  • 定义：

    直观理解，所谓“先”，就是在事情之前，即在事情发生之前事情发生的概率。是根据以往经验和分析得到的概率。

  • 举例：

    比如抛硬币，我们都认为正面朝上的概率是0.5，这就是一种先验概率，在抛硬币前，我们只有常识。这个时候事情还没发生，我们进行概率判断。所谓的先验概率是对事情发生可能性猜测的数学表示。

• 后验概率

  • 定义：

    事情已经发生了，事情发生可能有很多原因，判断事情发生时由哪个原因引起的概率。

  • 举例：

    比如今天你没去学校，原因有两个，可能是生病了，也可能是自行车坏了。然后上课时老师发现你没来。（这里是一个结果，就是你没来学校这件事情已经发生了）老师叫学霸计算一下概率，分别是因为生病了没来学校的概率和自行车坏了没来学校的概率。

    很显然，后验概率就是在事情发生后判断由哪一个原因引起的概率。这里的事情是你上学迟到，原因有生病了和自行车坏了。

• 贝叶斯公式
  $$P(A|B)=\frac{P(AB)}{P(B)}=\frac{P(B|A)P(A)}{P(B)}$$
  P(A) 是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素

  P(A|B) 是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。

  P(B|A) 是已知 A 发生后 B 的条件概率，也由于得自 A 的取值而被称作 B 的后验概率。

主观贝叶斯方法

主观贝叶斯的基本思想：

主观贝叶斯方法推理的任务就是根据证据E的概率P(E)及LS，LN的值，把H的先验概率P(H) ，更新为后验概率 P(H|E) 或 P(H|¬E)，即：
$$P(H)\underset{LS,LN}{\overset{P(E)}{}}P(H|E)或P(H|\neg E)$$
这样计算的目的就是看E对最终结论H的影响。

几率函数：

P(x)表示x出现的可能性，1-P(x)表示x不出现的可能性
$$\begin{gathered} O(x)=\frac{P(x)}{1-P(x)} \\ P(x)=\frac{O(x)}{1+O(x)} \end{gathered}$$
P(x) : [0,1]；O(x) : [0,+∞)

知识的不确定性表示：

在主观Bayes方法中，知识用产生式规则表示：
$$ifEthen(LS,LN)H(P(H))$$
LS——充分性度量，表示E对H的支持程度，取值范围[0,+∞)

​ 定义为$LS=\frac{P(E|H)}{P(E|\neg H)}$，其中P(E|H)表示“结论H发生的情况下，证据E发生的概率”，P(E|¬H)表示“结论H不发生的情况下，证据E发生的概率”

LN——是必要性度量：表示¬E对H的支持程度，取值范围[0,+∞)

​ 定义为$LN=\frac{P(\neg E|H)}{P(\neg E|\neg H)}$，其中P(¬E|H)表示“结论H发生的情况，证据E不发生的概率”，P(¬E|¬H)表示“结论H不发生的情况下，证据E不发生的概率”

LS，LN相当于知识的静态强度。都是专家给出，预先设定的。应该说LS和LN是从肯定（支持）和否定（不支持）两个角度共同描述了证据对结论的影响。

LS及LN的性质：

1. LS：反映E的出现对H为真的影响程度
   • 当LS>1时，说明E支持H，LS越大，E对H的支持越充分；
   • 当LS=1时，说明E对H没有影响
   • 当LS<1时，说明E不支持H
   • 当LS=0时，说明E的存在使H为假
2. LN：反映当E不存在时对H为真的影响程度
   • 当LN>1时，说明¬E支持H，LN越大，支持越充分
   • 当LN=1时，说明¬E对H没有影响
   • 当LN<1时，说明¬E不支持H；LN越小，E的不出现就越反对H为真。
   • 当LN=0时，说明¬E的存在使H为假
3. LS与LN的关系
   • LS>1 且 LN<1
   • LS<1 且 LN>1
   • LS = LN = 1

证据的不确定性表示：

证据分为两种，”确定的证据“和”不确定的证据“，本质上”确定的证据“是”不确定的证据“的一种特殊情况。主观贝叶斯方法是建立在“不确定的证据”之上的。

”确定的证据“又可以分为”证据肯定出现“和”证据肯定不出现“。

对于”确定的证据“不做过多解释，主要讲解”不确定的证据“的表示。

在实际应用中，证据肯定出现或肯定不出现的极端情况是不多的，更多的是介于两者之间的不确定情况，即无法肯定它一定存在或者一定不存在。这时H依赖于E，E又基于部分证据S（也称观察）。

在主观贝叶斯方法中，证据的不确定性也是用其概率或几率表示的。概率与几率之间的关系为：
$$O(E)=\frac{P(E)}{1-P(E)}=\{\begin{array}{llc}0& & 当E为假时\\ \infty & & 当E为真时\\ (0,\infty )& & 当E非真也非假时\end{array}$$
对于初始证据E，由用户根据观察S给出P(E|S)，它相当于动态强度。

但由于动态强度P(E|S)的给出相当困难，因而在具体的应用系统中往往采用适当的变通方法，如在 PROSPECTOR 中引进了可信度的概念，让用户在 –5 至 5 之间的 11 个整数中选一个数作为初始证据的可信度。

可信度 C(E|S) 与 概率 P(E|S) 的对应关系如下：

• C(E|S)=-5，表示在观察 S 下证据 E 肯定不出现，即 P(E|S)=0
• C(E|S)=0，表示 S 与 E 无关，即 P(E|S)=P(E)
• C(E|S)=5，表示在观察 S 下证据 E 肯定出现，即 P(E|S)=1
• C(E|S)=其它数值时，与 P(E|S) 的对应关系可通过对上述三点进行分段线性插值得到

插值后如下图：

由上图可得到 C(E|S) 与 P(E|S) 的关系式：
$$P(E|S)=\{\begin{array}{llc}\frac{P(E)}{5}\times (5+C(E|S))& & -5\le C(E|S)<0\\ \frac{1-P(E)}{5}\times C(E|S)+P(E)& & 0\le C(E|S)\le 5\end{array}$$

组合证据的不确定性算法：

• 当组合证据是多个单一证据的合取

  E = E₁ AND E₂ AND … AND E_n，如果已知 P(E₁|S)，P(E₂|S)，…，P(E_n|S)，则 P(E|S) = min { P(E₁|S), P(E₂|S), … , P(E_n|S) }

• 当组合证据是多个单一证据的析取

  E = E₁ OR E₂ OR … OR E_n，如果已知 P(E₁|S)，P(E₂|S)，…，P(E_n|S)，则 P(E|S) = max { P(E₁|S), P(E₂|S), … , P(E_n|S) }

• 非运算

  P(¬E|S) = 1 – P(E|S)

不确定性的传递算法：

• 不确定的证据：

  假设S是对证据E的观察，则P(E|S)表示在观察S下，E为真的概率，值在[0,1]。

  可以分为四种情况讨论，先讨论前两种，“证据E肯定发生”和“证据E肯定不发生”，这两种也算是“确定的证据”，作为“不确定的证据”的特殊情况考虑。

  但四种情况都满足杜达公式：
  $$P(H|S)=P(H|E)\times P(E|S)+P(H|\neg E)\times P(\neg E|S)$$

  • 证据E肯定发生

    证据E肯定发生，也就意味着在观察S下证据E出现的概率为1，即P(E|S)=1，且P(¬E|S)=0，则杜达公式可化为：P(H|S)=P(H|E)

    证据E肯定出现的情况下，通过Bayes公式，结论H的先验概率P(H)更新为P(H|E)的计算公式为：P(H|E) = LS×P(H) / [(LS-1)×P(H)+1]

    综合后得到在证据E肯定发生下存在的等式：
    $$P(H|S)=P(H|E)=\frac{LS\times P(H)}{(LS-1)\times P(H)+1}$$

  • 证据E肯定不发生

    证据E肯定不发生，也就意味着在观察S下证据E出现的概率为0，即P(E|S)=0，且P(¬E|S)=1，则杜达公式可化为：P(H|S)=P(H|¬E)

    证据E肯定不出现的情况下，通过Bayes公式，结论H的先验概率P(H)更新为P(H|¬E)的计算公式为：P(H|¬E) = LN×P(H) / [(LN-1)×P(H)+1]

    综合后得到在证据E肯定不发生下存在的等式：
    $$P(H|S)=P(H|\neg E)=\frac{LN\times P(H)}{(LN-1)\times P(H)+1}$$

  • P(E|S) = P(E) 的特殊情况

    P(E|S) = P(E) 即证据E和观察S相互独立，E与S无关，则杜达公式可化为：P(H|S)=P(H|E)×P(E)+P(H|¬E)×P(¬E)=P(H)

    即存在等式：
    $$P(H|S)=P(H)$$

  • P(E|S)为其他值（非0，非1，非P(E)）的情况

    此时0<P(E|S)<1，即证据E的真假性（是否出现）是不一定的，故计算后验概率P(H|S)不能适用Bayes公式，而通过分段线性插值计算：

  

  通过插值图可得到EH公式：
  $$P(H|S)=\{\begin{array}{llc}\frac{P(H)-P(H|\neg E)}{P(E)}\times P(E|S)+P(H|\neg E)& & 0\le P(E|S)<P(E)\\ \frac{P(H|E)-P(H)}{1-P(E)}\times [P(E|S)-P(E)]+P(H)& & P(E)\le P(E|S)\le 1\end{array}$$

  将“C(E|S) 与 P(E|S) 的关系式”代入EH公式可以得到CP公式：
  $$P(H|S)=\{\begin{array}{llc}[P(H)-P(H|\neg E)]\times [\frac{1}{5}C(E|S)+1]+P(H|\neg E)& & C(E|S)\le 0\\ [P(H|E)-P(H)]\times \frac{1}{5}C(E|S)+P(H)& & C(E|S)>0\end{array}$$

结论不确定性的合成算法：

若有n条知识都支持相同的结论，而且每条知识的前提条件所对应的证据E_i（i =1,2,…,n）都有相应的观察S_i 与之对应，此时只要先求出每条知识的 O(H|S_i)，然后就可运用下述公式求出 O(H|S₁,S₂,…,S_n)。
$$O(H|S_1,S_2,\dots ,S_n)=\frac{O(H|S_1)}{O(H)}\times \frac{O(H|S_2)}{O(H)}\times ...\times \frac{O(H|S_n)}{O(H)}\times O(H)$$
主观Bayes方法的优缺点：

主要优点：

• 其计算公式大多是在概率论的基础上推导出来的，具有较坚实的理论基础
• 知识的静态强度LS、LN 由领域专家根据实际经验得到，避免了大量的数据统计工作
• 给出了在证据不确定情况下更新先验概率为后验概率的方法，且从推理过程中看，确实是实现了不确定性的传递

主要缺点：

• 它要求领域专家在给出知识时，同时给出 H 的先验概率，这是比较困难的
• Bayes定理中要求事件间相互独立，限制了该方法的应用

小总结：

1. 几率函数一般只是作为公式转换的中间工具使用，比如要想实现结论的合成，就必须先将概率转化为几率，合成之后再转换回概率。

2. $P(H|E)=\frac{LS\times P(H)}{(LS-1)\times P(H)+1}$和$P(H|\neg E)=\frac{LN\times P(H)}{(LN-1)\times P(H)+1}$是恒成立的，而$P(H|S)=P(H|E)$和$P(H|S)=P(H|\neg E)$分别只在证据E肯定出现和肯定不出现时成立。

3. 无论是在CF模型中还是主观Bayes方法中，静态强度都与知识有关，动态强度都与证据有关；

   两种模式下的组合证据的不确定性算法都是以动态强度为每一项求最大值或最小值；

   CF模型中的动态强度为CF(E)，主观Bayes方法中的动态强度为P(E|S)，表达的都是证据E的可信（正确）度。

4. 要深刻理解“C(E|S) 与 P(E|S) 的关系式”、EH公式和CP公式。

   这三个公式、“组合证据的不确定性算法”、中间工具“几率”以及P(H|E)和P(H|¬E)的恒成立公式将作为解决主观Bayes计算题目的重要工具。

主观贝叶斯方法题目

例1：

设有规则：

$R1:IF{E}_{1}THEN(2,0.0001)H_1$

$R2:IF{E}_{1}AND{E}_{2}THEN(100,0.001)H_1$

$R3:IF{H}_{1}THEN(200,0.01)H_2$

已知：P(E₁)=P(E₂)=0.6，P(H₁)=0.091，P(H₂)=0.01

用户回答：P(E₁|S₁)=0.76，P(E₂|S₂)=0.68

求：P(H₂|S₁,S₂)

根据如上描述可以得到推理网络如下：

思考过程：

​ 目标是P(H₂|S₁,S₂)，显然需要合成结论，但是我们先不要急着分解。观察网络发现H₁作为证据是可以直接推出H₂的，因此完全可以使用EH公式将P(H₁|S₁,S₂)转化为P(H₂|S₁,S₂)，现在问题转化为求解P(H₁|S₁,S₂)了。

​ 这时我们再考虑合成结论的问题，合成结论必不可少的是“结论的不确定性合并算法”和几率，问题转化为求解P(H₁|S₁)和P(H₁|S₂)。

​ 求解P(H₁|S₁)很简单，根据知识R1，使用EH公式、P(E₁|S₁)，即可求解出P(H₁|S₁)；但是对于P(H₁|S₂)的求解就不那么显而易见了，三条知识我们使用两条了，那么剩下的知识R2肯定是用于计算P(H₁|S₂)的。

​ 知识R2要用到证据的组合算法，R2的条件是E₁、E₂的合取，且已知P(E₁|S₁)=0.76，P(E₂|S₂)=0.68，即P(E₂|S₂)<P(E₁|S₁)。按照合取取最小的原则，这里仅考虑E₂对H₁的影响。因此知识R2可以忽略S₁和E₁，用于计算P(H₁|E₂)，进而计算P(H₁|S₂)。

​ 这样就可以求解了。

计算过程：

1. 计算P(H₁|S₁)

   根据公式$P(H|E)=\frac{LS\times P(H)}{(LS-1)\times P(H)+1}$和知识R1得到$P(H_1|E_1)=\frac{L{S}_1\times P(H_1)}{(L{S}_1-1)\times P(H_1)+1}=0.167$

   由于P(E₁|S₁)=0.76>P(E₁)，所以$P(H_1|S_1)=P(H_1)+\frac{P(H_1|E_1)-P(H_1)}{1-P(E_1)}\times (P(E_1|S_1)-P(E_1))=0.121$

   得到P(H₁|S₁)其实也就得到了O(H₁|S₁)=0.138

2. 计算P(H₁|S₂)

   根据公式$P(H|E)=\frac{LS\times P(H)}{(LS-1)\times P(H)+1}$和知识R2得到$P(H_1|E_2)=\frac{L{S}_2\times P(H_1)}{(L{S}_2-1)\times P(H_1)+1}=0.909$

   由于P(E₂|S₂)=0.68>P(E₂)所以$P(H_1|S_2)=P(H_1)+\frac{P(H_1|E_2)-P(H_1)}{1-P(E_2)}\times (P(E_2|S_2)-P(E_2))=0.255$

   得到P(H₁|S₂)其实也就得到了O(H₁|S₂)=0.342

3. 合成结论，计算P(H₁|S₁,S₂)

   O(H₁)=0.1

   根据合成公式可以得到：$O(H_1|S_1,S_2)=\frac{O(H_1|S_1)}{O(H_1)}\times \frac{O(H_1|S_2)}{O(H_1)}\times O(H_1)=0.472$​

   转化为概率：P(H₁|S₁,S₂)=0.321

4. 计算P(H₂|S₁,S₂)

   在知识R3中，H₁其实相当于证据，H₂相当于结论。

   先计算出P(H₂|H₁)后再根据EH公式计算即可。

   $P(H_2|H_1)=\frac{L{S}_3\times P(H_2)}{(L{S}_3-1)\times P(H_2)+1}=0.669$

   由于P(H₁|S₁,S₂)=0.321>P(H₁)，根据EH公式可得：$P(H_2|S_1,S_2)=P(H_2)+\frac{P(H_2|H_1)-P(H_2)}{1-P(H_1)}\times (P(H_1|S_1,S_2)-P(H_1))=0.177$

最终结果为P(H₂|S₁,S₂)=0.177。

本题总结：

​ 难点：组合证据的处理，这是本题的一个特点。

​ 技巧：做主观贝叶斯计算题时，不一定要背过“C(E|S)~P(E|S)公式”、“EH公式”和“CP公式”，理解插值图后先画出题，再推一下公式，也很快。

例2：

设有如下知识：

$R1:IF{E}_{1}THEN(2,0.001)H_1$

$R2:IF{E}_{2}THEN(100,0.001)H_1$

$R3:IF{H}_{1}THEN(200,0.01)H_2$

已知：P(H₁)=0.09，P(H₂)=0.01，C(E₁|S₁)=2，C(E₂|S₂)=1

求：P(H₂|S₁,S₂)

根据如上描述可以得到推理网络如下：

思考过程：

​ 与例1类似，相比例1少了组合证据，多了可信度转化到概率。

​ 根据知识R3和EH公式可以由P(H₁|S₁,S₂)算出P(H₂|S₁,S₂)，问题转化为求解P(H₁|S₁,S₂)。

​ 根据知识R1和知识R2，利用结论不确定合成求解P(H₁|S₁,S₂)，问题转化为求解P(H₁|S₁)和P(H₁|S₂)。

​ 根据CP公式可由可信度推出P(H₁|S₁)和P(H₁|S₂)，可信度已知所以该问题可解。

计算过程：

1. 计算 P(H₁|S₁) （ O(H₁|S₁) ）

   $P(H_1|E_1)=\frac{L{S}_1\times P(H_1)}{(L{S}_1-1)\times P(H_1)+1}=0.17$

   ∵ C(E₁|S₁) = 2 > 0

   ∴ $P(H_1|S_1)=[P(H_1|E_1)-P(H_1)]\times \frac{1}{5}C(E_1|S_1)+P(H_1)=0.122$

   ∴ O(H₁|S₁) = 0.14

2. 计算 P(H₁|S₂) （ O(H₁|S₂) ）

   计算过程完全同计算P(H₁|S₁)

   $P(H_1|E_2)=\frac{L{S}_2\times P(H_1)}{(L{S}_2-1)\times P(H_1)+1}=0.91$

   ∵ C(E₁|S₂) = 1 > 0

   ∴ $P(H_1|S_2)=[P(H_1|E_2)-P(H_1)]\times \frac{1}{5}C(E_2|S_2)+P(H_1)=0.254$

   ∴ O(H₁|S₂) = 0.34

3. 计算 P(H₁|S₁,S₂) （ O(H₁|S₁,S₂) ）

   O(H₁)=0.1

   根据合成公式可以得到：$O(H_1|S_1,S_2)=\frac{O(H_1|S_1)}{O(H_1)}\times \frac{O(H_1|S_2)}{O(H_1)}\times O(H_1)=0.476$

   P(H₁|S₁,S₂)=0.322

4. 计算 P(H₂|S₁,S₂) （ O(H₂|S₁,S₂) ）

   使用EH公式

   ∵ P(H₁|S₁,S₂) > P(H₁)

   ∴$P(H_2|S_1,S_2)=P(H_2)+\frac{P(H_1|S_1,S_2)-P(H_1)}{1-P(H_1)}\times (P(H_2|H_1)-P(H_2))=0.165$

最终结果P(H₂|S₁,S₂) = 0.165

本题总结：

​ 技巧：使用CP公式将可信度转换为后验概率。

基于证据理论的不确定性推理方法

证据理论（D-S理论）

D-S理论采用集合来表示命题，分别用信任函数、似然函数及类概率函数来描述知识的精确信任度、不可驳斥信任度及估计信任度，即可以从各个不同角度刻画命题的不确定性。

D-S证据理论与其他概率方法的区别：

① 它有两个值，即对每个命题指派两个不确定度量（类似但不等于概率）

② 存在一个证据使得命题似乎可能成立，但使用这个证据又不直接支持或拒绝它

基本概念：

设U为变量x的所有可能取值的有限集合 (亦称样本空间），且U中的每个元素都相互独立，则由U的所有子集构成的集合称为幂集，记为2^U。当U中的元素个数为N时，则其幂集的元素个数为2^N ，且其中的每一个元素A都对应于一个关于x的命题，称该命题为“x的值在A中” 。

概率分配函数：

定义：U为样本空间，设函数M:2^U→[0, 1]，且满足： M(∅) = 0 （∅为空集）∑_A⊆UM(A)=1，则称M为2^U上的概率分配函数，M(A)称为A的基本概率数。

对概率分配函数的几点说明：

（1）概率分配函数的作用是把U的任意一个子集都映射为[0,1]上的一个数M(A)。

当A包含于U且A由单个元素组成时，M(A)表示对A的精确信任度；

当A包含于U、A≠U,且A由多个元素组成时，M(A)也表示对A的精确信任度，但却不知道这部分信任度该分给A中哪些元素；

当A=U时，则M(A)是对U的各个子集进行信任分配后剩下的部分，它表示不知道该如何对它进行分配。

（2）M 是 2^U上而非U上的概率分布，所以基本概率分配函数不是概率，它们不必相等，而且M(A)≠1-M(¬A)。

信任函数：

定义：命题的信任函数（Belief Function）定义为A中全部子集对应的基本概率之和，即

Bel: 2^U→[0, 1]，且 Bel(A) = ∑_B⊆AM(B) 对所有的A⊆U

似然函数：

定义：似然函数Pl：2^U→[0, 1]，且 Pl(A) = 1- Bel(~A) = ∑_A∩B≠∅M(B) 对所有的A⊆U

信任区间：

由于Bel(A)和Pl(A)分别表示A为真的信任度和A为非假的信任度，因此，可分别称Bel(A)和Pl(A)为对A信任程度的下限和上限，记为
$$A(Bel(A),Pl(A))$$
Pl(A)-Bel(A)表示既不信任A，也不信任¬A的程度， 即对于A是真是假不知道的程度。

类概率函数 f(A)：

定义：f(A) = Bel(A) + (|A| ÷ |U|) (Pl(A) - Bel(A)) 其中|A| 、|U|分别表示A和U中包含元素的个数

f(∅)=0， f(U)=1

∀A⊆U f(~A)=1-f(A)

证据的不确定性度量：

• 以区间(Bel(A), Pl(A))作为证据A的不确定性度量：表示对A信任程度的上限和下限。

  • A(0,0)：表示A为假
  • A(0,1)：表示对A一无所知
  • A(1,1)：表示A为真

• 以类概率函数f(A)作为证据A的不确定性度量

  f(A) = Bel(A) + (|A| ÷ |U|) (Pl(A) - Bel(A))

规则的不确定性度量：

设U={u₁, …, u_n}，A和B为U的子集，如：A={a₁, …, a_m}，B={b₁, …, b_k}

不确定性推理规则可表示为：$IfAthenBCF$

• B是结论，用样本空间的子集表示，b₁, …, b_k是该子集中的元素
• CF={c₁, …, c_k}为可信度因子。c₁, …, c_k表示规则的不 确定性度量，c_i表示前提A成立时b_i的可信度

不确定性推理规则可详细表示为：
I f      A      t h e n      B = { b 1 , … , b k }      C F = { c 1 , … , c k } \textcolor{red} { If \space\space\space\space A \space\space\space\space then \space\space\space\space B=\{b_1, …, b_k\}\space\space\space\space CF=\{c_1,…, c_k\} } If    A    then    B={b1​,…,bk​}    CF={c1​,…,ck​}
假设b_i∈U，即B为集合U的子集，则 M({b_i})=f(A) · c_i

M(B)为B的概率分配函数，即M(B) = M({b₁}, {b₂}, …, {b_k})。

同时规定：M(U)=1-∑_i=1,2,…,kM({b_i})

剩下没有基本概率数的U的子集的基本概率数均被设置为0。

组合证据的不确定性：

当规则的前提(证据)E是多个命题的合取或析取时，定义：
$$\begin{gathered} f(A_1\wedge A_2\wedge ...\wedge A_n)=minf(A_1),f(A_2),...,f(A_n) \\ f(A_1\vee A_2\vee ...\vee A_n)=maxf(A_1),f(A_2),...,f(A_n) \end{gathered}$$
不确定性的传递算法：

如果有两条知识支持同一条结论：
A 1 → B = { b 1 , … , b k }      { c 1 , … , c k } A 2 → B = { b 1 , … , b k }      { c 1 ， , … , c k ， } A1 → B =\{b_1,…, b_k\}\space\space\space\space \{c_1,…, c_k\}\\ A2 → B =\{b_1,…, b_k\}\space\space\space\space \{c_1^，,…, c_k^，\}\\ A1→B={b1​,…,bk​}    {c1​,…,ck​}A2→B={b1​,…,bk​}    {c1，​,…,ck，​}
如何确定M(B)？

首先分别对每一条知识求出概率分配函数：

M₁({b₁}, …, {b_k})

M₂({b₁}, …, {b_k})

设M₁和M₂是两个概率分配函数，则合成（正交和） M=M₁⊕M₂定义为：
$$\begin{gathered} M(\varnothing )=0 \\ M(a)=K^{-1}\cdot \sum _{X\cap Y=a}{M}_1(X)\cdot M_2(Y) \end{gathered}$$
其中a为待求基本概率数的集合（U的子集），X，Y也为U的子集。本质是找两个U的子集X和Y满足二者的交集为集合a，满足条件的X和Y在两个规则中对应的基本概率数的乘积加和。

其中
$$K=1-\sum _{X\cap Y=\varnothing }{M}_1(X)\cdot M_2(Y)=\sum _{X\cap Y\ne \varnothing }{M}_1(X)\cdot M_2(Y)$$

计算题解题流程：

如果有两条知识支持同一条结论：
A 1 → B = { b 1 , … , b k }      { c 1 , … , c k } A 2 → B = { b 1 , … , b k }      { c 1 ， , … , c k ， } \textcolor{red} { A1 → B =\{b_1,…, b_k\}\space\space\space\space \{c_1,…, c_k\}\\ A2 → B =\{b_1,…, b_k\}\space\space\space\space \{c_1^，,…, c_k^，\}\\ } A1→B={b1​,…,bk​}    {c1​,…,ck​}A2→B={b1​,…,bk​}    {c1，​,…,ck，​}
如何确定f(B)？

step1：首先分别对每一条知识求出概率分配函数

M₁({b₁}, …, {b_k})

M₂({b₁}, …, {b_k})

由M=M₁⊕M₂求出结论B的概率分配函数M(B)

step2：求出M(B)后，再根据信任函数、似然函数分别求出 Bel(B) 和 Pl(B)：

Bel(A) = ∑_B⊆AM(B)

Pl(A) = 1- Bel(~A) = ∑_A∩B≠∅M(B)

step3：根据类概率函数公式即可求出f(B)

f(B) = Bel(B) + (|B| ÷ |U|) (Pl(B) - Bel(B))

证据理论的优点与不足：

• 优点：证据理论的优点在于能够满足比概率论更弱的公理系统，可以区分不知道和不确定的情况，可以依赖证据的积累，不断缩小假设的集合。
• 不足：① 证据理论最早是作为经典概率理论的扩展而引入的，所以受到很多的批评 ② 在证据理论中，证据的独立性不易得到保证 ③ 基本概率分配函数要求给的值太多，计算传递关系复杂，随着诊断问题可能答案的增加，证据理论的计算呈指数增长，传递关系复杂，比较难以实现

证据理论题目

题目

已知 f(A₁) = 0.53，f(A₂) = 0.52，|U|= 20，

​ A₁$\to$B={b₁, b₂, b₃} (c₁, c₂, c₃) = (0.1, 0.5, 0.3)

​ A₂$\to$B={b₁, b₂, b₃} (c₁, c₂, c₃) = (0.4, 0.2, 0.1)

求：f(B)

解答

step1：分别对每一条知识求出概率分配函数

M₁(B) = M₁({b₁}, {b₂}, {b₃}) = {f(A₁)·c₁, f(A₁)·c₂, f(A₁)·c₃}

M₂(B) = M₂({b₁}, {b₂}, {b₃}) = {f(A₂)·c₁, f(A₂)·c₂, f(A₂)·c₃}

即

M₁({b₁}) = f(A₁)·c₁ = 0.053 M₁({b₂}) = f(A₁)·c₂ = 0.265 M₁({b₃}) = f(A₁)·c₃ = 0.159

M₂({b₁}) = f(A₂)·c₁ = 0.208 M₂({b₂}) = f(A₂)·c₂ = 0.104 M₂({b₃}) = f(A₂)·c₃ = 0.052

M₁(U) = 1-(M₁({b₁}) + M₁({b₂}) + M₁({b₃})) = 0.523

M₂(U) = 1-(M₂({b₁}) + M₂({b₂}) + M₂({b₃})) = 0.636

step2：结论不确定性的合成

定义M=M₁⊕M₂为合成后的概率分配函数

K = M₁({b₁})·M₂({b₁}) + M₁({b₂})·M₂({b₂}) + M₁({b₃})·M₂({b₃}) +

​ M₁({b₁})·M₂(U) + M₁({b₂})·M₂(U) + M₁({b₃})·M₂(U) +

​ M₁(U)·M₂({b₁}) + M₁(U)·M₂({b₂}) + M₁(U)·M₂({b₃})

= 0.8732

M(∅) = 0

M({b₁}) = K^-1·[M₁({b₁})·M₂(U) + M₁({b₁})·M₂({b₁}) + M₁(U)·M₂({b₁})] = 0.1758

M({b₂}) = K^-1·[M₁({b₂})·M₂(U) + M₁({b₂})·M₂({b₂}) + M₁(U)·M₂({b₂})] = 0.2869

M({b₃}) = K^-1·[M₁({b₃})·M₂(U) + M₁({b₃})·M₂({b₃}) + M₁(U)·M₂({b₃})] = 0.1564

M(U) = 1 - [M({b₁}) + M({b₂}) + M({b₃})] = 1 - (0.1758 + 0.2869 + 0.1564) = 0.3809

step3：根据信任函数、似然函数分别求出 Bel(B) 和 Pl(B)

Bel(B) = M({b₁}) + M({b₂}) + M({b₃}) = 0.6191

Pl(B) = 1-Bel({b₄, b₅, …, b₂₀}) = 1 （或Pl(B)=M(U)+M({b₁})+M({b₂})+M({b₃})=M(U)+Bel(B)=1）

step4：根据类概率函数公式求出 f(B)

f(B) = Bel(B) + (|B|÷|U|) (Pl(B) - Bel(B)) = Bel(B) + $\frac{3}{20}$ × (1 - Bel(B)) = 0.676 （保留三位小数）