数据挖掘 - 基于规则的分类
IF-THEN 规则
基于规则的分类器利用一组 IF-THEN 规则进行分类。我们可以用以下形式表达一条规则:
让我们考虑规则 R1,
R1: IF age = youth AND student = yes THEN buy_computer = yes
要记住的要点 -
规则的 IF 部分称为规则前提或前提条件。
规则的 THEN 部分称为规则结果。
条件的先行部分由一个或多个属性测试组成,这些测试在逻辑上进行“与”运算。
接下来的部分由类别预测组成。
注意- 我们还可以将规则 R1 编写如下 -
R1: (age = youth) ^ (student = yes))(buys computer = yes)
如果条件对于给定元组成立,则满足先行条件。
规则提取
在这里,我们将学习如何通过从决策树中提取 IF-THEN 规则来构建基于规则的分类器。
要记住的要点 -
从决策树中提取规则 -
为从根节点到叶节点的每条路径创建一条规则。
为了形成规则先行词,每个分割标准都进行逻辑与运算。
叶节点保存类预测,形成规则结果。
使用顺序覆盖算法的规则归纳
顺序覆盖算法可用于从训练数据中提取 IF-THEN 规则。我们不需要首先生成决策树。在此算法中,给定类的每个规则涵盖该类的许多元组。
一些顺序覆盖算法包括 AQ、CN2 和 RIPPER。根据总体策略,一次学习一个规则。每次学习规则时,都会删除该规则覆盖的元组,并对其余元组继续执行该过程。这是因为决策树中每个叶子的路径都对应一个规则。
注意- 决策树归纳可以被视为同时学习一组规则。
以下是顺序学习算法,一次学习一个类的规则。当从类 Ci 学习规则时,我们希望该规则仅覆盖类 C 的所有元组,而不覆盖任何其他类的元组。
Algorithm: Sequential Covering Input: D, a data set class-labeled tuples, Att_vals, the set of all attributes and their possible values. Output: A Set of IF-THEN rules. Method: Rule_set={ }; // initial set of rules learned is empty for each class c do repeat Rule = Learn_One_Rule(D, Att_valls, c); remove tuples covered by Rule form D; until termination condition; Rule_set=Rule_set+Rule; // add a new rule to rule-set end for return Rule_Set;
规则修剪
该规则被修剪的原因如下:
质量评估是在原始训练数据集上进行的。该规则可能在训练数据上表现良好,但在后续数据上表现不佳。这就是为什么需要规则修剪的原因。
通过删除合词来修剪该规则。如果 R 的修剪版本的质量高于独立元组集评估的质量,则规则 R 被修剪。
FOIL是一种简单有效的规则剪枝方法。对于给定的规则 R,
其中 pos 和 neg 分别是 R 覆盖的正元组的数量。
注意- 该值将随着剪枝集上 R 的准确性而增加。因此,如果 R 的修剪版本的 FOIL_Prune 值较高,则我们修剪 R。