AI with Python – 自然语言处理

自然语言处理（NLP）是指使用英语等自然语言与智能系统进行通信的人工智能方法。

当您希望机器人等智能系统按照您的指令执行时，当您想听取基于对话的临床专家系统的决定等时，需要进行自然语言处理。

NLP 领域涉及让计算机使用人类使用的自然语言执行有用的任务。NLP 系统的输入和输出可以是 -

• 演讲
• 书面文字

NLP 的组成部分

在本节中，我们将了解 NLP 的不同组成部分。NLP 有两个组成部分。组件描述如下 -

自然语言理解（NLU）

它涉及以下任务 -

• 将给定的自然语言输入映射为有用的表示。

• 分析语言的不同方面。

自然语言生成（NLG）

它是从某种内部表征中以自然语言的形式产生有意义的短语和句子的过程。它涉及 -

• 文本规划- 这包括从知识库中检索相关内容。

• 句子规划- 这包括选择所需的单词、形成有意义的短语、设定句子的基调。

• 文本实现- 这是将句子计划映射到句子结构。

NLU 的难点

NLU的形式和结构非常丰富；然而，它是模棱两可的。可能存在不同程度的歧义 -

词汇歧义

它处于非常原始的级别，例如单词级别。例如，将“board”一词视为名词还是动词？

语法级别歧义

一个句子可以用不同的方式来解析。例如，“他举起了戴着红帽子的甲虫。” − 他是用帽子举起甲虫还是举起一只带有红色帽子的甲虫？

指称歧义

使用代词指代某事物。例如，里玛去了高里。她说：“我累了。” − 到底谁累了？

自然语言处理术语

现在让我们看看 NLP 术语中的几个重要术语。

• 音系学- 它是系统地组织声音的研究。

• 形态学- 它是对原始有意义单位的单词构造的研究。

• 词素- 它是语言中意义的原始单位。

• 语法- 指排列单词来造句。它还涉及确定单词在句子和短语中的结构作用。

• 语义学- 它涉及单词的含义以及如何将单词组合成有意义的短语和句子。

• 语用学- 它涉及在不SymPy况下使用和理解句子以及句子的解释如何受到影响。

• 话语- 它涉及前一个句子如何影响下一个句子的解释。

• 世界知识- 它包括关于世界的一般知识。

NLP 的步骤

本节展示 NLP 中的不同步骤。

词法分析

它涉及识别和分析单词的结构。语言词典是指语言中单词和短语的集合。词法分析是将整个文本块划分为段落、句子和单词。

句法分析（语法分析）

它涉及对句子中的单词进行语法分析，并以显示单词之间关系的方式排列单词。像“The school go to boy”这样的句子被英语句法分析器拒绝。

语义分析

它从文本中提取确切的含义或字典含义。检查文本的意义。它是通过映射任务域中的句法结构和对象来完成的。语义分析器忽略诸如“热冰淇淋”之类的句子。

话语整合

任何句子的含义取决于它前面的句子的含义。此外，它还带来了紧接后续句子的含义。

务实分析

在此期间，所说的话被重新解释为它的实际含义。它涉及派生语言中需要现实世界知识的那些方面。