- Python-文本处理
- Python-文本处理简介
- Python - 文本处理环境
- Python - 字符串不变性
- Python - 排序行
- Python - 重新格式化段落
- Python - 计算段落中的标记
- Python - 二进制 ASCII 转换
- Python - 字符串作为文件
- Python-向后读取文件
- Python - 过滤重复单词
- Python - 从文本中提取电子邮件
- Python - 从文本中提取 URL
- Python - 漂亮的打印
- Python - 文本处理状态机
- Python - 大写和翻译
- Python - 标记化
- Python - 删除停用词
- Python - 同义词和反义词
- Python - 文本翻译
- Python-单词替换
- Python-拼写检查
- Python - WordNet 接口
- Python - 语料库访问
- Python - 标记单词
- Python - 块和缝隙
- Python - 块分类
- Python-文本分类
- Python-二元组
- Python - 处理 PDF
- Python-处理Word文档
- Python - 读取 RSS 提要
- Python-情感分析
- Python - 搜索和匹配
- Python - 文本修改
- Python-文本换行
- Python-频率分布
- Python-文本摘要
- Python - 词干算法
- Python - 约束搜索
Python - 标记化
在 Python 中,标记化基本上是指将较大的文本拆分为较小的行、单词,甚至为非英语语言创建单词。nltk 模块本身内置了各种标记化函数,可以在程序中使用,如下所示。
线路标记化
在下面的示例中,我们使用函数 sent_tokenize 将给定文本分成不同的行。
import nltk sentence_data = "The First sentence is about Python. The Second: about Django. You can learn Python,Django and Data Ananlysis here. " nltk_tokens = nltk.sent_tokenize(sentence_data) print (nltk_tokens)
当我们运行上面的程序时,我们得到以下输出 -
['The First sentence is about Python.', 'The Second: about Django.', 'You can learn Python,Django and Data Ananlysis here.']
非英语标记化
在下面的示例中,我们对德语文本进行标记。
import nltk german_tokenizer = nltk.data.load('tokenizers/punkt/german.pickle') german_tokens=german_tokenizer.tokenize('Wie geht es Ihnen? Gut, danke.') print(german_tokens)
当我们运行上面的程序时,我们得到以下输出 -
['Wie geht es Ihnen?', 'Gut, danke.']
词标记化
我们使用 nltk 中提供的 word_tokenize 函数对单词进行标记。
import nltk word_data = "It originated from the idea that there are readers who prefer learning new skills from the comforts of their drawing rooms" nltk_tokens = nltk.word_tokenize(word_data) print (nltk_tokens)
当我们运行上面的程序时,我们得到以下输出 -
['It', 'originated', 'from', 'the', 'idea', 'that', 'there', 'are', 'readers', 'who', 'prefer', 'learning', 'new', 'skills', 'from', 'the', 'comforts', 'of', 'their', 'drawing', 'rooms']