> 唯美句子 > python中怎样处理汉语的同义词用

python中怎样处理汉语的同义词用

python中怎样处理汉语的同义词用结巴分词

python中文分词:结巴分词

中文分词是中文文本处理的一个基础性工作,结巴分词利用进行中文分词。其基本实现原理有三点:

基于Trie树结构实现高效的词图扫描,生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)

采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合

对于未登录词,采用了基于汉字成词能力的HMM模型,使用了Viterbi算法

安装(Linux环境)

下载工具包,解压后进入目录下,运行:python setup.py install

模式

默认模式,试图将句子最精确地切开,适合文本分析

全模式,把句子中所有的可以成词的词语都扫描出来,适合搜索引擎

接口

组件只提供jieba.cut 方法用于分词

cut方法接受两个输入参数:

第一个参数为需要分词的字符串

cut_all参数用来控制分词模式

待分词的字符串可以是gbk字符串、utf-8字符串或者unicode

jieba.cut返回的结构是一个可迭代的generator,可以使用for循环来获得分词后得到的每一个词语(unicode),也可以用list(jieba.cut(...))转化为list

实例

#! -*- coding:utf-8 -*-

import jieba

seg_list = jieba.cut("我来到北京清华大学", cut_all = True)

print "Full Mode:", ' '.join(seg_list)

seg_list = jieba.cut("我来到北京清华大学")

print "Default Mode:", ' '.join(seg_list)

请问在结巴分词后,如何获取关键词的同义词或近义词呢?

请问什么叫结巴分词

jieba分词怎样 去掉或替换 默认词库里的词

>>>seg_list = jieba.cut("他来到了杭研大厦")

>>>print ", ".join(seg_list)

他, 来到, 了, , 杭研, 大厦

这是Python版的使用示例

python jieba分词如何去除停用词

-*- coding: utf-8 -*-

import jieba

import jieba.analyse

import sys

import codecs

reload(sys)

sys.setdefaultencoding('utf-8')

#使用其他编码读取停用词表

#stoplist = codecs.open('../../file/stopword.txt','r',encoding='utf8').readlines()

#stoplist = set(w.strip() for w in stoplist)

#停用词文件是utf8编码

stoplist = {}.fromkeys([ line.strip() for line in open("../../file/stopword.txt") ])

#经过分词得到的应该是unicode编码,先将其转成utf8编码

结巴分词获取关键词时怎么过滤掉一些停用词

是使用extract_tags函数,这个函数会根据TF-IDF算法将特征词提取出来,在提取之前会去掉停用词,可以人工指定停用词字典,代码如下:

jieba.analyse.set_stop_words('D:\\Python27\\stopword.txt')

tags = jieba.analyse.extract_tags(text,20)

jieba把他词典中的某个词删掉,但是再分词时还会出现这个词,怎么处理。。。

我也遇到这种情况,然后向我上面那么做的就好了!Python程序猿加油.,我查到一个网页说他用Python3,才输出该词,但是不是用代码保存的.7还没有试。建议楼主再调整一下编码试试吧,在代码中加了几个比较明显的停用词组成的list.10,使用Notpad.7,估计问题都差不多了吧,当分出来的词不在list里的时候.4就好了,Python2.3,所以搜到了这个问题. 楼主加油,然后停用词文件也是用的utf-8保存的,结果就成功的停用了list里的所有词.。我最开始数据都是用GB2312处理的,查了很多东西也没有个结果.4,因为停用词没反应,后来用结巴分词看文档上说用好用utf-8编码,我最开始用的是Python2,可是一样不能用,就写了段代码把文本改成utf-8了。后来,之后就一直不能停用文件里的词。另外,我又换了Python3我觉得可能还是编码不对吧

jieba分词怎么导入自定义词库

1.您可以选择不登陆搜狗输入法账户;2.在输入法上点右键进入设置>账户,里面可以关闭自动同步

在python 环境下,使用结巴分词,自动导入文本,分词,提取关键词.脚本 大侠给个

# -*- coding: utf-8 -*-

import jieba

import jieba.posseg as pseg

import jieba.analyse

#jieba.load_userdict('userdict.txt')#jieba默认有一个dict.txt词库,但可以根据自己需要加入自己的词条

str1 = "训练一个可进行N维分类的网络的常用方法是使用多项式逻辑回归"

str2 = "可以尝试修改网络架构来准确的复制全连接模型"

str3 = "模型的目标函数是求交叉熵损失和所有权重衰减项的和,loss()函数的返回值就是这个值"

seg_list = jieba.cut(str1,cut_all =True) #全模式

print("/".join(seg_list))

result = pseg.cut(str1)

result2 = jieba.cut(str2) #精准模式

result3 = jieba.analyse.extract_tags(str3,4) #关键词提取

result4 = jieba.cut_for_search(str3) #搜索引擎模式

for w in result:

print(w.word,w.flag)

print(" ".join(result2))

print(" ".join(result3))

print(" ".join(result4))

python读取文本用jieba分词后保存到另外一个文本

XlsxWriter-masterxlrd 用这两个模块,一个写,一个读,非常方便。

python中怎样处理汉语的同义词用:等您坐沙发呢!

发表评论

您必须 [ 登录 ] 才能发表留言!