文本可视化(二)——《今生今世》人物关系可视化python实现

大数据


作者:Sinte-Beuve



接上篇:文本可视化(一)——《今生今世》词云生成与小说分析



在文本可视化[一]——《今生今世》词云生成与小说分析一文中,我使用了jieba分词和wordcloud实现了,文本关键词的提取并生成词云,同时也尝试直接提取人名关键词来绘制。这次我们换一种方式——通过分析人物之间的关系,而不是人物在文本集中的频率来绘制一张复杂网络图,如下所示。数据经过可视化后还是非常有趣的。下面就讲讲人物关系网图的实过程。




大数据


用到的工具jiebajieba分词,最好用的开源中文分词工具。他最主要的两个功能是分词和关键词的抽取。在文本可视化[一]——《今生今世》词云生成与小说分析?使用了关键词抽取,在这里我们需要用他的分词功能来提取文本中的人名。gephigephi是一个开源的复杂网络数据可视化软件,可用于探索数据分析、链路分析、社交网络分析、生物网络分析等。我们需要把数据处理成gephi可接受的csv格式,然后再进行绘制。数据处理方式

在词云中,我们只能通过词的大小来了解该词对于文本集是否起关键作用,无法探究人物之间的关系;在关系网图中,不仅可以了解词的关键程度,还能发现人物之间的联系,更能说明问题。




大数据




由此可见,绘制词云时,我们只需要提取两列数据,一列人名,一列为频率。而绘制网络图时,就需要两组数据。网络图,顾名思义,就是一张图。所有的图都是由节点和边构成的。节点数据也就是节点值+权重,边数据就是出度+入度+权重。



对应到本文的例子中来,我们是来绘制《今生今世》中的任务关系网。具体的处理方式如下:

对文本进行针对性分词,统计人物在本文中的出场次数。以段落为单位进行划分,统计每段中的人物,两两配对后计数,形成粗略的人物关系统计。数据为gephi特定的csv格式,人物出场次数输出为格式为(Id,Label,Weight),人物关系输出格式为(Source,Target,Weigh)。这也就是之前所说的,用来绘制图的节点和边数据。可能存在的问题

根据上文描述的统计方法来进行统计显然是粗略的,有很多问题需要进一步考量。

以自然段为单位统计人物关系是否合理?真实情况中有很多跨段落的人物关系。显然利用笛卡尔积来统计人物之间的关系也是有问题的。人物之前的称呼仅仅是直呼姓名的吗?显然还有多种代词,这里我将文本中的“我”也一并提取出来作为《今生今世》的中心人物——胡兰成。

结果虽然是粗略的,但是通过对文本的理解,绘制的图依然有一定的参考意义。

实现流程

代码实现分为三步,1. 人物出场次数统计。2. 人物关系统计。3. 格式化输出。

准备工作

准备两份字典,用于分词。

文本人物字典文本人物字典包含了文本中的大部分人名,或者说是我们关心的人物的人名。


大数据


人物别称映射字典民国时期的散文,势必每个人会有多个称呼,在文化人中甚多。蕊生、我、兰成、胡先生指代的都是胡兰成。因此需要一个映射字典,将不同的称呼都映射到同一个人名当中。


大数据




定义文件路径常量和初始化全局变量

TEXT_PATH = '../jsjs.txt' # 文本路径DICT_PATH = 'person.txt' # 人物字典路径SYNONYMOUS_DICT_PATH = 'synonymous_dict.txt' # 同义词路径SAVE_NODE_PATH = 'node.csv'SAVE_EDGE_PATH = 'edge.csv''''person_counter是一个计数器,用来统计人物出现的次数。{'a':1,'b':2}person_per_paragraph每段文字中出现的人物[['a','b'],[]]relationships保存的是人物间的关系。key为人物A,value为字典,包含人物B和权值。'''person_counter = defaultdict(int) # 人物出场次数计数器person_per_paragraph = []relationships = {}synonymous_dict = {}人物出场次数统计

具体实现方式可以看代码注释。

def count_person(self):'''统计人物出场次数,添加每段的人物:return:'''paragraphs = self.get_clean_paragraphs()synonymous = self.synonymous_names()print('start process node')with codecs.open(self._dict_path, 'r', 'utf-8') as f:name_list = f.read().split(' 10 nr
') # 获取干净的name_listfor p in paragraphs:jieba.load_userdict(self._dict_path)# 分词,为每一段初始化新字典poss = jieba.cut(p)self._person_per_paragraph.append([])for w in poss:# 判断是否在姓名字典以及同义词区分if w not in name_list:continueif synonymous.get(w):w = synonymous[w]# 往每段中添加人物self._person_per_paragraph[-1].append(w)# 初始化人物关系,计数if self._person_counter.get(w) is None:self._relationships[w] = {}self._person_counter[w] += 1return self._person_counter人物关系统计def calc_relationship(self):'''统计人物关系权值:return:'''print("start to process edge")# 遍历每一段落,笛卡尔积形式,统计人物关系for p in self._person_per_paragraph:for name1 in p:for name2 in p:if name1 == name2:continueif self._relationships[name1].get(name2) is None:self._relationships[name1][name2] = 1else:self._relationships[name1][name2] += 1return self._relationships格式化输出def save_node_and_edge(self):'''根据dephi格式保存为csv:return:'''with codecs.open(SAVE_NODE_PATH, "a+", "utf-8") as f:f.write("Id,Label,Weight
")for name, times in self._person_counter.items():f.write(name + "," + name + "," + str(times) + "
")with codecs.open(SAVE_EDGE_PATH, "a+", "utf-8") as f:f.write("Source,Target,Weight
")for name, edges in self._relationships.items():for v, w in edges.items():if w > 3:f.write(name + "," + v + "," + str(w) + "
")print('save file successful!')

输出结果如下图所示。




大数据




完整代码参考github



接下来就可以把数据导入到gephi中生成人物关系网图了。

gephi的使用

gephi和之前使用的wordcloud不同,wordcloud仅仅是一个python的库,直接通过函数调用就可以绘制图片。gephi是一个可视化的应用程序。



需要在https://gephi.org/ 下载windows版的安装包进行安装。打开后如下图所示。




大数据




接下来就可以进行网图的绘制了。1. 新建工程,导入数据

新建工程选择数据资料tab,点击输入数字表格,添加节点和边的csv数据。


大数据




2.调整相关的样式点击概览调整相关样式。可以通过度,权重等信息修改相关的样式。




大数据




3. 修改字体,显示相应的标签




大数据




4. 选择一个自动化布局的方式,预览,再调整相关参数




大数据




5. 最终点击左下角导出图片




大数据




上面简单描述了下生成网图的过程。gephi具体的使用方式可以去查看官网的教程。









(来源:36大数据)

欢迎搜索关注钱塘号的微信公众号: 定时推送,福利互动精彩多

0

相关阅读

评论
评论

0/500

最新评论

点击加载更多评论
X

请先登录

登录
忘记密码?

没有注册? 注册

已有账号登录
X

注册

>>>请拖动滑块完成拼图>>>

注册
已经注册? 登录
X

找回密码

>>>请拖动滑块完成拼图>>>

确定