10行python代码的词云

关于词云wordcloud

什么是词云呢?词云又叫文字云,是对文本数据中出现频率较高的“关键词”在视觉上的突出呈现,形成关键词的渲染形成类似云一样的彩色图片,从而一眼就可以领略文本数据的主要表达意思。

现在,可以从网络上找到各种各样的词云,下面一图来自沈浩老师的微博:

演员词云.png

从百度图片中可以看到更多制作好的词云,例如

百度词云.png

词云制作有很多工具…..

从技术上来看,词云是一种有趣的数据可视化方法,互联网上有很多的现成的工具:

  1. Wordle是一个用于从文本生成词云图而提供的游戏工具
  2. Tagxedo 可以在线制作个性化词云
  3. Tagul 是一个 Web 服务,同样可以创建华丽的词云
  4. Tagcrowd 还可以输入web的url,直接生成某个网页的词云
  5. ……

十行代码

但是作为一个老码农,还是喜欢自己用代码生成自己的词云,复杂么?需要很长时间么? 很多文字都介绍过各种的方法,但实际上只需要10行python代码即可。

如此而已,生成的一个词云是这样的:

研发管理词云.png

看一下这10行代码:

1~3 行分别导入了画图的库,词云生成库和jieba的分词库;

4 行是读取本地的文件,代码中使用的文本是本公众号中的《老曹眼中研发管理二三事》

5~6 行使用jieba进行分词,并对分词的结果以空格隔开;

7行对分词后的文本生成词云;

8~10行用pyplot展示词云图。

这是我喜欢python的一个原因吧,简洁明快。

执行环境

如果这十行代码没有运行起来,需要检查自己的执行环境了。对于完整的开发学习环境,可以参考本公众号老曹眼中的开发学习环境
对于面向python 的数据分析而言,个人喜欢Anaconda,可以去https://www.continuum.io/downloads/ 下载安装,安装成功后的运行界面如下:

anaconda.png

anaconda 是python 数据爱好者的福音。

安装wordcloud 和 jieba 两个库同样非常简单:

遇到的一个小坑,刚开始运行这十行代码的时候,只显式了若干彩色的小矩形框,中文词语显式不出来,以为是万恶的UTF8问题,debug一下,发现print 结巴分词的结果是可以显示中文的,那就是wordcloud 生成词语的字体库问题了。开源的好处来了,直接进入wordcloud.py 的源码,找字体库相关的代码

wordcloud 默认使用了DroidSansMono.ttf 字体库,改一下换成一个支持中文的ttf 字库, 重新运行一下这十行代码,就可以了。

看一下源码

既然进入了源码,就会忍不住好奇心,浏览一下wordcloud 的实现过程和方式吧。

wordcloud.py总共不过600行,其间有着大量的注释,读起来很方便。其中用到了较多的库,常见的random,os,sys,re(正则)和可爱的numpy,还采用了PIL绘图,估计一些人又会遇到安装PIL的那些坑.

生产词云的原理其实并不复杂,大体分成5步:

  1. 对文本数据进行分词,也是众多NLP文本处理的第一步,对于wordcloud中的process_text()方法,主要是停词的处理
  2. 计算每个词在文本中出现的频率,生成一个哈希表。词频计算相当于各种分布式计算平台的第一案例wordcount, 和各种语言的hello world 程序具有相同的地位了,呵呵。
  3. 根据词频的数值按比例生成一个图片的布局,类IntegralOccupancyMap 是该词云的算法所在,是词云的数据可视化方式的核心。
  4. 将词按对应的词频在词云布局图上生成图片,核心方法是generate_from_frequencies,不论是generate()还是generate_from_text()都最终到generate_from_frequencies
  5. 完成词云上各词的着色,默认是随机着色

词语的各种增强功能大都可以通过wordcloud的构造函数实现,里面提供了22个参数,还可以自行扩展。

更多的小例子

看看一个准文言文的词云,本字来自本公众号去年的旧文——

wife.png

其中在构造函数中传入了关于大小的几个参数

自惭形秽,根本看不出文言文的色彩和对妻子的感情流露,不是好文字呀!

矩形的词云太简陋了,直接在图片上用词云来填充就有意思多了,wordcloud中采用的mask方式来实现的。换上一张自己的照片,用在谈《全栈架构师》中的文字,词云出来的效果是这样的

chw_fullstack.png

较难看出肖像的特点了,还好,可以遮丑。其中增加了3行代码

在构造函数的时候,将mask传递进去即可: