用拼音搜索敏感词

关键字: 我是程序员

最近,国外的Twitter、国内的饭否相继遭墙,与此相似的一些网站也都组织调整。比如“做啥网”表态准备上线搜索屏蔽词功能,就是类似 baidu 和 g.cn 的“据当地法律法规和政策,部分搜索结果未予显示。”

这我让回忆起以前逛论坛时看的帖子,很多论坛(例如DVBBS)都自带屏蔽敏感词功能,如果帖子中有词组与后台敏感词数据库匹配得上,就用‘*’来代替。尤记得周杰伦的《听妈妈的话》被系统自动改成《听妈**话》。但他们也提到:现在的网友也很厉害,会运用谐音或者自己创造一些词语,婉转表达敏感信息。理论上需要每条信息人工审核后才能发布,不过限于人力,目前“做啥”还没有准备这样做。

我想起很多年前用WinTC时里面自带了一个点阵字模工具,除了能将一个汉字转换成点阵字模,还会用这个汉字的拼音来做数组名。当时很好奇,就去找了一点相关了资料,才知道像GBK、Unicode等编码本身就是和拼音相关的。撇开这些不算,即使直接对65536个汉字建立映射表,假设汉字2个字节,拼音最长的zhuang算6个字节,整个映射表也不到1MB的空间。

所以,为响应有关部门的号召,也许将来论坛、微博等会采用拼音来搜索敏感词汇的工具来。到时候“草泥马”此类神兽通通都得贴上和谐标签。

zzp-me[Thanks Ruby]用拼音过滤敏感词