搜狗词库 for fcitx-utf8

hubert_star · 发表于 2010-10-15 16:42:55

跟我之前发帖的120余万的词库差不多，不过这次上来的词库是专用于fcitx-utf8的

下载地址：

fcitx-utf8的搜狗词库精简版，仅整合搜狗词库、计算机词汇和诗词古句等：
http://hslinuxextra.googlecode.c ... gou-phrase-small.7z

fcitx-utf8的搜狗词库，非常全面：
http://hslinuxextra.googlecode.c ... ugou-phrase-full.7z

主要改进在于去掉了一些很长的词，有些词库文件文件里面有单字，也给去掉了（会影响词频）

这个词库我用了两天，感觉还不错，虽然full的这个词库很大，但是如果机器资源足够的话问题倒不大，相应速度没有太大影响。small这个词库仅仅是搜狗官方词库、计算机专业词库、网络流行词和诗词古句等。

用法很简单：

如果你的fcitx-utf8是源代码安装的，只要把下载目录的pyPhrase.org替换掉原来的data目录下的同名文件再编译安装即可。

如果你的fcitx-utf8是二进制包，那么用终端进入到下载目录中，执行：./run.sh，然后把生成的下列文件：pybase.mb和pyphrase.mb复制到 /usr/share/fcitx/data目录下覆盖原文件即可。

PS:

这个词库是用于fcitx-utf8的
如果你的fcitx-utf8词库文件不是在/usr/share/fcitx/data下面，那么请自己查找词库文件的安装目录再覆盖。
覆盖系统文件需要root权限！

更新内容：

根据jarryson的建议，增加了fcitx-sunpinyin(也同样适用于sunpinyin)的userdict

http://hslinuxextra.googlecode.com/files/sunpinyin-userdict.7z

精简版的词库：

http://hslinuxextra.googlecode.c ... n-userdict-small.7z

大家看看效果，比较大，但是sunpinyin的内存占用不大，速度也很快。

jarryson · 发表于 2010-10-15 16:57:44

最好是用于fcitx-sunpinyin的，这样内存占用也不会那么恐怖了。。。

hubert_star · 发表于 2010-10-15 16:59:43

full的这个词库，在我机器上占用也就200M，small的这个词库稳定在几十M

fcitx的词组都要载入到内存里面

而sunpinyin的算法，额，还很难直接去操作词库文件

jarryson · 发表于 2010-10-16 00:16:40

sunpinyin 确实是省cpu一些。。内存占用大概最多50m

hurricanek · 发表于 2010-10-16 16:03:44

Post by jarryson;2115696
最好是用于fcitx-sunpinyin的，这样内存占用也不会那么恐怖了。。。

sunpinyin有自带工具吧。

话说现在fcitx其实也有个自带解析sogou细胞词库的工具了。。

naughty610 · 发表于 2010-10-16 22:17:59

你好。我想了解一下，像是搜狗这样，只是输入sg，就能出现几个候选词的方法，是怎么做到的呢？

另外，您提供的这个是搜狗真正用的词库吗？

谢谢您的回复。

hubert_star · 发表于 2010-10-16 23:05:23

Post by hurricanek;2115908
sunpinyin有自带工具吧。

话说现在fcitx其实也有个自带解析sogou细胞词库的工具了。。

是的，在ub论坛上，有置顶贴给出的java/c/python的解析工具代码，内部解析算法其实都类似，不同实现而已。

另外，我增加了用于fcitx-sunpinyin的userdict，大家也可以试试，大家用这个词库以后可以看看打这句话的效果：

咱们马老太从夫子庙那里到中华门还能碰到奥巴马

咱们马老太从夫子庙那里还能买到三聚氰胺和汶川地震的介绍

kroodylove · 发表于 2011-5-30 14:20:09

挖坟表示感谢

wangl1234 · 发表于 2011-6-20 01:15:13

真不错，谢谢 hubert_star

henryhj · 发表于 2011-8-30 15:56:48

，，挖坟感谢，，

		自动登录	找回密码
密码			注册