有哪些比较好的新词发现方案？

分类: 为什么 常识词典 编辑 : 常识发布 : 08-13

阅读 :314

有哪些比较好的新词发现方案？方法，工具，开源库都可以4 个答案

答案 1：

一般工具使用的都是条件随机场CRF的模型，主要的区别会在训练层面上。

答案 2：

我们做的LJParser，在业界用的非常好。很高的评价，建议试用！并提出宝贵意见：lingjoin/download...

答案 3：

我提供一个笨但却在实际中可以生效的思路。其实很简单，就是把文档集合里的文档两两比较，找出来共同的字串，这样很快就可以建立一个词汇备选集合。再对该集合作适当的处理，如去除停用词，等等。这个备选集合可以成为下一步工作的起点，后面应该有很多方法可以采纳。

答案 4：

学术上研究用CRF，然后着重在特征选择上下功夫，取得的效果还不错。很久没看相关-了，不知道是否有更好的模型或者方法？实际应用当中，主要应该采用的是挖掘querylog 和用户点击的方法更为实用，目前微博很火，很多新词都来自微博，基于微博的新词发现也是一个不错的方法。

标签 : 为什么 08-13

下一篇:知乎每天会产生多少问题呢？下一篇 【方向键 ( → )下一篇】