如何从文本语料库中提取语义相关性

| 目的是评估大型文本语料库中各个词之间的语义相关性。 \'police \'和\'crime \'应该比\'police \'和\'mountain \'具有更强的语义相关性,因为它们倾向于同时出现在同一上下文中。 我读过的最简单的方法包括从语料库中提取IF-IDF信息。 许多人使用潜在语义分析来查找语义相关性。 我遇到过Lucene搜索引擎:http://lucene.apache.org/ 您认为提取IF-IDF是否合适? 在技​​术和软件工具(偏爱Java)方面,您会建议做什么? 提前致谢! 慕罗尼     
已邀请:
是的,Lucene获取TF-IDF数据。 Carrot ^ 2算法是基于Lucene构建的语义提取程序的示例。我提到它是因为,第一步,他们创建了一个相关矩阵。当然,您可能可以自己轻松地构建此矩阵。 如果要处理大量数据,则可能需要将Mahout用于较硬的线性代数部分。     
如果您有lucene索引,这非常容易。例如,要获得相关性,可以使用简单的公式count(term1和term2)/ count(term1)* count(term2)。搜索结果中点击数的位置。此外,您可以轻松地计算其他semntica指标,例如chi ^ 2,信息增益。您只需要获取公式并将其从
Query
转换为
count
    

要回复问题请先登录注册