用于处理来自多个容易出错源的数据聚合的算法

我相信您要查找的术语是“记录链接”-   将有关同一实体（例如，人，家庭，事件，社区，企业，医院或地理区域）的两个或多个记录汇总在一起的过程 该演示文稿（PDF）看起来像是对该领域的不错的介绍。您可能使用的一种算法是Fellegi-Holt-一种用于编辑记录的统计方法。     

这是一种在统计信息中定位它的方法-具体而言，它使用了隐马尔可夫模型（http://en.wikipedia.org/wiki/Hidden_​​Markov_model）： 1）使用您的匹配过程来生成可能事件的清除列表。即使标记对您而言是隐藏的，也请考虑将每个事件标记为“真”或“假”。您可能会想像某些事件源会生成它们，并根据未知参数的概率将它们生成为“真”或“假”。 2）将未知参数与每个列表来源相关联。这些给出了该源将报告事件源产生的真实事件的概率，以及它将报告源产生的伪事件的概率。 3）请注意，如果可以看到\“ true \”或\“冒牌\”的标记，则可以轻松算出每个源的概率。不幸的是，您当然看不到这些隐藏的标记。 4）让我们将这些隐藏标记称为“潜在变量”，因为这样您就可以从随机开始使用http://en.wikipedia.org/wiki/Em_algorithm爬升到针对该问题的有希望的解决方案。 5）很明显，通过将事件划分为类，并提供列出参数的来源，显然可以使问题变得更加复杂，从而使它们比其他事件更可能报告某些事件。如果您的源对于某些事件极其可靠，则这可能很有用。     

一个潜在的搜索词是“模糊逻辑”。 我会使用浮点数或双精度数来存储某些事件详细信息正确的概率（0.0 =否决... 1.0 =证实）。当您遇到源时，请相应地调整概率。不过，您还有很多要考虑的地方： 尝试识别何时多个来源相互复制并减少其影响 将更多的权重用于较新的数据或明确认可旧数据的数据（例如，假设100％可靠的网站说“音乐会X将于8月4日举行”，而一个未知博客则声称“音乐会X从8月4日起搬迁”到9th \“，您可以将举办此类音乐会的可能性保持在100％，但要列出日期和您认为合适的任何可能性……） 当心假设事物是离散的；相互矛盾的信息可能反映了多个类似事件，双重计费，同名表演者等。-您越有信心引用相同的内容，则数据可以组合得越多，就可以相互补充或抵消。 您应该能够通过使用与一组音乐会相关的数据来“回测”您不断发展的逻辑，在这些音乐会上，您已经完全了解了音乐会的实际演出或没有演出；处理事件之前各个截止日期之前发布的数据，以查看您得出的预测如何反映实际结果，进行调整和重复（也许自动） 从您拥有的站点开始抓取，然后考虑所看到的信息类型的逻辑含义，这可能是最实际的。然后可以确定需要使用模糊逻辑处理问题的哪些方面。进化的方法可能意味着重做，但是最终可能比陷入模糊的设计阶段更快。     

数据挖掘是关于从结构化来源（例如数据库）中找到信息，或从中为您分隔字段的帖子。当您必须从自由文本中解析信息时，这里有一些文本挖掘。无论哪种情况，您都可以跟踪一个节目中有多少个数据源作为可信度度量。显示置信度度量或使用它来确定您的数据是否足够好。有很多可以玩的东西。拥有合法城市，场所和行为的列表可以帮助您确定字符串是否代表合法实体。您的列表甚至可能在数据库中，该数据库使您可以比较城市和场所的一致性。