检索新添加的数据库记录

| 假设我们有以下通用方案: RDBMS作为数据源,它是一个实时数据库(一直充满数据)。 SQL Server 2008作为数据目标,位于远程位置。 我们需要编写一个软件解决方案,它将: 初次运行后,它将 经常(比如说几次 天)从中提取一些具体数据 来源。的“特殊性” 数据在于,一旦 映射/转换是 设计,它们将保持这种方式。 提取的数据将被放置到目标中,等待被另一个进程使用(超出我们的范围)。等待被消费意味着他们将暂时留在那里。 具有以下特点: 提取可能有点复杂 (这意味着它不是 直接从中提取 具体表格,但 加入)。 源中涉及大量数据。通常大约有几千万行,但预计不会超过几百行。 有以下所需的限制: 与数据库无关 源端。 保持对源RDBMS的最小干预,因为它不属于我们,并且任何更改/添加/请求都遵循“不灵活”的过程。 我们不能认为从源中提取涉及的表将具有某种时间戳,自动增量键或其他将最终帮助我们进行“范围查询”并从“该值和然后\”。 问题:由于我们将经常从实时来源中提取数据,因此考虑到上述特征/限制,我们如何才能有效地检索新添加的记录?如果您必须打破其中一项限制,那将是哪一项?是否有一个描述此问题的术语(例如数据差分或...)?我的主要关注点在于如何有效地检索该“差异”。 注意:我支持打破数据库不可知论的想法,并发挥各种RDBMS(元数据?)提供的有用机制来从我们感兴趣的表中获取最新添加的行。我为通用表示歉意,但我也期待通用答案。     
已邀请:
  我主要关心的是如何   检索\“差异\”   有效的方式。 您将如何以有用的方式识别差异?鉴于 你不能基于差异 时间戳记。 你不能基于差异 序号。 您可能必须依靠唯一通用的方法:存储提取的密钥,并使用它们来找出差异。 (这对于新行很好,但是对更新行没有帮助。) 您是否可以有效地做到这一点,在很大程度上取决于允许将提取的密钥存储在何处,以及允许在实时数据和存储的密钥之间使用哪种连接。     
首先,我要说的是我不羡慕您必须处理这种要求。 就是说,如果没有办法告诉您在上一次导入之后添加了什么内容,则必须提取所有数据并将其与目标进行比较,不是吗? 我可以想到两种方法来最小化源RDBMS上的负载: 更新结构,以允许通过ID或时间戳识别新项目。 向RDBMS添加触发器,以将任何INSERTS和UPDATES转发给您,并维护一个没有源缺点的镜像。 然后,其他人可能会再次提出更好的解决方案。可能涉及伏都教:) 祝好运。     

要回复问题请先登录注册