检索新添加的数据库记录
|
假设我们有以下通用方案:
RDBMS作为数据源,它是一个实时数据库(一直充满数据)。
SQL Server 2008作为数据目标,位于远程位置。
我们需要编写一个软件解决方案,它将:
初次运行后,它将
经常(比如说几次
天)从中提取一些具体数据
来源。的“特殊性”
数据在于,一旦
映射/转换是
设计,它们将保持这种方式。
提取的数据将被放置到目标中,等待被另一个进程使用(超出我们的范围)。等待被消费意味着他们将暂时留在那里。
具有以下特点:
提取可能有点复杂
(这意味着它不是
直接从中提取
具体表格,但
加入)。
源中涉及大量数据。通常大约有几千万行,但预计不会超过几百行。
有以下所需的限制:
与数据库无关
源端。
保持对源RDBMS的最小干预,因为它不属于我们,并且任何更改/添加/请求都遵循“不灵活”的过程。
我们不能认为从源中提取涉及的表将具有某种时间戳,自动增量键或其他将最终帮助我们进行“范围查询”并从“该值和然后\”。
问题:由于我们将经常从实时来源中提取数据,因此考虑到上述特征/限制,我们如何才能有效地检索新添加的记录?如果您必须打破其中一项限制,那将是哪一项?是否有一个描述此问题的术语(例如数据差分或...)?我的主要关注点在于如何有效地检索该“差异”。
注意:我支持打破数据库不可知论的想法,并发挥各种RDBMS(元数据?)提供的有用机制来从我们感兴趣的表中获取最新添加的行。我为通用表示歉意,但我也期待通用答案。
没有找到相关结果
已邀请:
2 个回复
壬驴拿歪竞
茶鬼失形