SSIS平面文件目标中的记录重复
|
我正在使用2008 SSIS包写入平面文件目标。 99.99％可以正常工作。但是，我在目标文件中得到一个重复的记录。
这是软件包的基本流程：
1.读取两个ISO-8859-1编码文件，并将其文本编码为内存中的UTF8
2.将两个文件合并到内存中，并将它们加载到查找缓存中
3.从磁盘读取另一个源文件
4.将源文件中的ID列与查找缓存中的ID列进行匹配
5.如果该ID与查找缓存中的ID匹配，则将其写入匹配文件；如果该ID不匹配，则将其写入另一个文件。
一切从头到尾都有效。但是，我在匹配文件中得到了重复项。我已经开始怀疑重复是由查找缓存文本文件中的文件结尾（或其他）特殊字符引起的，这些字符是在它们加入后的。这些文件是在UNIX系统上生成的（但是我在阅读它们时将它们编码为UTF8）。重复记录每次都是相同的记录。如何避免获取重复项（或弄清楚重复项来自何处）？我不能使用删除重复项，因为目标中有合法重复项。我已经尝试了好几个星期了。
没有找到相关结果
已邀请:
2 个回复
旅牢斯讲
穗揣