使用python从磁盘处理大量数据的最有效方法是什么？
我正在编写一个简单的python脚本来读取和重建来自失败的RAID5阵列的数据，这是我无法以任何其他方式重建的。我的脚本运行缓慢。我的原始脚本以大约80MB /分钟的速度运行。我已经改进了脚本，它的运行速度为550MB / min，但仍然有点低。 python脚本位于100％CPU，所以它似乎是CPU而不是磁盘限制，这意味着我有机会进行优化。因为脚本不是很长，我无法有效地描述它，所以我不知道它吃了什么。这是我现在的脚本（或者至少是重要的部分）
disk0chunk = disk0.read(chunkSize)
#disk1 is missing, bad firmware
disk2chunk = disk2.read(chunkSize)
disk3chunk = disk3.read(chunkSize)
if (parityDisk % 4 == 1): #if the parity stripe is on the missing drive
output.write(disk0chunk + disk2chunk + disk3chunk)
else: #we need to rebuild the data in disk1
# disk0num = map(ord, disk0chunk) #inefficient, old code
# disk2num = map(ord, disk2chunk) #inefficient, old code
# disk3num = map(ord, disk3chunk) #inefficient, old code
disk0num = struct.depack("16384l", disk0chunk) #more efficient new code
disk2num = struct.depack("16384l", disk2chunk) #more efficient new code
disk3num = struct.depack("16384l", disk3chunk) #more efficient new code
magicpotato = zip(disk0num,disk2num,disk3num)
disk1num = map(takexor, magicpotato)
# disk1bytes = map(chr, disk1num) #inefficient, old code
# disk1chunk = ''.join(disk1bytes) #inefficient, old code
disk1chunk = struct.pack("16384l", *disk1num) #more efficient new code
#output nonparity to based on parityDisk
def takexor(magicpotato):
return magicpotato[0]^magicpotato[1]^magicpotato[2]
没有找到相关结果
已邀请:
2 个回复
恋卡
梦砍废么