Python搁置模块内存消耗
||
我被分配了读取.txt文件的任务，该文件记录了各种事件，并将其中一些事件写入字典中。
问题在于文件有时大小可能超过3GB。这意味着字典太大而无法放入主存储器。似乎搁置是解决此问题的好方法。但是，由于我将不断修改字典，因此必须启用
writeback
没有找到相关结果
已邀请:
1 个回复
冉案
#!/usr/bin/env python import shelve import ZODB, ZODB.FileStorage import transaction from optparse import OptionParser import os import sys import re reload(sys) sys.setdefaultencoding(\"utf-8\") parser = OptionParser() parser.add_option(\"-o\", \"--output\", dest = \"out_file\", default = False, help =\"original shelve database filename\") parser.add_option(\"-i\", \"--input\", dest = \"in_file\", default = False, help =\"new zodb database filename\") parser.set_defaults() options, args = parser.parse_args() if options.in_file == False or options.out_file == False : print \"Need input and output database filenames\" exit(1) db = shelve.open(options.in_file, writeback=True) zstorage = ZODB.FileStorage.FileStorage(options.out_file) zdb = ZODB.DB(zstorage) zconnection = zdb.open() newdb = zconnection.root() for key, value in db.iteritems() : print \"Copying key: \" + str(key) newdb[key] = value transaction.commit()