2

取消在 Linux 上创建的对象并（尝试）在 Windows 上取消腌制时，我遇到了模块依赖失败。泡菜在 Linux 中正确解压，但在 Windows 中失败。两个系统都运行 Python 2.6。

我研究了 pickle 手册页（特别关注让 unpickle 环境与 pickle 环境相同），以及这里的几条很好的建议——但我仍然很难过。大多数人建议确保 sys.modules 正确并已加载。以下是一些片段，显示了我正在尝试的内容：

酸洗代码：

...
pickle_fp = self.getPickleFile('wb')
pickler = Pickler(pickle_fp, protocol=2)
pickler.dump(archive)
pickle_fp.close()
...

在 unpickling 代码中，我添加了一行来打印 sys.modules 字典，以便我们可以看到存在的模块：

...
pickle_fp = self.getPickleFile('rb')
unpickler = Unpickler(pickle_fp)
pprint.pprint(sys.modules)
package = unpickler.load()
pickle_fp.close()
...

当我在 Linux 中运行 unpickle 时，它​​工作得很好。当我尝试在 Windows 上解压缩在 Linux 上生成的泡菜时，我得到：

...
ImportError: No module named photo_data

至于环境，pprint.pprint(sys.modules)生产，在Linux上

...
'photo_data': <module 'photo_data' from 
'/home/xxx/Desktop/PythonPhoto/photo_data.pyc'>,
...

在 Windows 上

...
'photo_data': <module 'photo_data' from                       
'C:\Users\xxx\git\PhotoManagement\Photo\src\photo_data.pyc'>,
...

所以在我看来，我已经photo_data在环境中获得了模块。我尝试在没有协议的情况下使用 pickle（默认为 0），并尝试运行 unix2dos 来剥离字符。我被正式难住了。

谢谢你的帮助！

根据评论中的建议，我生成了最简单的不起作用的案例。我正在酸洗的课程如下所示：

class photo_data:
    def __init__(self):
        self.isdir = False
        self.size = 0
        self.mtime = -(sys.maxint - 1) #Set default time to very old
        self.timestamp = datetime.datetime.strptime('1700:1:1 00:00:00', '%Y:%m:%d %H:%M:%S')
        self.gotTags = False
        self.signature = ''
        self.fileMD5 = ''
        self.userTags = ''
        self.inArchive = False
        self.candidates = []
        self.dirpaths = []
        self.filepaths = []      

class photo_collection:  #This class should be data only

    def __init__(self):
        self.host = ''
        self.path = ''
        self.photo = dict()
        self.pickle = None
        self.datasetChanged = False

    def __getitem__(self, key):
        return self.photo[key]

    def __setitem__(self, key, value):
        self.photo[key] = value

在我的用例中，photo_collection对象被实例化，字典self.photo中填充了photo_data. 在系统之间工作的最简单的情况是其中包含一张照片的目录，而任意复杂的情况在系统内工作。在系统之间不起作用的最简单的情况是一个包含一张照片的目录和一个也包含一张照片的子目录。

根据要求，我附上了两个保存在format = 0. 如果你比较它们，我会发现程序以不同的顺序下降文件树（可能并不奇怪，因为我在系统和操作系统之间复制了目录），但除此之外，它们似乎以相同的结构打开和关闭，而不是文件-具体数据。我看不到如何将文件上传到单独的位置，因此我将它们直接包含在此处。

这是 Windows 生成的泡菜：

(iphoto_data
photo_collection
p0
(dp1
S'path'
p2
S'C:\\Users\\scott_jackson\\Desktop\\phototest'
p3
sS'host'
p4
S'4DAA1001312'
p5
sS'pickle'
p6
NsS'datasetChanged'
p7
I01
sS'photo'
p8
(dp9
S'C:\\Users\\scott_jackson\\Desktop\\phototest\\img_4697.jpg'
p10
(iphoto_data
photo_data
p11
(dp12
S'isdir'
p13
I00
sS'dirpaths'
p14
(lp15
sS'filepaths'
p16
(lp17
sS'timestamp'
p18
cdatetime
datetime
p19
(S'\x07\xda\x04\x12\x124&\x00\x00\x00'
p20
tp21
Rp22
sS'gotTags'
p23
I01
sS'signature'
p24
S'9b2ca527b2bf0865d9b87ecd2a68d417'
p25
sS'fileMD5'
p26
S''
p27
sS'candidates'
p28
(lp29
sS'mtime'
p30
F1347576558.0
sS'inArchive'
p31
I00
sS'userTags'
p32
S'NA'
p33
sS'size'
p34
L6489323L
sbsg3
(iphoto_data
photo_data
p35
(dp36
g13
I01
sg14
(lp37
S'C:\\Users\\scott_jackson\\Desktop\\phototest\\060101 Nags Head'
p38
asg16
(lp39
g10
asg18
g19
(S'\x06\xa4\x01\x01\x00\x00\x00\x00\x00\x00'
p40
tp41
Rp42
sg23
I00
sg24
g27
sg26
g27
sg28
(lp43
sg30
I-2147483646
sg31
I00
sg32
g27
sg34
I0
sbsS'C:\\Users\\scott_jackson\\Desktop\\phototest\\060101 Nags Head\\img_1150.jpg'
p44
(iphoto_data
photo_data
p45
(dp46
g13
I00
sg14
(lp47
sg16
(lp48
sg18
g19
(S'\x07\xd6\x01\x01\x11\t#\x00\x00\x00'
p49
tp50
Rp51
sg23
I01
sg24
S'5925063685af0d741a23fe6d75523741'
p52
sg26
g27
sg28
(lp53
sg30
F1347751812.0
sg31
I00
sg32
g33
sg34
L538233L
sbsS'C:\\Users\\scott_jackson\\Desktop\\phototest\\060101 Nags Head'
p54
(iphoto_data
photo_data
p55
(dp56
g13
I01
sg14
(lp57
sg16
(lp58
g44
asg18
g19
(S'\x06\xa4\x01\x01\x00\x00\x00\x00\x00\x00'
p59
tp60
Rp61
sg23
I00
sg24
g27
sg26
g27
sg28
(lp62
sg30
I-2147483646
sg31
I00
sg32
g27
sg34
I0
sbssb.

这是 Linux 生成的 pickle：

(iphoto_data
photo_collection
p0
(dp1
S'path'
p2
S'/home/scott/phototest'
p3
sS'host'
p4
S'barney'
p5
sS'pickle'
p6
NsS'datasetChanged'
p7
I01
sS'photo'
p8
(dp9
S'/home/scott/phototest/060101 Nags Head/img_1150.jpg'
p10
(iphoto_data
photo_data
p11
(dp12
S'isdir'
p13
I00
sS'dirpaths'
p14
(lp15
sS'filepaths'
p16
(lp17
sS'timestamp'
p18
cdatetime
datetime
p19
(S'\x07\xd6\x01\x01\x11\t#\x00\x00\x00'
p20
tp21
Rp22
sS'gotTags'
p23
I01
sS'signature'
p24
S'5925063685af0d741a23fe6d75523741'
p25
sS'fileMD5'
p26
S''
p27
sS'candidates'
p28
(lp29
sS'mtime'
p30
F1347751812.0842018
sS'inArchive'
p31
I00
sS'userTags'
p32
S'NA'
p33
sS'size'
p34
I538233
sbsS'/home/scott/phototest/060101 Nags Head'
p35
(iphoto_data
photo_data
p36
(dp37
g13
I01
sg14
(lp38
sg16
(lp39
g10
asg18
g19
(S'\x06\xa4\x01\x01\x00\x00\x00\x00\x00\x00'
p40
tp41
Rp42
sg23
I00
sg24
g27
sg26
g27
sg28
(lp43
sg30
I-9223372036854775806
sg31
I00
sg32
g27
sg34
I0
sbsS'/home/scott/phototest/img_4697.jpg'
p44
(iphoto_data
photo_data
p45
(dp46
g13
I00
sg14
(lp47
sg16
(lp48
sg18
g19
(S'\x07\xda\x04\x12\x124&\x00\x00\x00'
p49
tp50
Rp51
sg23
I01
sg24
S'9b2ca527b2bf0865d9b87ecd2a68d417'
p52
sg26
g27
sg28
(lp53
sg30
F1347576558.5344362
sg31
I00
sg32
g33
sg34
I6489323
sbsg3
(iphoto_data
photo_data
p54
(dp55
g13
I01
sg14
(lp56
S'/home/scott/phototest/060101 Nags Head'
p57
asg16
(lp58
g44
asg18
g19
(S'\x06\xa4\x01\x01\x00\x00\x00\x00\x00\x00'
p59
tp60
Rp61
sg23
I00
sg24
g27
sg26
g27
sg28
(lp62
sg30
I-9223372036854775806
sg31
I00
sg32
g27
sg34
I0
sbssb.

请随意将这些粘贴到您最喜欢的“比较”编辑器中；我对泡菜知之甚少，无法发现问题。

在此先感谢您的帮助！！

4

2 回答 2

2

我已经通过在我的 Mac OS X 机器上保存带有 CRLF (Windows) 行结尾的泡菜来重现您的问题。

泡菜机器对换行非常讲究。如果使用非二进制传输模式保存或复制泡菜（例如，在 Windows 上使用文本编辑器重新保存、使用 ASCII FTP 传输复制、从网站保存为文本文件等），泡菜将被添加 CR 字符。

现在，问题是 pickle.py 中的这一行：

module = self.readline()[:-1]

如果您提供的文件Unpickler已打开'rb'但包含 CRLF，则这些行将显示为module = "photo_data\r"，这不是有效的模块名称。导入后，错误将显示为

ImportError: No module named photo_data

在（非常偷偷摸摸！）之后有一个未打印的回车。photo_data

解决方案是确保您以二进制方式传输文件，并且不要unix2dos在 pickle 上运行或任何类似的实用程序。或者，如果使用协议 0（文本）泡菜，则可以安全地使用'rU'（通用换行模式）打开泡菜文件。

另请参阅Pickled 文件不会在 Mac/Linux 上加载。

于 2012-09-16T00:50:51.413 回答
1

我今天遇到了类似的问题：正如@nneonneo在他的回答中解释的那样，由于 CRLF 行结尾，在 linux 上腌制的对象无法在 Windows 上加载。

问题是 git 认为.pkl对象是文本文件，并且它应该规范化行尾。因此，当我在 linux 机器上推送带有二进制.pkl文件的项目，并在 windows 机器上拉取它们时，行尾是 CRLF 而不是 unix 行尾。解决方案是将.gitattributes文件添加到 repo

*.pkl binary

强制 git 根本不操作文件。

然后，您可以按照此处的建议“刷新”更改。我改为在 Windows 机器上删除并再次克隆该项目。

于 2018-04-03T13:01:38.317 回答