0

所以我仍然在努力遵循这个：http ://code.google.com/p/dkpro-core-asl/wiki/MyFirstDKProProject

我在另一个地方遇到了非常奇怪的 MD5 问题，我不明白为什么我的 Eclipse/Ant 计算的 md5 与我可以使用 md5sum (cygwin) 或 Python 计算的 md5 不同！

Eclipse/蚂蚁味精：

BUILD FAILED

D:\eclipseWorkspace\maven.1334761781732\branches\1.2.x\de.tudarmstadt.ukp.dkpro.core.treetagger\src\scripts\build.xml:34: The following error occurred while executing this line:
D:\eclipseWorkspace\maven.1334761781732\branches\1.2.x\de.tudarmstadt.ukp.dkpro.core.treetagger\src\scripts\build.xml:311: The following error occurred while executing this line:
D:\eclipseWorkspace\maven.1334761781732\branches\1.2.x\de.tudarmstadt.ukp.dkpro.core.treetagger\src\scripts\build.xml:451: MD5 checksum mismatch for [la-tagger-little-endian.par]. 
Please verify the checksum and if necessary update this script. 
Expected: f959f8633ef842f069f0331ad19dc8b4
Actual  : bde1f6a63b2c5a658ba25a8eb90832a8

好的，这是可能的，因为文件可能在 FTP 上发生了更改，这是 ANT 的 build.xml 文件的一部分：

<target name="la">
    <property name="version.la" value="2011050700"/>

    <install-model-file url="ftp://ftp.ims.uni-stuttgart.de/pub/corpora/latin-par-linux-3.2.bin.gz"
        type="tagger" endianness="little-endian" language="la" encoding="ISO-8859-1"
        md5="f959f8633ef842f069f0331ad19dc8b4"/>
</target>

对我来说事情变得很奇怪的地方是：

使用 CYGWIN（通过 FTP 手动下载文件，使用 filezilla，二进制模式或自动，当然不是 ascii）：

$ md5sum latin-par-linux-3.2.bin.gz
e77493eed28857bf93aca91c2a6e5a9b *latin-par-linux-3.2.bin.gz

使用蟒蛇：

import urllib
import hashlib
data = urllib.urlopen("ftp://ftp.ims.uni-stuttgart.de/pub/corpora/latin-par-linux-3.2.bin.gz").read()
md5 = hashlib.md5()
md5.update(data)
print md5.hexdigest()
e77493eed28857bf93aca91c2a6e5a9b

或者

def md5_for_file(filePath):
    md5 = hashlib.md5()
    file = open(filePath, 'rb')
    while True:
        data = file.read(8192)
        if not data:
            break
        md5.update(data)

    file.close()   
    return md5.hexdigest()

print md5_for_file(r"D:\ftp.ims.uni-stuttgart.de.pub.corpora.20120419\latin-par-linux-3.2.bin.gz")
e77493eed28857bf93aca91c2a6e5a9b

并且还使用网络上的免费软件来计算 MD5，它们都相互匹配，但与 ANT 计算为“实际”的不同！

4

2 回答 2

0

为了手动计算 md5，您应该先提取文件。

使用 gunzip 或 7zip。

于 2012-04-19T15:26:21.973 回答
0

我是 DKPro 核心开发人员。我们进行这些 MD5 检查的原因是我们希望在远程文件更改而不另行通知时注意到这一点。

您不必自己计算 MD5 和。该脚本告诉您它知道哪个 MD5 以及它实际得到了什么。如果您希望脚本继续运行，只需将 build.xml 中记录的 MD5 更新为它告诉您的是“实际的”。但是，您还应该更新版本。

以下段落来自我们的wiki，并解释了其背后的基本原理：

并非所有资源都由其维护者正确版本化。我们观察到资源从一天到另一天都在变化，而没有任何公告或版本号的增加（如果有的话）。因此，我们根据 build.xml 文件中存储的 MD5 校验和验证所有资源。这样，我们可以注意到远程资源是否已更改。发生这种情况时，我们会在 build.xml 文件中添加一条注释，指示我们何时注意到 MD5 更改会更新相应资源的版本。

由于我们并非每天都测试 build.xml 文件，因此您在尝试自己打包资源时可能会遇到 MD5 校验和错误。如果发生这种情况，请使用文本编辑器打开 build.xml 文件，找到失败的 MD5 校验和，更新它并更新相应资源的版本。您也可以在DKPro Core User Group上告诉我们，我们将更新 build.xml 文件。

顺便提一句。同时，本教程已更改为使用我们可以为其分发模型的不同组件，因此这应该不再是问题了。

于 2013-06-22T08:19:14.030 回答