5

我正在尝试从 sklearn-learn 加载我的分类器的 pkl 转储。

对于我的对象，joblib 转储的压缩比 cPickle 转储好得多，所以我想坚持使用它。但是，尝试从 AWS S3 读取对象时出现错误。

案例：

  • 本地托管的 Pkl 对象：pickle.load 有效，joblib.load 有效
  • 使用 app 推送到 Heroku 的 Pkl 对象（从静态文件夹加载）：pickle.load 有效，joblib.load 有效
  • 推送到 S3 的 Pkl 对象：pickle.load 有效，joblib.load 返回 IOError。（从heroku应用程序测试并从本地脚本测试）

请注意，joblib 和 pickle 的 pkl 对象是使用各自方法转储的不同对象。（即joblib 只加载joblib.dump(obj) 而pickle 只加载cPickle.dump(obj)。

Joblib 与 cPickle 代码

# case 2, this works for joblib, object pushed to heroku
resources_dir = os.getcwd() + "/static/res/" # main resource directory
input = joblib.load(resources_dir + 'classifier.pkl')

# case 3, this does not work for joblib, object hosted on s3
aws_app_assets = "https://%s.s3.amazonaws.com/static/res/" % keys.AWS_BUCKET_NAME
classifier_url_s3 = aws_app_assets + 'classifier.pkl'

# does not work with raw url, IO Error
classifier = joblib.load(classifier_url_s3)

# urrllib2, can't open instance
# TypeError: coercing to Unicode: need string or buffer, instance found
req = urllib2.Request(url=classifier_url_s3)
f = urllib2.urlopen(req)
classifier = joblib.load(urllib2.urlopen(classifier_url_s3))

# but works with a cPickle object hosted on S3
classifier = cPickle.load(urllib2.urlopen(classifier_url_s3))

我的应用程序在案例 2 中运行良好，但由于加载速度非常慢，我想尝试将所有静态文件推送到 S3，尤其是这些 pickle 转储。joblib 加载与 pickle 的方式是否存在本质上的不同会导致此错误？

这是我的错误

File "/usr/local/lib/python2.7/site-packages/sklearn/externals/joblib/numpy_pickle.py", line 409, in load
with open(filename, 'rb') as file_handle:
IOError: [Errno 2] No such file or directory: classifier url on s3
[Finished in 0.3s with exit code 1]

这不是权限问题，因为我已将 s3 上的所有对象公开以进行测试，并且 pickle.dump 对象加载正常。如果我直接在浏览器中输入 url，joblib.dump 对象也会下载

我可能完全错过了一些东西。

谢谢。

4

1 回答 1

5

joblib.load() 需要文件系统上存在的文件的名称。

Signature: joblib.load(filename, mmap_mode=None)
Parameters
-----------
filename: string
    The name of the file from which to load the object

此外，公开所有资源对于其他资产可能不是一个好主意，即使您不介意腌制模型可供全世界访问。

首先将对象从 S3 复制到工作人员的本地文件系统是相当简单的：

from boto.s3.connection import S3Connection
from sklearn.externals import joblib
import os

s3_connection = S3Connection(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY)
s3_bucket = s3_connection.get_bucket(keys.AWS_BUCKET_NAME)
local_file = '/tmp/classifier.pkl'
s3_bucket.get_key(aws_app_assets + 'classifier.pkl').get_contents_to_filename(local_file)
clf = joblib.load(local_file)
os.remove(local_file)

希望这有帮助。

PS您可以使用这种方法来腌制整个sklearn管道。这也包括特征插补。请注意训练和预测之间库的版本冲突。

于 2015-09-03T16:42:31.740 回答