问题标签 [amazon-sagemaker]

我是 Python SageMaker 的新手（我的背景是 C#）。目前，我有一个问题，因为最后一个方法调用（我的意思是 fit 方法）导致“NoCredentialsError”。我不明白这个。AWS 凭证已设置，我确实使用它们与 AWS 通信，例如与 S3 通信。我怎样才能防止这个错误？

Amazon 文档列出了几种评估模型的方法（例如交叉验证等），但是这些方法似乎在 Sagemaker Java SDK 中不可用。目前，如果我们想要进行 5 折交叉验证，似乎唯一的选择是为每个数据子集创建 5 个模型（并部署 5 个端点）一个模型并手动计算性能指标（召回率、精度等）。

这种方法效率不高，并且根据 k 折验证中的折数部署 k 端点的成本也很高。

还有其他方法可以测试模型的性能吗？

我正在学习 AWS SageMaker，它应该是机器学习的无服务器计算环境。在这种无服务器计算环境下，谁来保证软件包的一致性和更新版本？

例如，我运行了 SageMaker 附带的演示程序 deepar_synthetic。在第二个单元格中，它执行以下命令： !conda install -y s3fs

但是，我收到以下警告消息：

解决环境：完成 ==> 警告：存在较新版本的 conda。<== 当前版本：4.4.10 最新版本：4.5.4 请通过运行 $ conda update -n base conda 来更新 conda

既然是无服务器计算，我还应该自己更新软件包吗？

另一个例子如下。我写了几行简单的代码来找出 Jupyter notebook 中的包版本：

进口平台

将张量流导入为 tf

打印（平台.python_version（））

打印 (tf.版本)

但是，我收到以下警告消息：

/home/ec2-user/anaconda3/envs/tensorflow_p36/lib/python3.6/importlib/_bootstrap.py:219：RuntimeWarning：模块'tensorflow.python.framework.fast_tensor_util'的编译时版本3.5与运行时版本3.6不匹配返回f(*args, **kwds) /home/ec2-user/anaconda3/envs/tensorflow_p36/lib/python3.6/site-packages/h5py/init .py :36：FutureWarning：issubdtype 的第二个参数从floattonp.floating已弃用。将来，它将被视为np.float64 == np.dtype(float).type. 从 ._conv 导入 register_converters 作为 _register_converters

打印仍然有效，我得到了如下所示的结果：

3.6.4 1.4.0

我想知道我必须做些什么才能使包保持一致，这样我就不会收到警告消息。谢谢。

我正在 aws Sagemaker 上构建一个多类分类器，并且很想使用预定义的线性学习算法进行分类。

我正在使用 Amazon Sagemaker 来运行 xgboost 模型，以便押注最佳的超参数组合。我必须使用 sagemaker 实现而不是笔记本替代品来测试它是否比网格搜索运行得更快。我的问题是如何使这项工作循环进行。有任何想法吗？我的理解是，我必须用不同的组合编写大量工作。我试过这个作为测试：

parameters_xgboost 是 Sagemaker 读取基本信息和超参数列表的方式。

好消息是它有效。不好的是，这一次只训练一个模型。我希望所有这些组合同时运行。我怎样才能做到这一点？

我在 sagemaker 上创建了一个聚类模型，并通过 CLI 使用以下命令调用它：aws sagemaker-runtime invoke-endpoint --endpoint-name myendpoint --body $mydata --content-type text/csv output.json --region eu-west-1

如果我的数据以负数开头，我会收到错误“用法：aws [options] [...] [parameters] 要查看帮助文本，您可以运行：

aws 帮助 aws 帮助 aws 帮助 aws：错误：参数 --body：预期一个参数”

如果它是一个正数，则一切正常。我怎样才能逃避数据的第一个减号以使其工作？提前致谢

我正在尝试使用 AWS sagemaker cli 运行 create-training-job 命令。这是我的命令：

这是错误：

错误发生在--input-data-config标志上。我正在尝试使用速记语法，以便可以注入一些变量（大写单词）。哈尔普！

我正在创建自己的 Docker 映像，以便可以在 AWS SageMaker 中使用自己的模型。我使用自定义的 Dockerfile 在 SageMaker ml.t2.medium 实例中的 Jupyter Notebook 中使用命令行成功创建了 Docker 映像：

但是当我在 Jupyter 中运行时：

我收到以下错误：

我已经为 EC2Container 设置了 SageMaker、EC2、EC2ContainerService 权限和以下策略，但我仍然遇到同样的错误。

关于如何解决这个问题的任何想法？

提前致谢。

我正在尝试在 Sagemaker 实例上的 MXNet 上制作迁移学习方法。训练和服务在本地开始没有任何问题，我正在使用该 python 代码来预测：

我检查data.asnumpy().tolist()了没问题并且 pyplot 绘制图像（第一个是原始图像，第二个是调整大小的图像）。但net.predict引发错误：

我试图 json.dumps 我的数据，这没有问题。

请注意，我还没有在 AWS 上部署该服务，我希望能够先在本地测试模型和预测，然后再制造更大的火车并在以后提供服务。

谢谢你的帮助

我按照此处的说明设置了 EMR 集群和 SageMaker 笔记本。直到最后一步，我没有任何错误。

当我在 Sagemaker 中打开一个新笔记本时，我收到以下消息：

进而：

这只发生在我使用 pyspark/Sparkmagic 内核时。使用 Conda 内核或任何其他内核打开的笔记本工作正常。

我的 EMR 集群完全按照说明进行设置，并添加了一条规则：

对于为什么会发生这种情况以及如何调试/修复的任何指示，我将不胜感激。

PS：我过去成功地做到了这一点，没有任何问题。当我今天尝试重新执行此操作时，我遇到了这个问题。我尝试重新创建 EMR 集群和 Sagemaker 笔记本，但这并没有帮助。