amazon-sagemaker - 如何在 SageMaker 托管端点中实施波束搜索解码器？

Question

我为 Seq2Seq 神经网络创建了一个 SageMaker 模型，然后启动了一个 SageMaker 端点：

create_endpoint_config_response = sage.create_endpoint_config(
    EndpointConfigName = endpoint_config_name,
    ProductionVariants=[{
        'InstanceType':'ml.m4.xlarge', 
        'InitialInstanceCount':1,
        'ModelName':model_name,
        'VariantName':'AllTraffic'}])

create_endpoint_response = sage.create_endpoint(
    EndpointName=endpoint_name,
    EndpointConfigName=endpoint_config_name)

此标准端点不支持光束搜索。创建支持波束搜索的 SageMaker 端点的最佳方法是什么？

Answer 1

根据您的评论，我认为唯一的解决方案是创建自己的 docker 容器进行推理。这样你就可以加载你已经训练好的模型，并随心所欲地使用它。当您想了解如何在 sagemaker 中使用 docker 时，此示例是一个很好的起点。

对于您的用例，最好找到 sagemaker 内置 seq2seq 模型的源代码（内置算法也只是 docker 图像），根据您的需要对其进行修改，构建修改后的 docker 容器并将其加载到您的 aws ecr，从您可以在其中使用 sagemaker 加载它。

不幸的是，我不知道 docker 容器的源代码是否公开可用（第一次尝试时没有找到）。