1

我正在使用 API 调用request_spot_instances来创建 Spot 实例而不指定任何可用区。通常，API 会选择一个随机 AZ。Spot 请求有时会返回无容量状态，而我可以通过另一个 AZ 中的 AWS 控制台成功请求 Spot 实例。在调用 request_spot_instance 之前检查特定实例类型的现场实例的可用性的正确方法是什么？

4

2 回答 2

4

没有用于检查 Spot 实例可用性的公共 API。话虽如此，您仍然可以按照以下步骤实现您想要的：

  1. 请改用request_spot_fleet，并将其配置为启动单个实例。
  2. 灵活使用您使用的实例类型，尽可能多地选择并将它们包含在请求中。为了帮助您选择实例，请查看Spot Instance advisor以了解实例中断和节省率。
  3. 根据 Spot 队列请求，配置此选项AllocationStrategy将允许队列从实例列表中最可用capacityOptimized的 Spot 实例分配容量，并降低 Spot 中断的可能性。
  4. 不要设置最高价格SpotPrice，将使用默认的 Spot 实例价格。Spot 的定价模式发生了变化，不再基于竞价，因此 Spot 价格更加稳定，不会波动。
于 2020-10-20T06:00:29.690 回答
1

这对于您要查找的内容可能有点矫枉过正，但通过部分代码，您可以找到过去一小时的现货价格历史记录（可以更改）。它会为您提供实例类型、可用区和其他信息。从那里您可以循环访问实例类型到 AZ。如果在 30 秒内没有出现 Spot 实例，请尝试下一个 AZ。

对于 Ahmed 在他的回答中的观点，这些信息可以在 spot_fleet_request 中使用，而不是在 AZ 中循环。如果你在 Spot Fleet 请求中传递了错误的 AZ 或子网，它可能会通过 dryrun api 调用，但仍然会导致实际调用失败。如果您使用的是 dryrun 参数，请注意这一点。

以下是以下代码的输出：

In [740]: df_spot_instance_options
Out[740]:
    AvailabilityZone   InstanceType  SpotPrice  MemSize  vCPUs  CurrentGeneration Processor
0         us-east-1d        t3.nano      0.002      512      2               True  [x86_64]
1         us-east-1b        t3.nano      0.002      512      2               True  [x86_64]
2         us-east-1a        t3.nano      0.002      512      2               True  [x86_64]
3         us-east-1c        t3.nano      0.002      512      2               True  [x86_64]
4         us-east-1d       t3a.nano      0.002      512      2               True  [x86_64]
..               ...            ...        ...      ...    ...                ...       ...
995       us-east-1a    p2.16xlarge      4.320   749568     64               True  [x86_64]
996       us-east-1b    p2.16xlarge      4.320   749568     64               True  [x86_64]
997       us-east-1c    p2.16xlarge      4.320   749568     64               True  [x86_64]
998       us-east-1d    p2.16xlarge     14.400   749568     64               True  [x86_64]
999       us-east-1c  p3dn.24xlarge      9.540   786432     96               True  [x86_64]

[1000 rows x 7 columns]

这是代码：

ec2c = boto3.client('ec2')
ec2r = boto3.resource('ec2')

#### The rest of this code maps the instance details to spot price in case you are looking for certain memory or cpu
paginator = ec2c.get_paginator('describe_instance_types')
response_iterator = paginator.paginate( )

df_hold_list = []
for page in response_iterator:
    df_hold_list.append(pd.DataFrame(page['InstanceTypes']))

df_instance_specs = pd.concat(df_hold_list, axis=0).reset_index(drop=True)
df_instance_specs['Spot'] = df_instance_specs['SupportedUsageClasses'].apply(lambda x: 1 if 'spot' in x else 0)
df_instance_spot_specs = df_instance_specs.loc[df_instance_specs['Spot']==1].reset_index(drop=True)

#unapck memory and cpu dictionaries
df_instance_spot_specs['MemSize'] = df_instance_spot_specs['MemoryInfo'].apply(lambda x: x.get('SizeInMiB'))
df_instance_spot_specs['vCPUs'] = df_instance_spot_specs['VCpuInfo'].apply(lambda x: x.get('DefaultVCpus'))
df_instance_spot_specs['Processor'] = df_instance_spot_specs['ProcessorInfo'].apply(lambda x: x.get('SupportedArchitectures'))

#look at instances only between 30MB and 70MB
instance_list = df_instance_spot_specs['InstanceType'].unique().tolist()

#---------------------------------------------------------------------------------------------------------------------
# You can use this section by itself to get the instancce type and availability zone and loop through the instance you want
# just modify instance_list with one instance you want informatin for
#look only in us-east-1
client = boto3.client('ec2', region_name='us-east-1')
prices = client.describe_spot_price_history(
    InstanceTypes=instance_list,
    ProductDescriptions=['Linux/UNIX', 'Linux/UNIX (Amazon VPC)'],
    StartTime=(datetime.now() -
               timedelta(hours=1)).isoformat(),
               # AvailabilityZone='us-east-1a'
    MaxResults=1000)

df_spot_prices = pd.DataFrame(prices['SpotPriceHistory'])
df_spot_prices['SpotPrice'] = df_spot_prices['SpotPrice'].astype('float')
df_spot_prices.sort_values('SpotPrice', inplace=True)
#---------------------------------------------------------------------------------------------------------------------

# merge memory size and cpu information into this dataframe
df_spot_instance_options = df_spot_prices[['AvailabilityZone', 'InstanceType', 'SpotPrice']].merge(df_instance_spot_specs[['InstanceType', 'MemSize', 'vCPUs',
                                            'CurrentGeneration', 'Processor']], left_on='InstanceType', right_on='InstanceType')
于 2020-12-06T17:12:21.713 回答