问题标签 [aws-feature-store]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - AWS SageMaker Feature Store 如何知道在摄取数据时要执行哪些转换?
在 SageMaker Feature Store 中创建功能组时,您需要执行以下步骤:
- 设置 SageMaker Python SDK 和 boto 客户端
- 检查我们想要使用的数据,并应用转换(例如删除 NA、整数等)
- 将转换后的数据提取到特征存储中
- 通过在功能组上运行 Athena 查询来构建训练数据
- 选择训练列
- 将训练数据集保存到 S3 存储桶
- 训练和部署模型
- 使用 GetRecord 功能对来自特征存储的最近数据进行预测。
您可以在此处查看详细的步骤示例。
但是,特征存储如何在进行预测之前将转换应用于数据?显然,新摄取的数据必须进行转换(因此与训练中的相同),但我们仅在第 2 步中进行了这些转换,然后才将任何内容添加到特征组。似乎遵循这些步骤并没有让特征存储对转换有任何了解。
例如,在链接的示例中,他们将转换后的数据添加到transaction_feature_group
如下:
所以我们可以看到转换后的数据是加载到特征组中的。但是随着时间的推移添加的新数据呢?这些新数据如何自动转换?
amazon-web-services - 如何按名称从 SageMaker 功能商店中删除功能组
使用 SageMaker Python SDK 删除特征组的方法如下:
但这只会删除您当前正在处理的功能组。如何从以前的会话中删除功能组?我尝试直接将它们从 S3 存储桶中删除,但它们仍然出现在 Feature Store UI 中。
如果可以通过 UI 删除功能组,那就太好了。但如果没有,有没有办法使用全名删除功能组?使用以下方法创建的那个:
amazon-web-services - 如何让 AWS Feature Store 功能组进入 ACTIVE 状态?
我正在尝试使用以下方法将一些行摄取到 AWS 上的功能存储中:
但我收到以下错误:
无法提取第 1 行:调用 PutRecord 操作时发生错误 (ValidationError):验证错误:FeatureGroup [feature-group] 未处于 ACTIVE 状态。
amazon-web-services - 将缺失的数据字段提取到 SageMaker Feature Store 的功能组中
我有一条记录,我想将其收录到 sagemaker 功能商店的功能组中。特征名称“z”在定义模式中是小数。我有一些来自功能“z”的缺失数据。当我尝试摄取它时,我收到错误:
[{'FeatureName': 'ji', 'ValueAsString': '8829a094'}, {'FeatureName': 'time', 'ValueAsString': '2020-08-27T13:00:00Z'}, {'FeatureName': 't2','ValueAsString':'289.26111111111106'},{'FeatureName':'re','ValueAsString':'86'},{'FeatureName':'pwat','ValueAsString':'0.9609375'},{ 'FeatureName':'li700','ValueAsString':'3'},{'FeatureName':'c','ValueAsString':'0'},{'FeatureName':'d','ValueAsString':'0 '},{'FeatureName':'x','ValueAsString':'0'},{'FeatureName':'y','ValueAsString':'0.0'},{'FeatureName':'z', 'ValueAsString': '无'}]
尝试将名为 [z] 的特征的特征值解析为 Fractional 类型的 FeatureValue。提供的值必须在 IEEE 754 标准定义的双精度浮点数范围内。输入格式可以是十进制形式或科学记数法。
您如何处理缺失数据以摄取到特征组中?
amazon-sagemaker - 如何使用 Sagemaker Feature Store 创建分区的 Athena 表
我正在使用 Sagemaker 功能商店并尝试创建离线功能商店。在此过程中,Sagemaker 会创建一个 Athena 表。但是,我注意到这个表没有分区,当我创建一个查询时,它需要很长时间。
如何使用 Sagemaker Feature Store 创建带分区的 Athena 表?