问题标签 [feast]

我正在运行我已经修改为使用 cassandra 作为后端低延迟服务数据库的盛宴部署，以实现机器学习功能。我成功地写入和读取行，但读取与返回的结果不一致。有时有效载荷是空的，我不知道为什么。我已经尝试使用 ntp/time.google.com 更新到最新的 datastax 驱动程序和协调时间。我还尝试更改写入 ALL 和读取 LOCAL_ONE/LOCAL_QUOROM 的一致性，但没有成功。我真的很难弄清楚为什么选择不一致。任何见解都会很棒！:) 这是过程：我使用 CassandraIO 将行写入 cassandra

这似乎成功地将行映射到我的 cassandra 集群中，然后我在我的应用程序中查询如下

我的问题是似乎没有一致的选择发生。我已经记录了一段时间了，例如这里有两个选择查询，使用相同的协调器，一个成功，然后随后的选择无法返回结果。

失败：

键空间信息

您好盛宴开发者，

我想在我的地方实现 Feast 来统一我们的功能。目前我们有给定 100 个 product_id 的用例，从可能会被 user_id 点击的产品中排序。这意味着 1 个请求将命中 Feast Serving API 100 次，如果用例 RPS 为 100 RPS，则意味着 Feast Serving API 中的 RPS 为 10.000。

我们如何确保 Feast Serving API 可以处理所有这些请求？盛宴有解决这个问题的办法吗？

另一个问题是，我们可以将每个用例的服务层分开吗？假设用例 A 使用 redis A，用例 B 使用 redis B。这是为了确保当 1 个用例增加流量时，不会影响另一个用例。

谢谢你的回答^^

我想用 helm 在 Kubernetes 上安装 feast - 我按照https://docs.feast.dev/v/master/getting-started/install-feast/kubernetes-with-helm上的步骤操作

命令后

掌舵版本 3.5.2

我该如何解决这个问题？

我希望调用使用 Zappa 部署的 AWS Lambda 函数。lambda 函数的依赖关系对于通常的 zip 文件方法来说太大了（即使使用slim_handler : true.

为此，我将 Zappa 与 Docker 容器一起使用，其中容器包含较大的依赖项，并且 Lambda 函数根据需要调用容器。

该应用程序是一个 Flask 应用程序，具有app.py路由到函数的常用代码。使用 Zappa 部署一个 dockerized flask 应用程序非常简单，我可以成功地做到这一点，只要app.py. 但是，一旦我添加了依赖于库的 Python，在尝试通过 AWS API 网关（由 Zappa 设置）调用 Lambda 函数时，就会出现以下错误：

这是我正在采取的步骤。我使用 Feast 作为我想要工作的 Python 库，将 dockerized Flask 应用程序通过 Zappa 推送到 Lambda。

我创建了与 Zappa 一起工作的Dockerfile，用于部署到 AWS Lambda。

我正在使用此处概述的步骤来创建此 Dockerfile：

简而言之，这使用 AWS 提供的基础镜像，将我的应用程序代码复制到镜像中，并使用pipenv. Zappa 的具体步骤在底部，handler.py手动添加到 Docker 映像中。“lambda_handler 函数包含将 API 网关请求路由到相应 Flask 函数的所有 Zappa 魔法。” 处理程序在 中指定，CMD以便在使用此映像的 Docker 容器启动时运行它。

这是我的 requirements.txt 文件：

由于我希望 Feast 可用，因此我将其安装在虚拟环境中：

安装盛宴

这些步骤来自这里：

安装盛宴：

创建功能仓库：

注册特征定义和部署的特征存储：

将功能加载到我的在线商店中：

为了测试 Feast 是否会成功部署在 Lambda 上，我将通过 AWS API 网关调用 Lambda 函数来获取特征向量以进行推理。所以我需要 Flask 调用必要的 Feast 代码：

获取特征向量以进行推理

我在通常的 Flask 中设置了 Feast 代码app.py：

对此的预期响应是：

我还在虚拟环境中安装了 Zappa ：

...这是我的zappa_settings.json：

此处显示的 S3 存储桶编号是假的。

同时在虚拟环境中安装 Flask：

建立形象

我运行以下命令来构建映像：

然后我推送到 ECR：

重新标记图像：

获得身份验证以推送到 ECR：

...并推送图像：

最后，我部署了 lambda 函数：

总之，这就是使用 Zappa 将 docker 映像推送到 AWS Lambda 以便通过 AWS API Gateway 调用 lambda 函数的方式。在这种情况下，我试图调用一个 lambda 函数，该函数通过 Flask 获取 Feast 数据，并在 Docker 容器中提供了依赖项。

但是，在运行deploy命令后，我得到：

重要的：

我已经确认所有这些步骤都有效，如果我在这样的里面放一些简单的东西app.py：

一切都在 AWS 上正确认证，图像部署，我可以通过 Zappa 提供的 API 端点（通过 AWS 网关）完美地调用它。如上所示，当我将 Feast 代码放入其中时，我只会收到上述错误app.py。

Feast https://feast.dev是否​​支持 postgresql 作为数据摄取。在我之前的工作负载中，我只是每秒下载一次数据并插入到 postgresql 中。如果没有，我应该使用哪个数据库，这样它对我来说是最简单的迁移？我基本上是在建立金融模型功能商店……

我正在寻找 FEAST 功能商店。我意识到对于生产，数据源必须是 AWS redshift 或 Google Bigquery。（这不是与开源的想法相矛盾吗？）但是我有自己的小型服务器（实际上是一些 AWS 现货实例），我想使用它。有没有办法在生产中使用 Feast 而无需实际使用付费使用 AWS redshift 或 Google Bigquery？

我正在尝试运行 python 代码来创建功能存储。当我运行时，我收到 Bigquery.jobs.create 权限错误。我检查了我的帐户的权限，gcloud iam roles describe roles/viewer并且 Bigquery 权限在那里。

现在，我犯了什么错误，我该如何解决这个错误。

我正在尝试将 Feast 与 PostgreSQLSource 配置为在线和离线源。我在 db 中创建了一个表，并使用适当的凭据编辑了 feature_store.yaml 文件。我可以成功生成功能视图并部署基础架构。但是当我运行 feast materialize 命令时，它会为 offline_stores 抛出一个 AssertionError。可能的错误/错误是什么，我该如何解决？

谢谢

如何将 Snowflake 添加为 Feast 上的自定义线下商店？我看到要为 Provider 类和离线商店类实现自定义实现，但 Feast 是如何实际连接到自定义离线商店的？是否应该配置驱动程序，如果需要，如何配置？提供者和离线商店类的文档实现对我没有多大帮助。

Feast 是否得到了更大的改进，目前仅支持文件、bigquery 和 redshift 用于离线功能存储？在大多数实施中，我主要只看到 Feast 离线商店的这 3 个参考，并且看起来没有太多的用户群。请告知，是否可以推荐使用 Snowflake 进行离线功能存储？

此外，Feast 如何与 Cassandra 等自定义在线功能商店实现公平？