问题标签 [aws-rds-data-service]

有两个数据库，AWS RDS 和 Digitalocean 5 美元 VPS。我将相同的 .sql 文件导入到两个数据库中，它们之间的性能差异几乎是 66000%

AWS RDS 运行时间 = 35.681 秒

在 Mysql 上执行 5$ VPS 耗时 = 0.086 秒

细节：

桌长

1.85GB 行 ~260k

MySQL 版本 8

表引擎 InnoDB

RDS 输出

MYSQL 输出上的简单 VPS

我正在努力使用 Amazon RDS 数据服务https://docs.aws.amazon.com/rdsdataservice/latest/APIReference/API_ExecuteStatement.html解析 ExecuteStatement 操作的输出

文档很差，我找不到任何有意义的例子。

我正在使用 Aurora MySql 数据库

输出是这样返回的。此示例是 SELECT 语句返回的 2 行数据，我已将实际数据替换为单词“data”

我实际上只需要提取这些数据字段，因此我可以将它们用于另一个表中的 INSERT 语句。

根据文档，原始响应是字典数据类型，所以我在这里得到 3 个键“ResponseMetadata”、“numberOfRecordsUpdated”和“records”。根据文档，“记录”是类型：字段对象数组的数组，这就是我坚持的地方。如何从字典中的数组数组中提取字段对象？

我正在使用 Boto3 从 AWS Lambda 查询 AWS Aurora (MySQL) 无服务器。我想查询一个记录超过 10k 条的表。我的查询可以获取超过 7k 的记录。现在如何在数据库级别或 Lambda 级别对这些数据进行分页，以便每页获得更少的数据并将该小数据集发送到用户界面进行显示？我无法发送 7k 条记录的整个数据集。

这是我的 Python 代码

我知道 SQL 查询 LIMIT 和 OFFSET 但想知道是否有其他更好的方法来执行此操作。请帮忙。

谢谢。

我一直在使用带有 python lambda 函数的 AWS aurora 来为我们的应用程序执行查询。lambda 函数效果很好，但只返回前 1000 个结果而不是全部。我尝试使用分页器将限制增加到 5000，但找不到合适的解决方案：

`

我曾尝试使用 SQLAlchemy 和 pydataapi 并将 AWS 开发包部署到 lambda，但这不起作用。lambda 函数不会读取具有 lambda_handler 的相应 python 文件。代码如下：

对于我一直在尝试的方法，有没有更好的替代解决方案？任何帮助表示赞赏。谢谢你

我在 CloudFormation 模板中检索新 RDS Aurora Serverless 集群的 ARN 时遇到问题。

有人可以建议输出值应该低于什么参考值吗？

我目前得到的输出：

我读自：https ://aws.amazon.com/blogs/database/using-the-data-api-to-interact-with-an-amazon-aurora-serverless-mysql-database/

RDSDataService 客户端还通过允许您在 SQL 语句中使用占位符参数来支持参数化查询。转义的输入值允许在运行时解析这些参数。参数化查询对于防止 SQL 注入攻击很有用。

但是当我将它与 Postgres 一起使用时，传递 string:myname's它会破坏我的 SQL 语法。我不确定 RDSDataService 如何处理文档中所写的 SQL 注入攻击。

谁能帮我解释一下？在这种情况下如何处理安全的 SQL 字符串？

更新：对不起我的不好。使用参数化查询时，RDSDataService 已经转义了字符串文字。

我正在使用RDSDataService.batchExecuteStatement更新 postgres 数据库中的记录。我正在努力理解如何query为更新查询格式化参数。

插入查询非常简单，文档显示此格式为

insert into mytable values (:id, :val)

完整的请求看起来像

更新查询会是什么样子？会不会只有以下？

update mytable set :id, set :val

我正在使用气流 1.10.9 和芹菜工人。我有 dags，它在任务到来时运行，它启动新的 ec2 实例并根据逻辑连接到 RDS，但是即使没有任务正在运行，ec2 也会保持连接，并且它会保持连接，直到 Auto Scaling 缩小实例。

RDS 详细信息 -

• 类：db.t3.xlarge
• 引擎：PostgreSQL

我检查了 RDS 日志，但没有运气。

LOG：无法从客户端接收数据：对等方重置连接

这是 RDS 连接。

所有的联系都来自芹菜工人。

任何帮助表示赞赏。

我有一个带有两个隔离子网的 VPC，一个用于我的 RDS Serverless 集群，一个用于我的 Lambda 函数。

但是当我的 Lambda 函数调用我的 RDS 时，它们都会超时。

我的问题是；这个 VPC + 隔离子网是 API Gateway -> Lambda -> RDS 的工作结构，还是我在尝试一些不可能的事情？

拉姆达：

我的 RDS 和 Lambda 共享一个安全组，我已在其中为所有流量打开（我知道这并不理想），并且我的 Lambda 具有具有管理员权限的角色（也不理想），但仍然只是超时。

我正在尝试使用数据 API 将带有 SQL 查询的 AWS Lambda 连接到 AWS RDS (MySQL)，并为具有特定id.

这是处理程序的样子：

无服务器.yml

我需要解决的几个问题：

1. 如果我像这样实例化：

   const RDS = new AWS.RDSDataService({ endpoint: '******.cluster-*********.us-west-2.rds.amazonaws.com' })

通过将端点集群作为参数包含在内，处理程序函数根本不会执行。它只是不断抛出：

{"errorMessage": "2020-10-30T07:31:12.258Z c4b4ca2d-3cbb-4733-8cfe-0c7aad228c29 Task timed out after 6.01 seconds"}.

也尝试增加超时，但它没有任何区别并且错误仍然存​​在。但是如果端点被删除并且只使用如下：

，函数不会抛出超时错误，但是面临这两个新问题：

1. id是必需的。我将所需的配置传递给 yml 文件，但它
   似乎没有将其标记为必需。如果 http 端点被执行为
   /user/，它不会抛出任何错误。

2. 我需要对请求参数执行输入数据验证/清理。在执行端点/user/123时，它会抛出一个错误： INFO Error Received UnexpectedParameter: Unexpected key 'id' found in params.parameters[0].

我在文档中读出但找不到任何特定的线索来完成相同的任务。

任何解决此问题的帮助表示赞赏。