1

我正在使用官方google-cloud-php库从我的 PHP App Engine 实例访问 Google Cloud Datastore。

我一直看到每个查询的延迟时间超过 0.35 秒。即使对于数据存储中少于 100 个实体的简单查询也是如此。

我的 Web 应用程序需要对每个请求进行 4 次左右的连续数据存储查询，这使得数据存储完全无法使用（每次页面加载延迟始终为 1.5 到 3 秒）

我错过了什么吗？

以下是我连接到数据存储的方式：

        // Same issue even without 'authCache' (a memcached wrapper).
        $authCache = new DatastoreAuthCache();
        $datastore = new DatastoreClient([
            'projectId' => AppIdentityService::getApplicationId(),
            'authCache' => $authCache
        ]);
        Datastore::$ds = $datastore;

这是我的查询的两个示例：

    // Lookup by keys.
    $ds = Datastore::get();
    $queryResults = $ds->lookupBatch($keys);
    $rows = keyValue($queryResults, "found");

    // Query by fields.
    $query = $ds->query()
        ->kind(self::EntityName)
        ->filter('owner', '=', $a)
        ->filter('target', '=', $b)
        ->limit(1)
        ->keysOnly();

    $results = $ds->runQuery($query);
    foreach ($results as $entity) {
        return $entity;
    }

这种延迟水平是可以预期的吗？我可以缓存一些结果，但不是全部，所以我希望这是我的问题。

这是我已经尝试改善延迟的方法：

  • 添加了“authCache”处理程序以缓存数据存储 API 令牌（无影响）

  • 确认数据存储和应用引擎实例在同一区域

  • 确认 index.yaml 设置正确

  • 确认延迟是由于数据存储调用而不是业务逻辑造成的

  • 其他数据库后端工作正常（Cloud SQL 服务器在 < 0.1 秒内返回）。本地数据存储模拟器也会在 <0.01 秒内返回。

我能做些什么来改善这种延迟？

4

2 回答 2

1

我不确定这是否有资格作为答案，但我会尝试帮助您使用 Stack Driver 进行调试。

在 Cloud Console 中查看您的日志 - https://console.cloud.google.com/logs/viewer

寻找慢的处理程序。

gae_log_message

将鼠标悬停在延迟列上并单击。这将带您进入 Stack Driver 监控中的分布式跟踪系统。这可能会确认 Datastore 速度很慢，但希望它能够揭示导致速度缓慢的其他原因。

它看起来像这样：

stack_driver_tracing

于 2019-03-20T00:58:42.517 回答
0

最大的瓶颈是与 Datastore 建立连接（这可能需要 200 毫秒，这是 auth 缓存的帮助）。不幸的是，这对 php 来说是个坏消息，因为我们无法建立永久连接。Datastore 客户端需要在每个请求上重新连接。

尝试优化时变得更加困难，因为它严重依赖延迟加载。似乎最有效的是为所有请求重用相同的数据存储客户端实例。

限制过滤器的数量可以加快查询速度，取而代之的是检索更大的数据块，然后可以在本地进行过滤。使用类似的东西redis也可以兼作数据缓存。

服务接收的批量更新cron也有助于更快地发布请求。通知可以推送到`websocket 或在后续请求中获取。

你没有提到它，所以不清楚你是否使用gRPC，如果安装了模块，默认情况下DatastoreClient将使用它，否则它会回退到相比之下要慢得多。grpcREST

要检查您是否已grpc安装：

php -m|grep grpc

我能想到的唯一其他建议是索引，但这只会对大型数据集有所帮助。您还应该尝试在另一个数据中心进行测试，这可能是您所在的数据中心变得拥挤。

于 2019-03-23T21:22:39.833 回答