5

我们将 Travis CI 与 Fastlane 结合使用来进行自动化构建和夜间 UI Espresso 测试。对于仪器测试，我们正在尝试使用 gcloud 命令行工具使用 Firebase 测试实验室。

我正在尝试以易于使用的格式获取测试结果，以便我可以在内部向 Slack 报告，例如通过或失败的测试数量以及哪些测试。

./google-cloud-sdk/bin/gcloud beta firebase test android run \
--type instrumentation \
--app ourapp/app/build/outputs/apk/mock/debug/app-mock-debug-local.apk \
--test ourapp/app/build/outputs/apk/androidTest/mock/debug/ourapp-mock-debug-androidTest.apk \
--device-ids hammerhead \
--os-version-ids 22 \
--locales en \
--orientations portrait \
--project ourappgoogleprojectid \
--timeout 15m

这一切都很好地执行了测试，并打印了两个指向 Google Cloud Storage 存储桶中原始结果的链接，其中包含一些随机链接和一些日志，如下所示：

Raw results will be stored in your GCS bucket at [https://console.developers.google.com/storage/browser/test-lab-vx5ak1y4tt3sw-yrzyhxjh4r1r6/]

13:25:59 Test is Pending
13:26:06 Starting attempt 1
13:26:06 Test is Running
13:26:46 Logging into the device
13:26:53 Installing APK: com.ourcompany.ourapp.debug
13:27:13 Installing APK: com.ourcompany.ourapp.test
13:27:33 Running instrumentation test. Package: com.ourcompany.ourapp.test testrunner: android.support.test.runner.AndroidJUnitRunner orchestrator: false options: []
13:34:34 Instrumentation test has finished
13:34:34 Generating video
13:34:41 Retrieving performance samples
13:35:00 Retrieving test artifacts
13:35:13 Retrieving any crash results
13:35:20 Retrieving logcat
13:35:53 Done. Test time=416 (secs)
13:36:00 Test is Finished

Instrumentation testing complete.

最后它打印出我最感兴趣的内容：

┌─────────┬───────────────────────────┬──────────────────────┐
│ OUTCOME │      TEST_AXIS_VALUE      │     TEST_DETAILS     │
├─────────┼───────────────────────────┼──────────────────────┤
│ Passed  │ hammerhead-22-en-portrait │ 60 test cases passed │
└─────────┴───────────────────────────┴──────────────────────┘

但是没有其他东西可以让我得到一个好的、可行的、快速的结果总结。

我想我只能通过以下方式做到这一点：

Grep/awk/sed/无论它在输出中打印的存储桶 url。但是那个 url 有一些随机的 ID 等等。然后从 Travis 中的 bash 脚本以某种方式尝试下载该存储桶中的 xml 文件。但是所有测试结果 xml 都位于以测试运行的设备命名的各自文件夹中。例如hammerhead-22-en-portrait. 为了得到一个简单的测试总结，这样的麻烦。我需要的只是上面打印的表格中的信息。

gcloud我缺少任何命令选项吗？文档很糟糕。我希望有选项可以立即下载正确的 xml 文件，或者使用正确的信息或其他内容设置环境变量。

或者有没有办法轻松地从该表中提取值？

编辑：我刚刚发现 Android Studio 支持设置自动构建、上传 apk 并在 Firebase 测试实验室矩阵上执行测试的运行配置。然后，您会在 Android Studio 的“运行”选项卡中获得一份不错的测试报告。从这里您可以将这些测试结果导出为 HTML 或 XML。该 XML 正是我想要的。有人知道 Android Studio 使用什么工具来做到这一点，或者我如何使用命令行工具来做同样的事情？

4

1 回答 1

13

这里有一些技巧可以帮助你尝试做的事情。

关于结果路径中的默认随机 ID：您可以通过使用标志对该路径进行更多控制--results-dir=my/results/path（只需确保为您运行的每个测试选择一个唯一值）。您还可以指定--results-bucket=gs://my-bucket控制存储测试结果的顶级存储桶。请注意，如果您使用 --results-bucket，您需要一个 GCP 结算帐号，并且会为您的结果产生 Cloud Storage 费用；您可以免费使用提供的默认存储桶，并且它的路径应该保持稳定以进行脚本编写。

gcloud firebase test android run该命令的所有标志选项都记录在此处或通过 CLI 通过将 --help 添加到任何 gcloud 命令或命令片段来记录。

使用这些标志，您应该能够使用gsutil cp <src> <dst>命令直接从原始结果中获取 junit.xml 文件。

如果您想直接解析 gcloud 输出，知道测试结果表打印到 stdout 而所有状态更新都打印到 stderr 很有用。1>results.out因此，您可以通过添加到命令来隔离结果。您还可以通过--format=<format>标志控制输出表的格式（适用于所有 gcloud 命令）。例如，如果您添加--format=json 1>results.out到上面的命令，输出将如下所示：

[
  {
    "axis_value": "hammerhead-21-en-portrait",
    "outcome": "Failed",
    "test_details": "5 test cases failed, 187 passed"
  }
]

您可以通过运行了解有关 gcloud 格式的更多信息gcloud topic formats。

于 2017-07-12T17:28:14.663 回答