android - Android Alpha/Beta 测试

Question

我的公司将在未来几周/几个月内发布适用于 Android 的通信应用程序。它是 Nexus 7 2013 设备上的嵌入式应用程序，运行 AOSP 并进行了一些小的修改。这使得典型的远程更新变得复杂，因为我们必须运行一个额外的步骤来将 APK/libs 安装到 OS 系统文件夹中。

计划是进行 Alpha 和 Beta 试验，我们已经开始收集志愿者。我们将把 APK 加载到设备上并最初分发它们。我找到了大量关于一般准备发布的信息（单元测试、签署您的 APK 等），但我正在寻找有关 Alpha 和 Beta 版本的信息。

问题：

• 我们需要在不带设备的情况下远程更新应用程序
• 我们需要收集尽可能多（有用的）关于使用情况、设备统计信息、错误和崩溃的数据

研究和可能的解决方案：

• 开发者控制台 Alpha/Beta 测试 - https://developer.android.com/distribute/googleplay/developer-console.html
• App Blade 或其他第三方支持工具 - https://appblade.com
• 分析库
  • 乱舞 - https://developer.yahoo.com/analytics
  • 混合面板 - https://mixpanel.com/android-analytics
  • 谷歌分析 - https://developers.google.com/analytics/devguides/collection/android/v4/
  • 振幅 - https://amplitude.com/behavioral-analytics-platform
  • Localytics ($) - https://www.localytics.com
• 在设备上以编程方式获取 logcat 并上传到我们的服务器
• 将特定的应用内日志/统计信息保存到内部 SharedPreferences 或 SQLite 数据库，并定期上传到我们的服务器
• 通过调查、电子邮件通信等方式从 Alpha/Beta 测试人员那里收集书面反馈。
• 如果设备在手，我们可以通过以下方式调试崩溃：
  1. 将 logcat 转储到文件 - “adb logcat -d > logcat.txt”
  2. 检查内核日志 - /proc/last_kmsg
  3. 检查转储 - /data/dont_panic

问题：

• 您是否使用 Google Play Developer Console 运行过 Alpha/Beta 试用版？有用吗？
• 您是否使用过任何第三方工具（例如 App Blade）来推送版本和收集统计数据？
• 应用发布后收集详细统计数据/反馈的最佳做法是什么？

提前致谢

Answer 1

1. 是的。我尝试使用开发控制台和 G+ 组运行私有 Alpha 版和公共 Beta 版。如果测试人员习惯了 g+ 以及我们在那里收集反馈时它是如何工作的，这将非常有用。这也是我所知道的将更新无缝“推送”给用户的唯一方法。唯一的缺点是开发控制台缺少 api，因此您无法从 ci-server 自动上传构建。

2. 在被 Apple 购买之前尝试过 Test Flight，但没有将其用于反馈，仅用于分发。在最简单的情况下，我使用了 Dropbox。

3. 我会推荐以下反馈“堆栈”：

   • 用于异常报告的 Crashlytics（他们现在也进行 beta 分发，但还没有尝试过）- http://crashlytics.com
   • 谷歌分析指标，如在某些部分上花费的时间、加载时间等
   • 用于直接反馈的 G+ 群组

Answer 2

1. Alpha/Beta 测试非常有用。您可以为 Alpha 和 Beta 测试人员创建 google+ 社区。然后添加这些社区以与指定用户共享应用程序。新版本可以轻松部署并通知给 alpha 和 beta 用户。
   1. 核子
   2. 实际上有多种方式：编写您自己的信标系统以从设备收集信息并定期使​​用警报管理器发送这些信息。对于存储日志，应该使用 sql。