我们支持的各种移动应用程序都将崩溃报告作为一项附加功能,它比普通设备提供的方法向我们提交更多的数据。我们支持 iOS 和 Android 应用程序。这些信息被发送给我们,我们将其推送到 MySQL 数据库中。
这是设计的第一步。现在我们希望能够按堆栈跟踪、设备类型、应用程序版本、操作系统版本等对这些崩溃报告进行分类、分组和计数。
如前所述,我们目前正在使用 MySQL 数据库,但如果它为我们正在尝试做的事情提供更好的支持,我们没有理由不能迁移到不同的数据库。我们正在将我们的系统迁移到 AWS,因此 DynamoDB 显然是第二选择。
所以,在我继续之前,如果您有任何建议,请现在回答。
更多细节:
我们目前有以下数据发送给我们:
- 信号(例如
SIGSEGV
) - 异常名称(例如,
java.lang.NullPointerException
或NSInvalidArgumentException
- 异常描述(例如“无法实例化活动...”或“字符串参数为 NULL”)
- 应用名称
- 手持设备类型(例如
samsung/m0/GT-I9300
或iPad
) - 本机堆栈跟踪(适用于本机代码中的 Android 崩溃)
- 操作系统版本(例如
4.1.1 (SDK Level 16)
或6.1.3
) - 用户 ID(如果有)
- 应用版本
- 崩溃时间戳
- 堆栈跟踪
- 提交日期
- 其他不相关的数据
我能够在某种程度上将 Java 堆栈跟踪分组在一起,使用GROUP BY
效果出奇的好......对于较小的数据集。但是当你有大约 300,000 条崩溃日志时,它就会停止运行。
我的第一个想法是为堆栈跟踪创建一个单独的表,包括一个 SHA 哈希列并为其添加一个索引,这只是堆栈跟踪的一个哈希。然后,我可以根据需要找到或创建堆栈跟踪行。我不知道这是否比简单地依靠数据库服务器直接对堆栈跟踪字符串进行比较要快。我可以包括一个计数器列来计算每个堆栈跟踪发生的频率,尽管最好简单地保持计数select count(*) FROM crash_reports GROUP BY fkStackTraceID
,以便我可以另外按日期或应用程序版本进行过滤。
目前,当尝试使用 iOS 崩溃日志或原生 Android 崩溃日志做同样的事情时,这一切都崩溃了。由于包含每个堆栈跟踪每个元素的内存位置,因此每个都是不同的。我可以找到偏移量(也包括在内)并减去它,这会有所帮助。
所以有些问题:
- 是否有任何其他方法可以过滤数据,以便以您认为对堆栈跟踪有用的任何方式更容易查询?我想在第一时间把事情做好,所以我现在想不到的任何其他分离数据以进行查询的方法都是立即进入。
- MySQL 是最好的选择,还是 NoSQL 选项(即 DynamoDB)更有用?
- 我之前的问题是:是否有任何预先打包的解决方案可以执行此操作(或帮助执行此操作),其功能类似于 Google Play 控制台和/或 iTunes Connect 站点的崩溃日志部分?