我有一个大型数据集,我想从中提取和分类特定元素。下面是一个最常见的例子:
我想知道这是否可以使用 Amazon Comprehend 或者有更好的工具来做到这一点。我不是开发人员,并且希望聘请某人为我编程。但我想在雇用某人之前从概念上了解这样的事情是否可行。
我有一个大型数据集,我想从中提取和分类特定元素。下面是一个最常见的例子:
我想知道这是否可以使用 Amazon Comprehend 或者有更好的工具来做到这一点。我不是开发人员,并且希望聘请某人为我编程。但我想在雇用某人之前从概念上了解这样的事情是否可行。
Comprehend 能够从文档中提取和分类文本。您可以使用 Comprehend 的自定义实体识别。
为此,您将提供带注释的训练数据作为输入。您可以利用 Amazon SageMaker 中的 Ground Truth 进行注释,并直接将 Ground Truth 输出提供给 Comprehend Entity Recognition Training 作业。您还可以为训练作业提供自己的注释文件 - https://docs.aws.amazon.com/comprehend/latest/dg/API_EntityRecognizerInputDataConfig.html。
Amazon Comprehend 的相关 API 将是 -
以下是如何使用 Amazon Comprehend 训练自定义实体识别器的详细示例 - https://docs.aws.amazon.com/comprehend/latest/dg/training-recognizers.html
此用例的注释文件示例。
文件 | 线 | 开始偏移 | 结束偏移 | 类型 |
---|---|---|---|---|
文档1 | 3 | 0 | 2 | 宽度 |
文档1 | 3 | 5 | 6 | 比率 |
文档1 | 3 | 9 | 10 | 直径 |
文档1 | 0 | 12 | 20 | 牌 |
文档1 | 0 | 6 | 6 | 数量 |
文档1 | 6 | 8 | 10 | 价格 |
文档1 | 1 | 20 | 22 | 健康)状况 |
文档1 | 0 | 42 | 48 | 季节 |
文档2 | 0 | 45 | 48 | 数量 |
文档2 | 1 | 78 | 79 | 价格 |
文件 doc1 应包含您要从中提取实体的文本。