问题标签 [apache-atlas]

对于未来的 poc，我需要部署一个 apache atlas 2.1 堆栈，但我在他们的文档中找不到 cassandra 后端连接的参数。如果有人获得链接或已经使用密码身份验证实现。

如果有帮助，这是我当前的配置文件。

######### Gremlin 搜索配置#########

#设置为 false 以禁用 gremlin 搜索。atlas.search.gremlin.enable=false

确切的问题是：

谢谢你的帮助

hive_process我在 Atlas 中有几个类型的实体。这种类型的每个实体都应该至少有 1 个输出（和 1 个输入，但我们暂时忘记这一点）。

现在我正在尝试获取属性为空的所有类型hive_process的实体，outputs以便以后可以将状态更改为“ DELETED”。

像这样的查询不会产生任何结果：

并且输出属性在创建时不可用Attribute Filter

关于如何创建这样的过滤器的任何想法？谢谢！

我是 ATLAS 的新手，我有一个包含类别的词汇表。我想导入词汇表，但模板中没有 CategoryName。

我一直在尝试使用新的样条线 jsr 运行以下代码：za.co.absa.spline.agent.spark:spark-3.0-spline-agent-bundle_2.12:0.6.0 但遇到了特定于 UserExtraMetadataProvider 的错误在较新的版本中已弃用。我还尝试使用第一个代码块下方显示的代码将 UserExtraMetadataProvider 替换为 UserExtraAppendingPostProcessingFilter，但仍然出现错误。您能否验证并分享如何使用新的样条线束正确编写后处理过滤器代码。

这是仍然有错误的更新代码

这是错误：

我正在使用Spark-Atlas-Connector记录 spark-thrift 产生的数据沿袭。

但是spark-process只有逻辑计划，火花计划，没有SQL语句。逻辑计划很难理解数据沿袭，所以我想在 spark-process 中添加 SQL 语句。

请帮我从 SparkListenerEvent 或 QueryExecution 或其他解决方案中获取 SQL 语句。

我正在尝试使用 Apache Atlas 的 REST api 删除关系。类似的cURL命令如下。

但是，这不会作为关系从 中删除Atlas UI。我仍然看到实体的这种关系。但是如果我通过 guid 搜索实体，我发现关系处于DELETED状态，这意味着我的cURL命令正在运行。

请指导解决这个问题。

最后，我意识到在启用硬删除的同时工作更容易、更好。您可以从配置中启用它。

我在 Hive 中创建了自己的数据库，并希望在 Apache Atlas 中查看这些数据。
然后我执行了脚本“import-hive.sh”，它返回成功消息“Hive 元数据导入成功！！！” . 不幸的是，在 Atlas 中，除了空的默认值 (hive_db) 之外，没有将 Hive 数据库导入 Atlas。

您有什么建议吗？

在 AWS 上设置 EMR -遵循 AWS 的本指南。

几点注意事项：

• 我将 S3 用于 HBase 存储，而不是集群上的 HDFS。
• 我将 AWS Glue 目录用于 Hive 存储。
• 我正在使用 EMR 版本 5.33.0
• 安装 Hadoop、Hive、Hue、HBase 和 ZooKeeper

所以首先要做的事情是：

创建我的 EMR 集群很好，一切都在 terraform 中，所以我经常销毁与我的 HBase 存储关联的存储桶，以确保它是一个“干净”的开始。

AWS 提供的 Atlas-1.0.0 安装脚本存在问题。它不适用于 Glue，解决方法是编辑/apache/atlas/bin/import-hive.sh并在第 55 行添加这些行：

这会导入各种 AWS 库以使脚本正常工作。接下来我运行import-hive.sh并在 Atlas 中获取我的元数据。

一切正常，我可以跳转到http://localhost:16010来配置 HBase 并在表中查看apache_atlas_janus。

长话短说，在此之后，如果我重新创建 EMR 集群，我会删除安装 Apache Atlas 的步骤。通过http://localhost:16010我仍然可以看到这些表，这意味着这些表正在通过 S3 存储进行持久化。

然而问题是，如果我在 EMR 集群上安装 Atlas（像往常一样），我无法查看 Atlas 上的任何元数据，我会遇到很多错误等。

任何人都可以帮我解决如何为 Atlas 配置 EMR 吗？为了确保 Atlas 在重新启动时再次工作，我缺少什么？权限是否隐藏在配置中的某处？

我试图命名两种不同类型之间的关系链接（通过使用attributeDefs）。该关系现已在 Atlas 中注册，定义获取结果如下：

}

现在，我正在尝试在两种类型之间创建关系，同时为任何一种类型定义实体，例如

}

通过，在执行此操作时，我没有看到任何错误并且实体已创建，但LinkInformation通过简单地搜索GUID实体为空。

我无法在任何地方找到一个好的文档。任何人都可以帮忙吗？

运行 import-hive.sh 时出现以下错误，您能帮我解决这个问题吗？