问题标签 [apache-atlas]

我有 Apache Atlas 中的分类和子分类列表。想要删除它们并创建一个新列表。所有其他分类都将被删除，但其中一个名为“PII”的分类在我们选择删除分类时会出现以下错误。

错误：给定类型 PII 有引用

当我们使用以下 URL 通过 Rest API 进行搜索时： http://ip.of.atlas:21000/api/atlas/v2/search/basic?classification=PII

以下结果来了：

问题： 1. 是否有 API 可以帮助删除所有分类，无论它们是否附加到实体？2. 使用分类名称或 GUID 强行删除单个分类？

我正在使用现有的 Zookeeper 集合设置 Apache Atlas，但使用本地 HBase / Solr。然而，HBase 仍然尝试启动自己的 ZK 集成，而不是使用现有的集成。

我正在尝试让Apache Atlas与单独的 ZooKeeper 集合一起运行。但是，HBase 不会识别现有的 ZK ensemble，并且仍然尝试启动它自己的 ensemble。

我已经设置了本地环境设置：

和

并在hbase-site.xml中配置 HBase 如下：

通过检查 zkCli.sh 可以看到 ZK 已启动并运行，并且不存在 HBase 节点：

但是，我仍然收到以下错误：

HDFS 也已启动并运行：

有什么想法吗？

干杯!

我正在测试 Apache Atlas 数据治理工具来显示 NoSQL 数据库的数据沿袭。

我知道 HBase 是目前唯一支持的 NoSQL 数据库（输入元数据源）。

我在具有功能性 Apache HBase 和 Apache Solr 实例的环境中设置了 Apache Atlas 2.0。（来自https://atlas.apache.org/InstallationSteps.html）

我创建了几个测试表，并能够使用脚本hbase shell将其导入 Atlas 。import-hbase.sh我还配置了 HBase Hook 以不断地将我的数据提供给 Atlas。

由于一切正常（数据已成功传输到 Atlas），我希望在对测试数据进行少量操作后看到一些数据沿袭。但是 Apache Atlas 一直在 UI 中显示“未找到沿袭数据”消息。

我做了一些研究，发现互联网上唯一的血统示例是用 Hive 制作的。

所以我的问题是，Apache Atlas 是否支持显示 HBase 数据沿袭？如果是这样，有没有人成功做到这一点？有什么配置可以设置吗？

谢谢你的帮助

有没有办法将 HDFS 中的任意数据添加到 apache atlas？安装了 HDP 3.1 进行评估后，这似乎是不可能的（例如，只有数据被放入、放置在配置单元表中，或其他一些狭窄的地图集可见操作集）。我们有引入各种形式的平面文件数据（例如 parquet、tsv 等）的 ETL 流程，而对于其中的任何一个，我都没有弄清楚如何出现在 atlas 上。有没有办法做到这一点？基本上，希望这些数据可以被 Ranger 标记并可以通过 Atlas 发现。关于如何做到这一点的任何想法？

使用 REST API 在 apache atlas 中添加实体之间的关系的正确方法是什么？查看 REST API 的文档，我发现很难说出某些字段的含义，哪些是必需的（以及如果不输入会发生什么），或者应该是什么默认值（因为示例使用什么似乎是占位符值（例如，什么是provenanceType或propagateTags字段似乎期望某种枚举值，但从不指定有效选项））。

有人可以提供任何例子来说明这在实际/有效值中会是什么样子吗？例如。如果已经将 2 个实体 E1 和 E2 添加到 Atlas 并希望在两者之间建立关系，则想做类似...

试

不起作用，并且不确定如何处理错误消息。即使是简单的例子

引发类似的无信息错误

检查 atlas 主机服务器上的登录/var/logs/atlas/application.log，我可以看到另一个无信息的错误消息......

请注意，为了获得关系链接所需的 guid，即使 Hortonworks 似乎也只能提供一个糟糕的解决方案。

这里可能出了什么问题？有没有比那些链接到的更好的文档来理解 API？

将 Atlas v1.1 与 HDP 3.1 一起使用，似乎无法访问 api 端点以发出与关系特征相关的请求。从文档（此处（用于 API 访问）和此处（用于特定端点）），我想做一些类似...

测试端点，但它会产生上面显示的错误。然而，这不是types端点的情况，例如。

这似乎工作正常。不知道这里发生了什么。有更多 Atlas（或 REST）经验的人有任何调试建议或修复吗？

无法通过 spark-atlas-connector 使用 apache atlas 设置我的 spark 应用程序。

我克隆了https://github.com/hortonworks-spark/spark-atlas-connector项目并执行了mvn package。然后我把所有的罐子放在我的项目中并像这样设置配置：

Atlas是通过我拉的 docker 容器启动的。 带有 Zookeper 的 Kafka是通过我拉的 docker 容器盯着看的。

这项工作在没有 spark-atlas-connector 的情况下工作，但是当我想添加一个连接器时，它会引发异常。

我正在尝试开始我为测试与 atlas 的集成火花所做的工作。

这是从一个主题读取并写入另一个主题的简单工作。

一切似乎都可以理解。所以我尝试在我的IDE（Intellij）中运行这项工作，几乎每次我遇到这个异常

我正在使用带有 scala 2.11 的 spark 2.4.0

我对结果有一些误解。老实说无法理解在我的地图集（本地机器）中这个工作之后会出现什么？因为有时作业运行成功，但 Atlas 中没有出现任何内容。

Having problem where it appears that policy tags set in Ranger appear to not take effect in Atlas.

Roughly following the tutorial here (https://hortonworks.com/tutorial/tag-based-policies-with-apache-ranger-and-apache-atlas/section/2/#create-ranger-tag-based-policy), trying to create a tag policy for classifications created in Atlas.

Created a classification in Atlas for an hdfs_path entity Then created a ranger tag for that Atlas PHI classification that only allows certain atlas actions for a user not the atlas admin user, in Service Manager > Tag Based Policies In Service Manager > atlas Policies, I make an Atlas service that uses that tag and disable the Ranger Atlas service policy related to allowing public access to Atlas

Yet logging into Atlas as admin (not the user specified in the Ranger tag), I can still search for and find atlas entities that have the PHI tag assigned to them as well as remove and (re)add the tag, evidenced in the Ranger audit logs... I would think this should not be possible. I would expect the tags column to have the custom tag in it and for access by "admin" to have been denied.

As an HDFS example...

Despite the fact that the Ranger tag only specifies user hdfs, I can still access the HDFS location as user "admin". I notice several things about the Ranger audit shown below

1. The "Name/Type" includes the Atlas classifications associated with the resource
2. The tags column is empty

I interpret this to mean that 1) Ranger recognizes that the location is associated with some Atlas tags and 2) it does not see any tags for or against allowing the user "admin" to access that resource.

Can anyone with more Atlas+Ranger experience let me know what I am getting wrong here? Any debugging suggestions?

i want restore a soft deleted entity in apache atlas, cause i want to delete the classification tagged on that entity.

i'm using atlas for data governance in HDP cluster. And i deleted an entity without deleting the classification tagged on that. When i want to delete the classification tagged on that entity, it turns out i can't delete that classification. Cause the tagged entity was soft deleted, so atlas thought the classification i want to delete still have references. So i want to restore the soft deleted entity, i found there are no API support restore in Atlas 7.0, so i try to change the data in related Solr index and Hbase tables. I changed the data in Solr index "vertex_index" from "DELETED" TO "ACTIVE', and the data in Hbase table "ATLAS_ENTITY_AUDIT_EVENTS" show the entity status is "ACTIVE". But when i search it in Atlas UI, it still shows that the entity is 'DELETED'. So, i'm wondering do i miss some thing, can anyone know where exactly atlas store its entity data, and if i can't restore that data, can i delete it in the database or some where else?