问题标签 [apache-atlas]

按照spark-atlas-connector的说明进行操作后。运行简单代码以在 spark 中创建表时出现以下错误

Spark2 2.3.1 阿特拉斯 1.0.0

批处理cmd是：

com.hortonworks.spark.atlas.sql.SparkCatalogEventProcessor.process(SparkCatalogEventProcessor.scala:36) 处的线程“SparkCatalogEventProcessor-thread”java.lang.NoClassDefFoundError: org/apache/spark/sql/catalyst/catalog/ExternalCatalogWithListener 中的异常.hortonworks.spark.atlas.sql.SparkCatalogEventProcessor.process(SparkCatalogEventProcessor.scala:28) at com.hortonworks.spark.atlas.AbstractEventProcessor$$anonfun$eventProcess$1.apply(AbstractEventProcessor.scala:72) at com.hortonworks.spark .atlas.AbstractEventProcessor$$anonfun$eventProcess$1.apply(AbstractEventProcessor.scala:71) at scala.Option.foreach(Option.scala:257) at com.hortonworks.spark.atlas.AbstractEventProcessor.eventProcess(AbstractEventProcessor.scala:71 ) 在 com.hortonworks.spark.atlas.AbstractEventProcessor$$anon$1.run(AbstractEventProcessor.scala:38) 原因：java.lang.ClassNotFoundException: org.apache.spark.sql.catalyst.catalog.ExternalCatalogWithListener at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang.ClassLoader.loadClass(ClassLoader. java:424) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:357)

提前致谢。

https://www.cloudera.com/tutorials/sandbox-deployment-and-install-guide/3.html

我遵循上述参考并在 linux docker 中安装 HDP。大多数服务都在运行。能够分别以 admin 和 raj_ops 身份登录 Ambari、Ranger，但无法登录 Atlas。奇怪的是，下面在 Ranger 中添加策略会导致 401 错误。 https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.0.1/configuring-atlas/content/configuring_atlas_authorization.html

授权策略设置为 Ranger。

用于安装以上 HDP 映像的存档脚本。 https://archive.cloudera.com/hwx-sandbox/hdp/hdp-3.0.1/HDP_3.0.1_docker-deploy-scripts_18120587fc7fb.zip

是否有任何文档可以帮助我找到访问 Atlas 的凭据？或修复游侠问题？

让我知道是否有更多信息有助于理解问题。谢谢！

我正在寻找文档或任何其他资源来使用独立的 Solr 和 Cassandra 实例为生产设置 Apache Atlas。目标是为 Apache Atlas 提供持久存储。

我正在尝试以 cassandra 作为图形存储后端并以 ElasticSearch 作为索引后端来运行 Apache atlas。从浏览器访问 localhost:21000 时出现 503 错误。我在应用程序日志或启动日志中看不到任何错误。相同的设置适用于 hbase 和 solr。

由于我在日志中没有看到任何错误，我该如何进一步解决这个问题？

我计划使用 Apache Cassandra 作为存储后端和 Elasticsearch 作为索引后端来部署 Apache Atlas。我想知道如何用这个保存血统信息？它提供了获取 API 来获取血统信息，但似乎无法保存它。

我有以下 apache atlas 审计日志：

现在仪式我有以下解析配置：

现在我们想进一步将资源字段分解为多个字段，如下所示：

这里的问题是资源字段总是具有以上组合是不必要的。它可以是AssetType/Tags/Integration或AssetType/Tags/Integration/Database或AssetType/Tags/Integration/Database/Schema或AssetType/Tags/Integration/Database/Schema/Table或AssetType/Tags/Integration/Database/Schema/Table /专栏。

如果缺少任何字段，那么我们应该发送 null。

对此的任何建议或指导将不胜感激。

希望你一切顺利 ！

我们已经使用 apache NiFi 开发了 ETL 管道。只有当客户端从门户上传源数据文件时才会触发。之后，源文件中存在的数据经过各个层，被转换并存储回仓库（即配置单元）。

目标：识别敏感信息并将其屏蔽，以便最终用户看不到实际数据。

识别敏感数据和屏蔽策略：我们将利用开源工具来实现这一目标，如下所示。

1. 数据管家工作室：这个工具让我能够识别敏感信息并正确标记它。

2. Apache Atlas：一旦数据管理员用户确认了标签，那么该标签将被推送到 Apache atlas。

3. Apache ranger：最后，我们可以使用 Apache ranger 定义基于标签的屏蔽策略，这将允许或拒绝特定用户。 

有关上述解决方案的更多详细信息，请访问链接。

https://www.youtube.com/watch?v=RzEfLwJaLsc

问题：为了将数据提供给 DSS 工具，它应该首先加载到配置单元表中。那也行。但是我们不能在中间停止现有的ETL流程，然后开始敏感信息的识别过程。上述解决方案必须需要一些手动过程，我想摆脱它并使其自动化。也就是说，它应该插入 NiFi 管道中的某个地方。但到目前为止，据我了解，DSS 不允许我们做类似的事情那。

手动流程：

1. 创建资产集合

2. 接受/拒绝 DSS 中的建议标签。

如果我们不能在管道中插入识别过程，那么客户敏感数据将暴露给每个人，并且对团队中的每个人都可见。我想要一些东西，我们可以在敏感数据实际加载到 HDFS 或 hive 表之前对其进行去标识化。

如果有人已经在这个特定领域工作过，请写下您对同一问题的回复。

我已经安装Apache-Atlas了embedded-hbase-solron REHL。我可以访问http://localhost:21000但是当我运行/apache-atlas-sources-2.0.0/distro/target/apache-atlas-2.0.0/bin/quick_start.py时，它会抛出以下错误。

下面是 quick_start.log

任何帮助表示赞赏

我在 spark 提交脚本 ( https://github.com/hortonworks-spark/spark-atlas-connector ) 中安装 Spark Atlas 连接器由于安全限制，我无法将 atlas-application.properties 放入火花/conf 存储库。

我在 spark-submit 中使用了两个选项：

当我启动 spark-submit 时，我遇到了这个问题：

我尝试在 ambari 界面中添加 apache infra，但添加服务链接没有响应。