问题标签 [apache-atlas]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
60 浏览

apache - 与 Atlas HiveMetastoreBridge 代码相关的几个问题

我正在浏览 Apache Atlas 中的 HiveMetastoreBridge 代码并且遇到了一些疑问。如果这些问题非常幼稚,请原谅我。

HiveMetastoreBridge 代码

  1. 为什么我们要在 findEntity 方法中清除关系?

  2. 添加引用实体到底在后台做什么?为了在 toTableEntity 方法中明确,我们将相关实体的 ObjectId 添加为属性,并调用 AtlasEntity 的 addReferredEntity 方法。

  3. 在 registerInstance 方法中,为什么我们要在 else if 语句中创建从第一个实体到其他引用实体的引用。何时会创建多个实体,为什么第一个实体会引用其他实体?

  4. 在 importTable 方法中,为什么在创建 AtlasEntity processInst 之后我们再次创建 AtlasEntitiesWithExtInfo createTableProcess 并向其添加流程实体和路径实体?为什么不是表实体呢?

0 投票
1 回答
718 浏览

hadoop - HDP Atlas 中 Hive 托管表的沿袭不可见

我正在使用带有 HDP 的 Atlas 来为我的配置单元表创建沿袭流,但沿袭仅对配置单元外部表可见。我已经创建了配置单元托管表并执行连接操作以创建一个新表并使用import-hive.sh放置在 hook-bin 文件夹下导入配置单元元存储。但是托管表的沿袭是不可见的。

甚至未列出托管表的 HDFS 目录。但是,如果我检查外部表 HDFS 目录是否可用。

有人可以帮我吗?提前致谢。

0 投票
1 回答
1154 浏览

rest - 具有 v2 API 的 apache atlas 更新类型

有人使用 curl 和 V2 REST API 成功更新了 Apache Atlas 中的类型吗?

例如:我会尝试向 rdbms_table 类型添加字段,例如:


我围绕这个命令尝试了几种解决方案:

一个 json 文件看起来像:

谢谢!

0 投票
2 回答
316 浏览

apache - 如何横向扩展 apache 地图集

atlas 文档中没有提供有关如何扩展它的信息。

Apache atlas 连接到后端的 cassandra 或 hbase 可以横向扩展,但我不知道 apache atlas 引擎(其余 Web 服务和请求处理器)如何横向扩展。

我可以在不同的机器上安装它的多个实例,并在它前面有负载均衡器来扇出请求。但是这个模型会有帮助吗?它是否进行任何类型的锁定并进行数据库事务,以使该模型不起作用。

有人知道 apache atlas 是如何扩展的吗?

谢谢。

0 投票
1 回答
1282 浏览

airflow - 如何将气流谱系导入图集?

我喜欢这样: https ://airflow.apache.org/lineage.html#

在我的airflow.cfg 中:

我在 ariflow 中运行示例 DAG,然后遇到如下错误:

{ init .py:44} 调试 - 由于模块“airflow.lineage.backend”未定义“atlas”属性/类,无法导入气流.lineage.backend.atlas

有人可以帮我吗?

0 投票
0 回答
498 浏览

apache-atlas - 在 MS Azure HDInsight spark-cluster 上安装 apache-atlas

我已经在 MS Azure HDInsight Spark 集群上安装了 Apache-atlas(嵌入式/非产品)版本,它可以正常工作。但是,我无法在生产就绪/多节点集群上启动 Apache-Atlas。有人这样做过吗?在集群上手动安装所有必备服务(hbase、kafka、solr)后,在 Spark 集群上安装 Apache-Atlas 是个好主意吗?

0 投票
1 回答
583 浏览

apache-kafka - 使用 Apache Atlas 与 Kafka 相关的查询

我正在研究一个用例,我必须将外部 Kafka 主题元数据导入 apache 地图集。我有几个问题需要澄清,如下所示:

  1. 是否可以从不是用于 atlas 通知目的的外部 Kafka 导入主题元数据?如果可能,怎么做?
  2. 如何使 Kafka 元数据自动更新,类似于 Hive 或 Hbase,而不是每次都手动运行导入脚本?
  3. 导入的主题没有沿袭数据。在什么情况下会为主题捕获沿袭数据?
  4. 既然只有一个Kafka相关实体“kafka_topic”,那会不会根本就没有关系数据呢?
  5. 在什么情况下会针对主题进行审核?
0 投票
1 回答
413 浏览

apache - 如何在 MacOS Mojave 上安装 Apache Atlas 1.1.0?

我正在尝试在我的系统上设置 Apache Atlas。我遇到以下错误

我按照建议阅读了这篇文章(http://cwiki.apache.org/confluence/display/MAVEN/PluginConfigurationException),但我无法理解它试图传达的内容。

我需要通过 Cassandra 设置 Apache Atlas 作为后端存储。我是数据治理和开源解决方案的新手,任何帮助将不胜感激!

0 投票
0 回答
239 浏览

wso2 - 连接到 apache atlas 后端时出错

我尝试使用 WSO2 API Manager 管理 Apache Atlas API,例如在尝试这样的获取请求时:

邮递员给

101503 连接到后端时出错

我刚刚发现生产端点不允许 Http 请求。
我该怎么做才能解决这个问题?

0 投票
1 回答
638 浏览

apache-atlas - 无法将示例数据导入 Apache 地图集

我在以下 URL https://github.com/michalmiklas/atlas-docker的帮助下使用 docker 安装了 Apache atlas

现在,在使用以下命令将示例数据导入 apache atlas 时,

它抛出以下错误

以下是总日志供您参考。

JFI,bird是管理员用户组用户,我也尝试过使用DATA_STEWARDDATA_SCIENTIST用户组,但结果是一样的。