问题标签 [on-premises-instances]

BeyondTrust 正在本地使用。我将如何配置网络，以便云也是 BeyondTrust 的目标，即将流量从 Beyondtrust onprem 路由到 Azure 云中的目标。

我有一个小型的本地 Spark 3.2.0 集群，其中一台机器是主机，另外两台机器是从机。集群部署在“裸机”上，当我从主机运行 pyspark 时，一切正常。

当我尝试从另一台机器运行任何东西时，就会出现问题。这是我的代码：

其中“srvsparkm-dev”是 spark 主 IP 的别名。

检查“extair_comex”作业的日志，我看到了：

• Spark 执行器命令：

  Spark 执行器命令：“/usr/lib/jvm/java-8-openjdk-amd64/bin/java”“-cp”“/home/spark/spark/conf/:/home/spark/spark/jars/*” “-Xmx1024M” “-Dspark.driver.port=38571” “org.apache.spark.executor.CoarseGrainedExecutorBackend” “--driver-url” “spark://CoarseGrainedScheduler@srvairflowcelery-dev:38571” “--executor- id" "157" "--hostname" "srvsparksl1-dev" "--cores" "2" "--app-id" "app-20220204183041-0031" "--worker-url" "spark://Worker @srvsparksl1-dev:37383"

• 错误：

其中“srvairflowcelery-dev”是运行 pyspark 脚本的机器。

其中 xx.xxx.xxx.xx 是 srvairflowcelery-dev 的 IP。

在我看来，主人正在分配给客户端来运行任务，这就是它失败的原因。我能做些什么呢？我不能从另一台机器提交作业吗？

要求：我想将驻留在本地 SQL Server 上的特定表/视图中的数据复制到 Azure SQL DB。

基础设施：如下图所示。本质上，Azure 网络通过 Express Route 与企业网络直接相连。因此它是一个纯粹的私有网络连接；与企业网络本身一样好。

问题/问题：我知道有多种方法可以完成此操作，而且我不仅限于使用 ADF 复制数据工具。但是，对于所有这些，我看到一些需要注意的事项或额外的步骤，如下所示：

ADF 复制数据工具：需要 SH-IR 并且需要在托管 SQL 服务器的本地计算机上安装一个小型 MSI 包以进行注册。

逻辑应用：需要虚拟网关 (OR) ASE

应用服务：如果操作包装在 C# 应用程序中，并且我选择部署到 Azure Web 应用程序。然后为了连接到本地 SQL Server，我们需要设置混合连接管理器，并且在 #1 中，我们需要在本地机器上安装一些东西。

就我而言，这些额外的步骤都无法完成。本质上，本地 SQL Server 属于不同的 BU，因此我在那里没有任何权限；除非他们已授予表/视图。因此，这些额外的糟糕步骤都无法完成。

此外，如上所述；由于它是通过快速路由作为直接连接连接的，如上图所示，本地和 Azure SQL 本质上都在同一个公司网络内。因此，我应该能够直接访问它们，而无需配置上述任何额外步骤。

请确认这些并提供建议。

谢谢你。

我想将数据从本地（数据湖）存储加载到 azure Data Lake storage gen2。

为此，我创建了本地 Windows 服务器并在其上安装了自托管的集成运行时。并从 Azure 数据工厂连接到本地数据湖（HIVE）。

在 Azure 数据工厂中，我创建了一个带有复制活动的管道，并提供了源作为我的本地数据湖（Hive）。并提供了 SQL 查询来提取数据。同样，我需要为多个表添加多个复制活动。

我只在我的管道中尝试过单副本活动。

我的问题来了：我的管道需要花费大量时间将数据加载到数据湖中。

我的集成运行时所在的 Windows 服务器的带宽为 10Gbps。但它的加载速度仍然很慢。

我刚刚尝试提取 20,000 条记录。加载数据大约需要 20 分钟。我获得的吞吐量约为 15kbps，非常低。

我怎样才能提高我的活动的性能，使其更快。

我希望连接到本地 oracle 数据库并将数据提取到 EC2 实例并执行转换并加载到 RDS 实例中。将本地或外部应用程序连接到 AWS 的必要步骤是什么。

任何建议和帮助都会有所帮助。