问题标签 [persistent-object-store]

这是我第一次使用 indexDB，我创建了一个数据库，现在尝试向其中添加内容。但我收到以下错误。

未捕获的 NotFoundError：无法在“IDBDatabase”上执行“事务”：未找到指定的对象存储之一。

我已经在 jsfiddle 上上传了我的代码，只是因为它更容易向您展示它正在运行。请问有什么建议吗？

https://jsfiddle.net/8kj43kyn/

我已经在 Ubuntu 14.04 64x 上设置了 LeoFS 1.22。我已经在另一台机器（OSx）上安装了 s3cmd。我可以通过 localhost 访问存储桶，但不能从另一个节点访问。

调试输出：ls

=> 成功。

但是，如果我尝试使用 s3cmd -la 检索内容，它会失败。附件是 s3cmd 的调试输出。它将一些地址解析为亚马逊。但是，我将代理设置为 s3cmd --configure 的一部分。它显然有效，否则 s3cmd -ls 将无法获取存储桶列表。但我无法检索存储桶内容。

存储桶设置的 access_key 与我在客户端中使用的相同。

leofs get-buckets 显示：

我创建了存储桶： leofs-adm add-bucket my-bucket b45bd725c1fab76da992

查看 ~/.s3cfg 显示：[默认] access_key = b45bd725c1fab76da992

我的 /private/etc/hosts （OSx 将主机配置放在此处）文件如下所示：

s3cmd -la -d 的调试输出

抛出的错误由此开始：

org.mule.module.launcher.DeploymentInitException：SAXParseException：cvc-complex-type.2.4.a：发现以元素“objectstore：config”开头的无效内容。'{" http://www.springframework.org/schema/beans ":beans, etc}' 之一是预期的。

我在 .XML 中添加了命名空间和架构位置

有没有人有什么建议？

在此先感谢您的帮助。

谢谢大家，我已经解决了这个问题，如下编辑：将 www.mulesoft.org/schema/mule/objectstore 添加到架构位置以及http://www.mulesoft.org/schema/mule/objectstore/current/mule-对象存储.xsd

我有以下类定义：

上面的代码的作用如下：

• 该 URLhttp://localhost/datasegmentation被称为
• 视图呈现一个选择元素（modules )
• 更改后，我将select#modules其值作为 URL 的一部分发送，因此下一个 AJAX 调用变为：（http://localhost/datasegmentation?table=companies例如）
• 然后该indexAction()函数执行条件为何时$table不为空或不为空
• 在所有这些东西中，它尝试动态生成所有内容，正如您在代码中可能注意到的那样。
• 其中之一是$gridObj动态indexAction()网格（
• 在视图中呈现网格后，它会进行 AJAX 调用并再次indexAction()调用它，它会跳过表的条件，因为未设置参数并尝试第二个条件，但令人惊讶的是它失败了，因为代码需要工作的对象是走了。

遇到这种情况，我的问题是：

• 如何在 AJAX 调用之间保持对象活动？存储在会话变量中？还有其他解决方法吗？
• 如果答案是将它们存储在会话变量中，是否值得推荐？关于这个、这个和这个等的答案呢？
• 你会怎么处理这个？

问题

• 第二个 AJAX 调用是将数据添加到网格中，它依赖于动态参数。这是我需要解决的问题才能使其正常工作。

我不知道这是否有用，但这是在 Zend Framework 1 项目之上使用 PHP 5.5.x 进行测试和开发的。

我有一个用例，我需要备份数据库中目录的内容。

文件（在 linux 文件系统中）应该定期或以任何其他方式（例如 Copy on Write-COW）同步到数据库（或任何对象存储）。
是否有任何现有的框架可用于相同的？

一种解决方案是编写一个程序将内容同步到 db 并将其作为 cron 运行。我不确定这是否是上述问题的最佳解决方案。

我尝试复制 400+ GB 和一个数据大小为 35.6 GB 的 distcp 作业，但它们都花了将近 2 -3 小时才能完成。

我们在集群中确实有足够的资源。

但是当我检查了容器日志时，我发现复制小文件需要很多时间。有问题的文件是一个小文件。

2019-10-23 14:49:09,546 INFO [main] org.apache.hadoop.tools.mapred.CopyMapper：复制 hdfs://service-namemode-prod-ab/abc/xyz/ava/abc/hello/GRP_part -00001-.snappy.parquet 到 s3a://bucket-name/Data/abc/xyz/ava/abc/hello/GRP_part-00001-.snappy.parquet 2019-10-23 14:49:09,940 信息 [主要] org.apache.hadoop.tools.mapred.RetriableFileCopyCommand：创建临时文件：s3a://bucket-name/Data/.distcp.tmp.attempt_1571566366604_9887_m_000010_0

那么可以做些什么来使用 distcp 来改进这一点，以使复制更快呢？

注意：同一集群上的相同数据副本到对象存储（内部存储）不是 AWS S3，但类似于 S3，需要 4 分钟才能获得 98.6 GB。

命令 ：

hadoop distcp -Dmapreduce.task.timeout=0 -Dfs.s3a.fast.upload=true -Dfs.s3a.fast.buffer.size=157286400 -Dfs.s3a.multipart.size=314572800 -Dfs.s3a.multipart.threshold =1073741824 -Dmapreduce.map.memory.mb=8192 -Dmapreduce.map.java.opts=-Xmx7290m -Dfs.s3a.max.total.tasks=1 -Dfs.s3a.threads.max=10 -带宽 1024 /abc /xyz/ava/ s3a://bucket-name/Data/

这里的价值可以优化什么？

我的集群规格如下，

分配内存（累积） - 1.2T

可用内存 - 5.9T

分配的 VCores（累积） - 119T

可用的 VCore - 521T

配置容量 - 997T

使用的HDFS - 813T

使用非 HDFS - 2.7T

任何人都可以提出一个解决这个问题的解决方案，并建议一个最佳的 distcp conf 用于将800 GB - 1 TB文件通常从 HDFS 传输到对象存储。

我正在 Mule 4 中构建应用程序以缓存来自 http 请求组件的响应（1 小时）。我使用响应来验证 jwt。每当出现故障时，我需要清除缓存并重新调用 http 请求。使用的组件是：缓存范围

我当前的代码如下所示：-

我没有任何特定要求将其设为私有对象存储，但禁用它不允许我配置 maxEntries、entryTTL 和 Expiration Interval。

如果你能指导我的方法会更有帮助

1. 清除缓存（找不到任何与清除缓存相关的文档 mule 4）
2. 我如何将其保留为非私有对象存储并定义诸如 entryTtl、maxEntries 等参数。
3. 我们什么时候需要使用私有对象存储？

我已经尝试过配置缓存的交换示例（但没有提到清除缓存）。

我正在使用 Mule Runtime 4.2.2 和 On Prem Mule

我正在尝试使用 Spark 创建与 IBM COS（云对象存储）的连接。Spark 版本 = 2.4.4，Scala 版本 = 2.11.12。

我使用正确的凭据在本地运行它，但我观察到以下错误 - “方案没有文件系统：cos”

我正在共享代码片段以及错误日志。有人可以帮我解决这个问题。

提前致谢 ！

代码片段：

错误：

我在不同的 Windows VM 机器上创建了两个 mule 运行时。并通过运行时管理器对它们进行集群。

使用 ObjectStore 创建了一个 Mule 应用程序，将持久性选择为 true 并部署到集群。我更新了一台服务器上的对象存储值，当我尝试从其他服务器获取时，它没有返回更新的值。

我在这里缺少什么设置？

仅供参考：这是在 Mule 4.2.2 上

背景

根据Object Store V2 FAQ上的 MuleSoft 文档，我知道免费层 Object-store TPS Vs The Purchased SKU 速率限制。

如果购买了 OSV2 SKU，您将获得 - Rate limit of 100 TPS，否则将是10 TPS。

我没有购买任何OSV2 SKU。

问题陈述

我需要在我的项目中使用OSV2，但我不断达到 10 TPS 的阈值，最终获得了429 rate limit exceeded.

为了克服这个问题，我计划使用直到成功的范围，然后在其中放置对象存储。我希望等一会儿再重试。

文档说，“ Once reached the rate limit, and after subsequently getting a 429 response, you have to wait for a time”。

我的问题是，我需要等待多长时间才能进入下一个窗口？

我在下一次重试之前等待了 30 秒，但我仍然得到相同的响应。