问题标签 [high-volume]

Backgorund：我是 NetSuite 领域的新手。我们正在尝试将 NetSuite 与我们的 ERP 集成，我正在做一些初步研究，以找出前进的最佳选择。第一项任务的主要目标是将大量数据从 NetSuite 下载到我们的终端并找到替代方法。

我对 SuiteScript/SuiteTalk/Analytics 做了一些研究，发现了一些事实，我的问题如下：

• 可以创建自定义搜索并保存 SuiteScript/SuiteTalk。
• 这个保存的搜索可以通过 SuiteScript 和 SuiteTalks 调用
• 好吧，有一个困惑，Suaved Search 是 SuiteAnalytics 可以访问的视图吗？（虽然不是我的主要问题！！）。
• 使用 SuiteScript，可以将保存的搜索执行的返回保存为平面文件，并且可以将该文件移动到文件柜。使用 RESTlet 公开 REST API，可以下载此文件。[但是还没有实现这个！！]
• [主要问题]是否可以这样做，在 NETSUITE 端使用 SUITTALK 创建一个平面文件？以及之后如何保存/移动文件到文件柜？
• 我还没有对文件柜主题以及如何对此处创建的文件进行索引进行更多研究？
• 还是从 SOAP 调用加载整个结果集更好？

非常感谢您的意见！

谢谢！

我正在尝试对 4GB 的数据文件执行替换操作。但由于内存异常，我什至无法读取此文件。以下命令给出内存错误。

是否有任何替代命令或技巧来处理大文件。

我想在文件的每一行上运行以下替换模式。基本上我想删除所有不需要的特殊字符。

系统详情

我正在寻找构建一个 Java11 Spring 引导应用程序。该应用程序将处理非常大的吞吐量（将有高峰和低流量）

应用程序的快乐路径如下所示。

从概念上讲，它相当直截了当。步骤大致是这样的

• 接受传入的 POST 请求。保存端点处的 DTO 对象。
• 然后应用程序将验证 DTO 并在它无效时返回相关的错误消息。
• 转换为数据库实体对象
• 将实体保存到 Postgres 数据库。

我们对这个应用程序的潜在问题是它会为每个请求进行数据库保存，它会保存很多单独的保存。数据库连接池可以快速用完更多的连接。

我的替代方法看起来像这样

一旦传入的 DTO 通过验证并在内存队列中排队，我希望返回状态 200。
这里没有外部阻塞，如果数据库出现故障 - 这意味着内部队列将提供一些冗余。

所以一些问题/想法

• 这看起来像一个好方法吗，有什么我应该注意的陷阱吗？
• 也许您以更好/不同的方式解决了类似的问题？
• 无论如何，反应式流会有所帮助吗？
• 我应该为此使用哪些内部 Java 库？我的想法是使用 Java 的 LinkedListQueue<SomeDto> myQ = new LinkedList<SomeDto>(); )进行内部排队？

在这里需要一些帮助。

我有一个 ETL 过程，它将数据加载到目标表 A 中。我们创建了另一个表 B，它在结构上与目标表相同，报告团队访问该表以生成报告。这样做是为了最大限度地减少报告生成的停机时间。这样，报告始终访问最新数据。

目标表 B 是一个 List 分区表，按 Client ID 分区。ETL 团队在表 A 中为各个分区中的每个客户端加载数据。

我尝试使用 Exchange 分区：交换分区机制来交换 A 和分区表 B 的段。但不能这样做，因为两个表都是 List 分区的，Oracle 不喜欢这样。我创建了分区以避免为每个客户端创建多个表（TableA_ClientId）。

我的另一个选择：每当将数据加载到目标表 A 中时，将表 B 重命名为表 Temp，将表 B 重命名为表 A，将表 A 重命名为表 Temp。

你能建议一个更好的方法吗？