问题标签 [filesplitting]

我正在研究 angularjs / nodejs (express) 堆栈。在这个项目中，我必须将大型二进制文件（~150mb）从客户端上传到服务器。由于公司代理的限制，我们必须借助 ng-file-upload 库对文件进行分块。上传的文件被分块成 1mb 的请求，如下所示：

但是，目前，我无法在服务器端处理那些收到的块。目前，我正在使用 Multer 中间件，当我收到一个新块时，前一个被新块覆盖。

我的中间件代码如下所示：

我读了很多关于节点流的文章，认为它可以帮助我解决我的问题，但没有真正理解如何处理。

有人可以知道如何在服务器端重建我的文件吗？

在此先感谢并原谅我的错误（如果有的话）。

我需要根据里面的标签拆分一个 XML 文件。这是输入文件的样子。spli 应该基于 Order 标签发生

输出应如下所示：

我尝试了以下 XSL - 但返回 null。任何帮助都会很棒：

我可能在“兄弟姐妹”方面做得不好。请审查和帮助！

我想将一个大文件从一个存储桶 ( )拆分gs://$SRC_BUCKET/$MY_HUGE_FILE并复制到另一个存储桶 ( gs://$DST_BUCKET/)，但无需在本地下载文件。我希望仅使用gsutil和 shell 命令来执行此操作。

我正在寻找与以下命令具有相同最终行为的东西：

但是，因为我在磁盘存储容量有限的 Compute Engine 虚拟机上执行这些操作，所以无法在本地获取大文件（无论如何，这似乎是在浪费网络带宽）。

此示例中的文件按行数 ( -l 1000000) 拆分，但如果拆分按字节数完成，我将接受答案。

我查看了有关使用 gsutil进行流式上传和下载的文档，以执行以下操作：

但我不知道如何将拆分文件直接上传到gs://$DST_BUCKET/，而不在本地创建它们（虽然暂时只创建 1 个分片进行传输是可以的）。

我有一个大文本文件。我将该文件分块为具有一定大小的小文件。以下是我得到的一个例子：

这是文本文件中的文本示例：

由于块的大小，我获得了各种形式的拆分文本。像这样 ：

190219 7:05:30 line3 success line3 this is the 1st success process

line3 this process need 3sec 200219 9:10:10 line2 success line2 this is the 1st success process

我需要使用 regex 进行拆分，然后是 datetime reg= re.compile(r"\b(\d{6})(?=\s\d{1,}:\d{2}:\d{2})\b")，如下所示：

190219 7:05:30 line3 success line3 this is the 1st success process line3 this process need 3sec

200219 9:10:10 line2 success line2 this is the 1st success process

我试过Python: regex match across file chunk boundary。但似乎我无法用我的问题来调整它。

谁能帮我将正则表达式放入 chunk_files 函数中？提前致谢

我有一个这样的 .txt 文件：

我将文件拆分为几个文件，如下所示：

但是，我希望拆分文件满足块文件中的最后一行必须在具有日期的行之前的条件。

我最近得到的输出：

期望的输出：

我应该在上面的脚本中添加什么来满足这些条件？

非常感谢

我有数千个 .txt 文件。这些文本文件包含一个字符串。（每个文件都有不同的字符串。）

我想编辑这些字符串，但我不想手动打开每个文件进行编辑。因此，我想将所有这些文件合并到一个 .txt 文件中，并且在完成编辑后，我想使用它们在合并之前拥有的相同文件名再次分离/拆分它们。

例如;

我有这些文本文件。

lorem.txt（嗨，这是一个示例行。）

ipsum.txt（嗨，这是另一行。）

merol123.txt（嗨，只是另一行。）

*

merge.txt >>> 已编辑并准备再次拆分。>> 结果需要是这样的；

*

lorem.txt（嗨，这是已编辑的行。）

ipsum.txt（另一个编辑的行。）

merol123.txt（另一个编辑的行。编号 4847887）

注意：括号内的句子代表txt文件中的字符串。

可能吗？我正在等待您的帮助，谢谢！

我有一个 200,000 个文件要使用 powershell 分成 8 个块

该文件具有第一个值为记录“KEY”的行

我想确保与键字段值（即行的第一个值）对应的行在拆分发生时不会跨文件中断。

这是我使用的简单拆分

样本数据
0190709,HP16,B,B,3,3,
0190709,HP17,B,B,3,3,
0190709,HP18,B,B,3,3,
0196597,HP11,,CNN,,,
0196597,HP119 ,,CNN,,,
0196597,HP13,,CNN,,,
01919769,HP11,,ANN,,,
01919769,HP119,,OPN,,,,
01919769,HP13,,CNN,,,
01919769,HP14,X,X, X,X,
01919769,HP15,A,A,X,X,
01919769,HP16,S,S,X,X,
01919769,HP17,S,S,5,5,
01919769,HP18,S,S,5, 5,
0797819,HP14,X,AX,X,X,
0797819,HP15,X,XA,X,X,
0797819,HP16,X,X,XA,XA,
0797819,HP17,A,A,X,X,
0797819,HP18,A,A,AX,X,

预期产出

假设我们想要 2 个大小相同的块。我想要如下 2 个文件，其中的密钥未在文件之间拆分。如果文件变大（更多行）以防止密钥分页，则可以。

文件 1

0190709,HP16,B,B,3,3,
0190709,HP17,B,B,3,3,
0190709,HP18,B,B,3,3,
0196597,HP11,,CaweNN,,,
0196597,HP119,, CNN,,,
0196597,HP13,,CNwN,,,
01919769,HP11,,AawNN,,,
01919769,HP119,,OePN,,,
01919769,HP13,,CNN,,,
01919769,HP14,XY,X,X, X,
01919769,HP15,A,A,XC,XA,
01919769,HP16,S,S,X,X,
01919769,HP17,S,S,5A,5,
01919769,HP18,S,S,5,5,

文件 2

0797819,HP14,X,AX,X,X,
0797819,HP15,X,XA,X,X,
0797819,HP16,X,X,XA,XA,
0797819,HP17,A,A,X,X,
0797819, HP18,A,A,AX,X,

在多入口 webpack 设置中自动生成（甚至手动找出）用于入口点的脚本标签的最佳方法是什么？

我正在设置一个 MVC 应用程序以将 webpack 用于大量的 javascript 依赖库。由于 MVC 应用程序为每条路线加载了一个新页面，因此我有几十个入口点，每个入口点都有自己的入口脚本。

我正在使用代码拆分和哈希命名（用于缓存清除）。

由于 webpack 正在为每个入口点计算依赖关系树，它似乎在将代码分解成包以供重用方面做得很好。这是我的配置（减去顶部的代码和插件）：

对于这个示例，我将条目限制为 2，但我还有更多。

此设置的输出dist为：

这种方法在这里令人信服地提出并且看起来合乎逻辑，所以我使用了它。

一切似乎都很顺利，直到我必须为这个怪物创建脚本标签。

例如，在/users路线上，我如何知道要包含哪些文件？似乎 webpack 已经完成了所有这些依赖映射，让我自己再做一遍！

我在 Webpack 文档站点中找不到任何提及如何最好地做到这一点的内容，除了对html-webpack-plugin的讨论，它似乎只专注于创建一个无用的 HTML 文件，该文件只是将所有脚本标签塞进一个单个文件。

我必须在这里遗漏一些明显的东西。

我正在尝试使用 tar 将单个文件拆分为足够小的部分，以适合 Solaris 5.8 上的 1.44MB 软盘。

根据下面的参考资料，我应该能够通过使用 k 选项来指定段的大小和 f 选项来指定输出文件来实现这一点。

我尝试了各种格式的命令：

充其量，这会生成一个具有选项之一名称的文件，其大小与原始文件相同。

提供的 tar 实用程序不同于大多数现代 Linux 系统上可用的 GNU tar 实用程序。gtar不可用。我无法在此系统上安装新软件包。

或者，您知道 Solaris 5.8 基本安装中存在的任何其他实用程序吗？

参考：

• https://docs.oracle.com/cd/E19109-01/tsolaris8/817-0879/6mgl9vnhn/index.html
• http://ibgwww.colorado.edu/~lessem/psyc5112/usail/man/solaris/tar.1.html

我在 SFTP 中有一个大的 ND-JSON 文件（约 20K 行）。有没有办法从中生成子文件（每个约 500 行）并放在 SFTP 的另一个文件夹中？

Mule 4 是否具有拆分大文件并在 SFTP 中写入的功能？或者是否需要 Java 组件？

请指教。