问题标签 [file-import]

I saw a few similar posts to this here on StackOverflow, but I still don't have a clear understanding of how to index a large file with JSON documents into ElasticSearch; I'm getting errors like the following:

I have a JSON file that is about 2Gb in size, which is the file I actually want to import. But first, in order to understand how the Bulk API works, I created a small file with just a single line of actual data:

testfile.json

I got this from another post on SO. I understand that the first line is a header, and I also understand that the "index" in the first line is the command which is going to be sent to ES; however, this still does not work. Can someone please give me a working example and clear explanation of how to import a JSON file into ES?

Thank you!

我是编程新手，在获取带有数字列表的文件并将其转换为整数数组时遇到了一些麻烦，然后我可以在格式化的列（5 行和 10 列）中打印。我想我使用 an 进行了正确的导入，ArrayList但是当我尝试打印列时遇到了问题。我想我需要使用 for 循环来打印列，但我不是 100% 确定。任何数量的帮助将不胜感激！这是我的代码：

这是文件包含的内容（一行中的每个数字）：

我正在开发一种将文本文件导入 BLOB 列 (OracleDB) 的工具。这是通过带有文件浏览按钮和连接的导入程序的 Apex 页面处理的。

有关导入到 BLOB 程序的更多详细信息：http: //ittichaicham.com/2011/03/file-browser-in-apex-4-with-blob-column-specified-in-item-source-attribute/

我使用的文本文件包含特殊字符、空值、十进制分隔符等。例如：

(...) 111888|Overflakkée, Blabla|罗纳河街道名||12-13|UXC 地名 (...)

由于它都是字符数据，我正在使用以下过程将 BLOB 转换为 CLOB：

有关更多信息，请参阅：http ://www.dba-oracle.com/t_convert_blob_to_clob_script.htm

问题：在将 blob 转换为 clob 时，一些特殊字符会丢失/更改。

例如，这一行：

(...) 111888|Overflakkée, Blabla|罗纳河街道名||12-13|UXC 地名 (...)

将成为这一行：

(...) 111888|Overflakk. Blabla|Rh 的街道名称|12-13|UXC 地名 (...)

行长、字符甚至分隔符（在本例中为“|”）都被更改/不可见。

• 有没有办法获得丢失的字符+保持分隔符/空值到位？（如果有必要将'é'更改为'e'，那很好）。
• 有没有更有效的方法将文本文件导入 BLOB/CLOB 列？

问候

我有一个 RADAN 软件（.DZT 格式）灰度图像文件（GPR Profile），我想直接将其导入 MATLAB。请在这方面需要帮助。DZT 文件格式可在 SIR-3000 手册（对于 16 位数据）附录 A 和 B，（第 55-57 页）的背面找到。非常感谢您花时间审查我的问题并回答它。真的非常感谢！
链接： https: //support.geophysical.com/gssiSupport/Products/Documents/Control%20Unit%20Manuals/GSSI%20-%20SIR-3000%20Operation%20Manual.pdf

I have to import a file that have an amount in the following format:

I'm using FileHelpers library with [FieldConverter(ConverterKind.Decimal)] attribute but it converts the amount into this:

I want it to apply last two digits to the decimals. I want it to look like this:

Any ideas? Thanks.

UPDATE: I came up with my own solution. I've created a separate field called Amount that calculates the payment amount based on the the amount provided in file, which is parsed into the private variable called AmountRaw.

预计这会容易得多，但我无法在 R 中完成它。我有一个非常简单的文件，其中包含一些存储为字符串的信息。还有一个货币选项卡，其中包含“$”或“£”等字符。

我使用以下内容导入文件，效果很好：

该文件具有这样的结构（它还包含 NA）：

如何正确导入此文件？我尝试使用该fileEncoding选项，但无法完成。

csv 最初是从 excel 2013（逗号分隔的 csv）创建的。

令人惊讶的是，美元符号显示正确，但对于英镑符号，黑色方块中有一个问号。

我正在使用 IPython（更具体地说，IPython.display.display(IPython.display.Audio()命令）导入一个 mp3 文件，我想知道是否有一种特定的方式来格式化文件路径。

文档说它采用文件路径，所以我假设（可能是错误的）它应该是 \home\downloads\randomfile.mp3 之类的东西，我使用在线转换器将其转换为 unicode。我把它放进去（当然，使用，filename=u'unicode here'但这不起作用，而是给出了一堆错误。我尝试以不同的方式重新格式化它（只是 \downloads\randomfile.mp3 等）但它们都不起作用。对于那些好奇的人，这里是 unicode 字符：\u005c\u0044\u006f\u0077\u006e\u006c\u006f\u0061\u0064\u0073\u005c\u0062\u0064\u0061\u0079\u0069\u006e\u0073\u0074\u0072\u0075\u006d\u0065\u006e\u0074\u002e\u006d\u0070\u0033我相信它转换为 \home\Downloads\bdayinstrument.mp3。

那么，我做错了吗？格式化“文件路径”的正确方法是什么？

谢谢！

我正在使用 Oracle Data Integrator 12c，并且我有许多 txt 文件，有人将它们复制到文件夹“/import”中。ODI 应该注意到这一点并为每个文件调用一个映射。然后每个文件都应该保存在另一个文件夹“/export”中

我的映射适用于一个文件。我在模型部分指定了这个文件。但是我怎样才能动态加载每个文件并让映射也适用于每个文件然后保存呢？

我希望很清楚我想要什么:)

提前致谢

我在txt中有这样的数据：

跳蚤,0,0,1,0,0,0,0,0,0,1,0,0,6,0,0,0,6

青蛙,0,0,1,0,0,1,1,1,1,1,0,0,4,0,0,0,5

青蛙,0,0,1,0,0,1,1,1,1,1,1,0,4,0,0,0,5

我需要计算所选列中零的数量，例如在第一列中有 3 个零。

到目前为止，这是我的代码：

解决这个问题的任何想法？

我正在从实验中生成数据集。我最终得到了通常是n x 4维度的 csv 数据集（n行；n > 1000和4列）。但是，由于数据收集过程的人为因素，通常前几行和最后几行只有 2 或 3 列。所以一个数据集看起来像：

如您所见，前两行和后三行没有我期望的 4 列。当我尝试使用 导入此文件np.loadtxt(filename, delimiter = ',')时，出现错误。一旦我删除了少于 4 列的行（在这种情况下，前 2 行和后 3 行），导入工作正常。

两个问题：

1. 为什么通常的导入不起作用。我不确定此导入的确切错误是什么。换句话说，为什么所有行中的列数都不相同？

2. 作为一种解决方法，我知道如何在使用 numpy 导入文件时忽略前两行np.loadtxt(filename, skiprows= 2)，但是有没有一种简单的方法可以在底部选择固定数量的行来忽略？

注意：这不是关于在 numpy 数组中查找唯一行。它更多地是关于导入每行包含的列数不一致的 csv 数据。