问题标签 [data-dump]

我想知道是否有一个函数或公式可以用来验证样本数据源 1（多行）到数据源 2（多行）。

示例：来源 1 单元格 A1（文档）- 123 单元格 A2（div）- SED 单元格 A3（金额）- $100 单元格 A4（行）- 01

源 2 将是 doc、div、amount 和 line 的不同组合的数据转储。我想知道是否有一个公式或函数可以用来查看 Source 1 是否与 Source 2 中的任何记录匹配。它必须是完美匹配。

我将 4GB 维基词典 XML 数据转储分解为更小的文件，没有重叠，用 Python 处理它并保存不同的页面 (...)。

相同的信息，在不同的文件中拆分，正在膨胀到 18+ GB。

为什么会这样？有没有办法避免这种情况？

我正在使用名为 fbexport 的 firebird 工具从数据库中转储表数据。我所做的是：

1. 启动 cmd，导航到 fbexport 所在的目录

2. 输入命令：

   FBExport.exe -D "c:\DB.GDB" -U sysdba –P masterkey -Si -V WIZYTY -F test.out

不幸的是，我收到了一个错误：

任何想法如何使它工作？

我正在调查SEDE，因为需要开发一个内部使用的 QA 平台，注意到有一个表Votes将用户的 upvote/downvote/favorite/etc 存储到帖子中，当投票类型为 upvote 或 downvote 时，此表的 userid 为 null，如图所示在这里，但在我的 SO 个人资料的 Votes Cast 下肯定有赞成和反对的历史！这怎么会发生？StackExchange 公开的那些表是不完整的，还是我遗漏了什么？

谢谢您的回复。

我有（我会考虑的）大量纯文本文件，大约 400GB，它们被导入 MySQL 数据库（InnoDB 引擎）。.txt 文件大小从 2GB 到 26GB 不等，每个文件代表数据库中的一个表。我得到了一个解析 .txt 文件并构建 SQL 语句的 Python 脚本。我有一台专门用于此任务的机器，具有以下规格：

• 操作系统 - Windows 10
• 32GB 内存
• 4TB硬盘
• i7 3.40 GHz 处理器

我想优化此导入，使其尽可能快速和肮脏。我已根据堆栈 O 问题、MySQL 文档和其他来源更改了 MySQL my.ini 文件中的以下配置设置：

我错过了配置文件中的其他设置（可能是日志记录或缓存），这些设置会指导 MySQL 使用机器资源的很大一部分？我会错过另一个瓶颈吗？

（旁注：不确定这是否相关 - 当我开始导入时，该mysqld过程会加速使用大约 13-15% 的系统内存，但是当我停止 Python 脚本继续导入时，它似乎永远不会清除它。我想知道这是否是由于弄乱了日志记录和刷新设置。提前感谢您的帮助。）

（编辑）

这是填充表格的 Python 脚本的相关部分。似乎脚本正在为每 50,000 条记录连接、提交和关闭连接。我可以删除conn.commit()函数末尾的 并让 MySQL 处理提交吗？下面的评论while (true)来自脚本的作者，我已经调整了这个数字，使其不会超过 max_allowed_pa​​cket 大小。

我是 MarkLogic 的新手，并评估它以转储巨大的 csv/文本数据，并根据某些条件等进行一些转换，如过滤器等。据我所知，我可以使用 2 种方式转储数据。

我想知道实现这一目标的更好方法是什么？或者是否还有其他我不知道的。

提前致谢。

我正在使用 Zeoslib 使用 SQLite 创建内存数据库，并且我需要在程序关闭时将数据库保存到磁盘上或定期将其转储到文件中。

由于 SQLite3 程序无法在内存数据库中处理，有没有办法让 SQLite 将SELECT查询的输出导出为 INSERT语句？

PS。sqlite3可以按照此线程中的指示将内存数据库转储到磁盘，但是内存数据库是由不同的应用程序创建的，这就是为什么我看不到如何使示例工作的原因。

以下是有关我的工作计算机的开发环境的信息：

-Microsoft Visual Studio Enterprise 2015 版本 14.0.35123.00 更新 2

- 安装在远程服务器上的 Microsoft Dynamics CRM。

我们的 ASP.NET C# 应用程序使用 Microsoft CRM SDK 与 Microsoft Dynamics CRM 服务器通信。

我试图通过抓取我们的 ASP.NET C# 应用程序从 Microsoft Dynamics CRM 服务器检索的大量信息来进行数据分析。

在以下快照图片中，C# 代码使用 Microsoft.Xrm.Sdk.EntityCollection 类型的结果对象从 Microsoft Dynamics CRM 检索数据：

有人可以告诉我如何快速以编程方式将所述集合中的数据复制到 csv 文件或 Excel 文件中吗？

我究竟做错了什么？

我设置了 PARALLEL=4 但创建的文件数为 3。

预期 4 个文件，但得到 3 个：

我应该使用堆栈溢出转储作为我项目的一部分。现在，作为一名新手程序员，我在使用 Pandas 库执行以下任务时遇到了问题。

我有一个 .csv 文件，如下所示：

我希望获得另一个 .csv 文件，该文件应如下所示：