问题标签 [bulk-load]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
c# - C# - 有没有办法将 csv 文件流式传输到数据库中？
我看到很多文章都在谈论使用 SqlBulkCopy 将内容从 csv 复制到数据库中，但是它们都需要将数据加载到数据表或数据集中。
这对我没有好处，因为我处理大量数据，而且我没有强大的机器。
有没有办法将数据从 csv 流式传输到数据库中？
谢谢
mysql - 将 MySQL 的 LOAD DATA INFILE 与 node.js 一起使用？
是否有任何支持 LOAD DATA INFILE (http://dev.mysql.com/doc/refman/5.0/en/load-data.html) 的 node.js MySQL 驱动程序？我有一些严重依赖批量插入的实用程序，并且找不到任何明确提到支持它的 node.js 驱动程序。
sql - 通过 VBScript 的 SQLXMLBulkLoad
我正在运行以下代码：
我正在尝试将一个相当大的 XML 文件加载到 SQL 表中，但是我收到错误“无法将值 NULL 插入到列‘LocID’，表‘myDB.dbo.myTable’；列不允许空值。插入失败。”
“LocID”是我的主键和身份字段。有没有办法阻止它插入NULL此列，因为我只是在加载数据，而不是移动它并且我在 XML 文件中没有 ID 字段？
nhibernate - HIbernate - 批量加载子对象
如何让 NHibernate 自动连接子对象或批量加载子对象，而不是为每个父对象延迟加载？
我有大量相同类型的父对象。他们每个人都有两袋子对象。由于我需要尽快加载所有父对象和子对象，因此我使用 NHibernate 加载所有对象，然后循环所有子对象并将它们添加到代码中的相关父对象。我确信 NHibernate 有更好的方法来做到这一点 - 但它是什么？
java - 从休眠中的表中批量获取
我有一张表，我从中获取大约 250,000 条记录的记录，这需要大约 25 分钟，有没有办法减少获取时间。我正在使用如下代码：-
有没有办法优化它？
b-tree - 将数据批量加载到 b+tree
我已经建立了自己的 b+tree 索引，其中包含插入/删除/搜索索引的所有操作。为了加速大型数据集的插入，我还想实现批量加载，以便能够对大型数据集进行试验。
我一直在尝试做的是对数据进行排序并开始在叶级别填充页面。必要时在上层复制或推送密钥。我总是在不同的高度跟踪指数的前沿。例如，如果我的索引高度为 3（根，包含内部节点和叶子层的一级），我只在内存中保留 3 页，一旦它们已满，或者没有更多数据，我将它们写入磁盘。
问题是要向每个页面写入多少数据以维持所有单个节点的页面限制。这些限制可以在这里找到。我找不到任何有用的资源，其中包含有关批量加载实施的详细信息或决定使用什么填充率以保证节点限制的好策略。
有任何想法吗？
postgresql - 如何在不知道日期格式的情况下将日期字符串转换为时间戳
我正在尝试编写查询以将值插入timestamp with no timezone data类型字段。该值来自 CSV 文件。
我正在使用的版本是PostgreSQL 8.1.21。
CSV 文件上传由客户端完成，它有一个日期列。日期有时以格式出现'28-Sep-13'，有时以'28/09/2013'格式出现。
我尝试使用以下内容将字符串转换为时间戳：
str_date::timestamp.
如果str_date是类似的东西，这可以正常工作，但如果传入的日期具有 format ，则在发生此错误时'28-Sep-13'它将不起作用：'28/09/2013'
基本上，客户端会不断更改上传的 CSV 文件中的日期格式。
有没有办法根据实际格式将日期字符串转换为时间戳？
performance - SQL Server 2008 BULK INSERT 导致读取多于写入。为什么？
我有一个巨大的表（几十亿行），有一个聚集索引和两个非聚集索引。
BULK INSERT 操作产生 112000 次读取和仅 383 次写入（持续时间 19948 毫秒）。
这让我很困惑。为什么读大于写？我怎样才能减少它？
更新查询
没有触发器和外键集群索引按 DP_ID 和两个非唯一索引（填充因子 = 90%）
还有一件事 DB 存储在 RAID50 上，条带大小为 256K
salesforce - 在 Salesforce 中批量上传自定义对象
我正在使用http://www.salesforce.com/us/developer/docs/api_asynch/中描述的批量上传代码。
唯一的区别是我正在上传自定义对象类型。该对象已在 SalesForce 中定义。但是当我引用对象（名为 Employee）时，我得到错误“无法找到对象：Employee”。也尝试使用 Employee_c。结果相同。
任何指针将不胜感激
谢谢你
萨米尔
salesforce - Salesforce Bulk api InvalidBatch：未找到字段名称
我正在使用http://www.salesforce.com/us/developer/docs/api_asynch/中描述的批量上传代码。
唯一的区别是我正在上传自定义对象类型。我可以访问 Employee_c。但现在我得到一个不同的错误
stateMessage='InvalidBatch：未找到字段名称：名字'
名字是 csv 中的第一列。
在调试时，我可以看到临时 csv 正在正确创建。但是，执行 checkResults 时出现此错误。该代码与使用 REST 的批量 api 的示例 java 代码中的代码完全相同。
我正在使用 Salesforce 的免费开发人员版本。
我创建了一个新的权限集，在其中我为自定义对象员工提供了以下权限：读取/创建/编辑/删除/查看全部/修改全部。所有字段都被授予编辑权限。权限集与 Salesforce 用户许可证相关联。程序化登录使用与系统管理员配置文件关联的用户，该配置文件具有销售人员用户许可证。
但是错误仍然存在！
任何指针将不胜感激
谢谢
萨米尔