问题标签 [bulk]

我需要向我们的客户（近 500,000 个）发送简​​报，我们使用 Google Apps 作为我们的邮件提供商，所以最终它是 Gmail。

我尝试了几种方法来实现这一点，但我遇到了几个问题：

• 有时，它会挂断（255 之后不发送邮件）。所以我决定将电子邮件分成 255 块并再次尝试，但这也偶尔会挂断。我不能依赖那个。

• 另外，我的客户说我的时事通讯最终会出现在他们的“垃圾邮件”文件夹中，因为 Google 的邮件服务器已将它们标记为垃圾邮件。

我能做些什么来解决这个问题？

我正在使用 NHibernate 与 PostgreSQL 数据库交互。

背景

我做了一些简单的测试......似乎需要 2 秒才能保留 300 条记录。我有一个具有相同功能的 Perl 程序，但是直接发出 SQL，只需要 70% 的时间。我不确定这是否是预期的。我认为 C#/NHibernate 会更快，或者至少是相当的。

问题

我的观察之一是（在show_sql打开的情况下），NHibernate 发出数百次 INSERT，而不是执行处理多行的批量 INSERT。请注意，我自己分配主键，而不是使用“本机”生成器。

这是预期的吗？无论如何我可以让它发出批量 INSERT 语句吗？在我看来，这可能是我可以加快性能的领域之一。

我有一个包含 3000 个 csv 文件的文件夹，大小从 1Kb 到 100kb 不等。这些文件中的每一行都是 43 个字符长。它们的总大小为 171Mb。

我正在尝试编写一个程序来尽可能快地解析这些文件。

我最初尝试了自己的实现，但对这些结果并不满意。然后我在 StackOverflow 上找到了 LumenWorks.Framework.IO.Csv。它有大胆的主张：

为了提供更实际的数字，使用包含 145 个字段和 50,000 条记录的 45 MB CSV 文件，阅读器的处理速度约为 30 MB/秒。所以总而言之，花了1.5秒！机器规格为 P4 3.0 GHz，1024 MB。

我根本没有得到接近这些结果的任何东西。我的过程需要 >>10 分钟。这是因为它不是一个大流，而是很多小文件并且那里有开销？还有什么我可以做的吗？

我觉得 LumenWorks 的实现并不比我自己的快（我没有进行基准测试），更不用说它处理引号、转义、注释和多行字段，我不需要这些。我有一个非常规则的逗号分隔整数格式。

干杯

对于我客户的定制 CRM，我希望通过电子邮件通知用户（技术人员）标记案例的更改。

这保证了用户和案例之间的简单订阅映射表以及每次从日志记录方法中对案例进行更改时发送的自动电子邮件。

如何向订阅用户发送 10 到 100 封电子邮件，而不会使我的日志记录方法陷入困境？我的 SMTP 服务器在我的 LAN 上的对等点上，因此发送应该很快，但理想情况下这应该由外部排队进程处理。

我可以让一个 cron 作业每 10 分钟发送一次任何未完成的电子邮件，但是对于这种特定的客户案例来说，时间非常敏感，并且即时通知（尽可能即时）会很棒。

如何从 ASP.NET MVC 中发送批量通知电子邮件，而不会使我的日志记录方法陷入困境？

我正在寻找一种可以将用户个人资料图像批量上传到 SharePoint 我的网站主机的工具。没什么太闪的，它只需要获取一个以帐户名命名的图像目录。然后将配置文件字段设置为上传的图像。

一个关键要求是它必须能够由没有远程桌面访问服务器的人运行。所以我想这意味着powershell脚本已经出来了。

我正在使用带有 hibernate 的 postgresql，我想将模板表中的数据批量插入到另一个模板表中。如何在本机查询中做到这一点对我来说很清楚，但在 HQL 中我真的不知道如何达到我的预期结果。我使用来自http://docs.jboss.org/hibernate/core/3.3/reference/en/html/batch.html#batch-direct的语法来创建我的查询。

我的舍玛：

简化我的模板：

我收到以下错误：

游戏是具有由序列生成的长标识符的实体。

如您所见，游戏不在我的模板表中，因此我需要将游戏 ID 强制输入到我的查询中。有谁知道这必须怎么做？

提前感谢您的时间，最好的问候m

PS：我如何调用查询：

实体：

PS：演员阵容也不行。

java.lang.ExceptionInInitializerError at net.hq.process.db.PersistenceTest.setUp(PersistenceTest.java:58) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39 ) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) 在 java.lang.reflect.Method.invoke(Method.java:597) 在 org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java :44) 在 org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:41) 在 org.junit.internal 的 org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:15)。 org.junit.internal.runners.statements.RunAfters 上的 runners.statements.RunBefores.evaluate(RunBefores.java:27)。在 org.eclipse.jdt.internal.junit4.runner.JUnit4TestReference.run(JUnit4TestReference.java:49) 在 org.junit.runners.ParentRunner.run(ParentRunner.java:236) 在 org.junit.runners.ParentRunner.run(ParentRunner.java:236) 评估(RunAfters.java:31) .eclipse.jdt.internal.junit.runner.TestExecution.run(TestExecution.java:38) 在 org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:467) 在 org.eclipse.jdt .internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:683) 在 org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run(RemoteTestRunner.java:390) 在 org.eclipse.jdt.internal.junit .runner.RemoteTestRunner.main(RemoteTestRunner.java:197) 引起：java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:169) at org 的 java.lang.NullPointerException .hibernate.util.ReflectHelper。classForName(ReflectHelper.java:192) at org.hibernate.type.TypeFactory.heuristicType(TypeFactory.java:279) at org.hibernate.type.TypeFactory.heuristicType(TypeFactory.java:264) at org.hibernate.hql.ast .util.SessionFactoryHelper.findFunctionReturnType(SessionFactoryHelper.java:400) 在 org.hibernate.hql.ast.util.SessionFactoryHelper.findFunctionReturnType(SessionFactoryHelper.java:392) 在 org.hibernate.hql.ast.tree.MethodNode.dialectFunction(MethodNode .java:103) 在 org.hibernate.hql.ast.HqlSqlWalker.processFunction(HqlSqlWalker.java:979) 在 org.hibernate 的 org.hibernate.hql.ast.tree.MethodNode.resolve(MethodNode.java:78)。 hql.antlr.HqlSqlBaseWalker.functionCall(HqlSqlBaseWalker.java:2529) 在 org.hibernate.hql.antlr.HqlSqlBaseWalker.selectExpr(HqlSqlBaseWalker.java:2129) 在 org.hibernate.hql。antlr.HqlSqlBaseWalker.selectExprList(HqlSqlBaseWalker.java:1983) at org.hibernate.hql.antlr.HqlSqlBaseWalker.selectClause(HqlSqlBaseWalker.java:1515) at org.hibernate.hql.antlr.HqlSqlBaseWalker.query(HqlSqlBaseWalker.java:586)在 org.hibernate.hql.antlr.HqlSqlBaseWalker.insertStatement(HqlSqlBaseWalker.java:510) 在 org.hibernate.hql.antlr.HqlSqlBaseWalker.statement(HqlSqlBaseWalker.java:261) 在 org.hibernate.hql.ast.QueryTranslatorImpl.analyze (QueryTranslatorImpl.java:254) 在 org.hibernate.hql.ast.QueryTranslatorImpl.doCompile(QueryTranslatorImpl.java:185) 在 org.hibernate.hql.ast.QueryTranslatorImpl.compile(QueryTranslatorImpl.java:136) 在 org.hibernate。 engine.query.HQLQueryPlan.(HQLQueryPlan.java:101) 在 org.hibernate.engine.query.HQLQueryPlan.(HQLQueryPlan.java:80) 在 org.hibernate。engine.query.QueryPlanCache.getHQLQueryPlan(QueryPlanCache.java:98) at org.hibernate.impl.SessionFactoryImpl.checkNamedQueries(SessionFactoryImpl.java:562) at org.hibernate.impl.SessionFactoryImpl.(SessionFactoryImpl.java:424) at org. hibernate.cfg.Configuration.buildSessionFactory(Configuration.java:1385) 在 org.hibernate.cfg.AnnotationConfiguration.buildSessionFactory(AnnotationConfiguration.java:954) 在 org.hibernate.ejb.Ejb3Configuration.buildEntityManagerFactory(Ejb3Configuration.java:891) 在 org .hibernate.ejb.HibernatePersistence.createEntityManagerFactory(HibernatePersistence.java:57) 在 javax.persistence.Persistence.createEntityManagerFactory(Persistence.java:48) 在 javax.persistence.Persistence.createEntityManagerFactory(Persistence.java:32) 在 net.hq。 util.Db.(Db.java:7) ... 17 更多还有 17 个

目前我正在使用 Berkeley DB 并尝试了解内置的 C++ 批量功能。问题是我不知道如何使用此功能。没有 C++ 示例（只有那些臃肿的 C 示例）或我可以用来理解它的单元测试。

我特别想使用 DbMultipleKeyDataBuilder，它应该填充来自 std::map 的数据。

我应该如何初始化 DbMultipleKeyDataBuilder 的构造函数参数？Db::put 方法的 data 参数会发生什么？它应该是空的还是NULL？

如果有人成功使用了这些课程，您能否提供一些小例子？

提前致谢。

问候，马丁

编辑：

好的，到目前为止我有以下代码

但是 Dbt multipleDbts 的缓冲区呢？应该如何创建这个缓冲区。想象一下，我有键/值对，其中键是整数，值是不同长度的字符串？

我们可以在 iC_ProductImageAssociation 表中再添加一列，名为“ProductFeatureApplicabilityId”

此列将引用 iC_ProductFeatureApplicability。因此，当产品假设具有颜色“RED”的 ProductFeature 的 ABC 插入到 iC_ProductFeatureApplicability 中时，我们可以获取此 ProductFeatureApplicabilityId 并存储在 iC_ProductImageAssociation 表中。

所以现在 Image 可以应用于产品或 ProductFeature 或两者。我还计划制作一个替代的 ProductFeature 数据模型。

与其将单个列存储为特征（如当前在 iC_ProductFeature 表中，我们将 Color、Size、Brand 等存储为单独的列），我们可以创建一个产品特征的主表（iC_ProductFeatureMasters）来存储所有这些列作为行，并且在运行时管理员可以定义更多功能

所以 iC_ProductFeatureMasters 将数据存储为

iC_ProductFeature 表将存储 ProductFeatureMasterId 及其值。

所以现在 iC_ProductFeature 将如下所示

我有一个很大的用户列表，分布在两组中。1. Phplist 2. Vbulletin

Phplist 有大约 50,000 个用户，而 vbulletin 有大约 70,000 个用户。这些都是双重选择安全列表，完全合法。

我们有一个专门的服务器并使用 phplist 来结束邮件，但鉴于 phplist 的限制，一封邮件需要 3 天的时间来处理。我非常热衷于使用 Sendgrid / Amazaon SES 或其他东西，以便我可以更快地拍摄 pur 每月通讯（我们有大约 20 封新闻信函，包括工作、公告登录等）。

目前，我们从不同于主域的域发送电子邮件，例如 www.mydomainnewsletter.com，而主站点和公司电子邮件是 www.mydomain.com（我的主站点在 drupal 上）

现在，我如何构建一个流程，其中所有交易和公司邮件都来自 mydomain.com，而所有新闻通讯都来自 mydomainnewsletters.com。用户应在 mydomain.com 订阅和取消订阅，此电子邮件列表应与 www.mydomainnewsletter.com 同步。

我的服务器安装了qmail。所以有人可以指导我完成整个过程。我根本不是技术人员。

我试过了

并得到

参照。OracleBulkCopy 类

什么不见​​了？