1

我正在制作用于监视三个不同系统之间的文件移动的 Web 应用程序，每个系统将生成一个具有以下格式的日志文件：

Folder, Filename, DataTime, Filesize

要求是确定在 生成的文件System1是否成功传输到3rd System. 并且还要识别失败点。

我正在使用SQLite数据库，因为我必须将失败的文件信息保存 7 天。

数据库设计：

Folder, Filename, DateTime, FileSize, FileSource

FileSource可以是System1, System2, System3.

这样我可以进行批量插入，但会减慢识别失败文件的速度，任何人都可以帮助我编写好的 SQL 来识别失败的文件。

例如：样本数据

folder1, file1, 2012-29-08 23:01:02, 10, S1
folder1, file1, 2012-29-08 23:03:02, 10, S2

上述 ex 数据表示 S2 到 S3 之间的文件夹 1/文件 1 传输失败。

注意：每天将传输超过 10,000 个文件。

4

2 回答 2

0

我不确定你能不能从这里到达那里。您最好从实际执行传输的程序中记录错误代码。

你现在的桌子有一些问题。

CREATE TABLE filelog (
  folder text, 
  filename text, 
  datatime timestamp, 
  filesize integer, 
  filesource text);

-- Your failed transfer . . .
INSERT INTO "filelog" VALUES('folder1','file1','2012-08-29 23:01:02',10,'S1');
INSERT INTO "filelog" VALUES('folder1','file1','2012-08-29 23:03:02',10,'S2');
-- . . . and a duplicate of it.
INSERT INTO "filelog" VALUES('folder1','file1','2012-08-29 23:01:02',10,'S1');
INSERT INTO "filelog" VALUES('folder1','file1','2012-08-29 23:03:02',10,'S2');

替换我的表名，您的查询是

select folder, filename, count() 
from filelog group by folder, filename having count() < 3;

使用上面的数据，即使有两次失败，您的查询也不会返回任何行。（或者一个故障的两个副本。）修复它的第一步是声明一个可防御的主键。

CREATE TABLE filelog (
  folder text, 
  filename text, 
  datatime timestamp, 
  filesize integer, 
  filesource text,
  primary key (folder, filename, datatime)
);

该主键约束将阻止您两次输入单个传输。它允许您每天多次传输同一文件，这在第一次传输失败时可能有意义。

-- Your failed transfer . . .
INSERT INTO "filelog" VALUES('folder1','file1','2012-08-29 23:01:02',10,'S1');
INSERT INTO "filelog" VALUES('folder1','file1','2012-08-29 23:03:02',10,'S2');
-- . . . and an earlier transfer that also failed.
INSERT INTO "filelog" VALUES('folder1','file1','2012-08-23 23:01:02',10,'S1');
INSERT INTO "filelog" VALUES('folder1','file1','2012-08-23 23:03:02',10,'S2');

您的查询将再次不返回任何行。我们需要更好地定义成功和失败的转移。

似乎成功的转移具有这些特征。

  • 它包括所有三个源——S1、S2 和 S3。
  • 它用于单个路径名，其中路径名表示文件夹 + 目录分隔符 + 文件名。
  • 时间戳遵循文件源顺序。换句话说，S1 的“datatime”在 S2 的“datatime”之前，S2 的“datatime”在 S3 的“datatime”之前。
  • 对于任何唯一的 {folder, filename, datatime}，所有三个文件源的字节数都是相同的。

还有*大，麻烦的特性。. .

  • 单个文件传输的所有三行必须属于单个“批次”（因为没有更好的词）。这意味着我们不能让查询将下面的前两行（传输失败）与下面的最后一行（成功传输的一部分）组合在一起，即使时间戳的顺序正确并且传输的字节是正确的.

    folder1  file1  2012-08-29 23:01:02  10  S1
folder1  file1  2012-08-29 23:03:02  10  S2
folder1  file1  2012-08-29 23:45:02  10  S1
folder1  file1  2012-08-29 23:48:02  10  S2
folder1  file1  2012-08-29 23:53:02  10  S3

这会有些复杂。而且我可能完全误解了您成功转移的标准。

（您可能可以为“数据时间”列起一个更好的名称。）

于 2012-08-29T17:07:16.417 回答
0

你完全误解了我的情况

CREATE TABLE filelog (
   folder       text, 
   filename     text, 
   transferTime     timestamp, 
   filesize     integer, -- what time the transfer occurs at this filesource 
   filesource   text,
   primary key (folder, filename, filesource)
   );

每个源将生成一个日志文件，其中包括它们传输或处理的文件。

案例：如果在 S1 的日志文件中找到了 file1.txt，而在 S2 的日志文件中丢失了，这意味着 S1 和 S2 之间的传输失败。

如果在 S1 和 S2 日志文件中都找到了 file1.txt，并且不在 S3 日志文件中，则 S2 和 S3 之间的传输失败，或者 S3 没有处理该文件。

通过这个查询，我可以找到在 S2 或 S3 中丢失的文件：

select folder, filename, filesource, count(*) 
from filelog 
group by folder, filename, filesource
having count() < 3;

在回复您时我得到了答案，如果计数为 1，则表示 S1 和 S3 传输失败，或者如果计数为 2，则表示 S2 和 S3 之间的传输失败。

感谢您的回复。@catcall

于 2012-08-29T19:31:27.183 回答