1

我正在尝试使用 FileHelper 库来解析文本文件。最终数据将存储在数据库中。我的文本文件包含位置记录。记录的前两个字符定义了记录层次结构中的位置。该文件按以下方式排序：

  • 10 个通用数据（10-19 都具有相同的级别）
    • 20 2级数据（20-29同级）
      • 30个3级数据（30-39个同级）
        • 40 4级数据
          • 50 5级数据
            • 60 最后一级数据
            • 60 最后一级数据
          • 50 5级数据
            • 60 最后一级数据
            • 60 最后一级数据
        • 40 4级数据
          • 50 5级数据
            • 60 最后一级数据
            • 60 最后一级数据
          • 50 5级数据
            • 60 最后一级数据
            • 60 最后一级数据
      • 30 3级数据
        • 40、50、60..的重复序列
    • 20 二级数据
      • 20、40、50、60……的重复序列……

现在我正在尝试使用 FileHelper 的 Master-Detail 概念，但我想它只适用于 Master-Detail 的一个级别。它可以用来创建数据层次结构，然后可以用来填充相关表吗？所有的记录都是固定长度的记录，所以没有问题。

注意：记录之间没有主外键关系。位置和记录号告诉谁是父母（主人）和谁是孩子（细节）。

样品日期如下：

10R 420120320F 20120320212045 16
11F FFuture              
11C OCall                
11P OPut                 
12CADCanadian Dollars     0
12CHFSwiss Francs         0
12CZKCzech Republic Korun 0
12DEMGerman Marks         0
12DKKDanish Krone         0
12ESBSpanish Pesatas      3
12EUREuropean currency Un 0
12FIMFinnish Mark         0
14     1 20.0000    100 2O  UKX 1A 1L  Z   1B 1
14     2 20.0000    100 2L  EFE 1A 1O  EFE 1B 1
14     3 20.0000    100 2L  EFP 1A 1O  EFP 1B 1
14     4 20.0000    100 2L  CCI 1A 1O  CCI 1B 1
14     5 20.0000    100 2L  AXI 1A 1O  AXI 1B 1
14     6 20.0000    100 2L  BLI 1A 1O  BLI 1B 1
15  1F+0, VOL+        2
15  2F+0, VOL-        1
15  3F+1/3, VOL+      4
15  4F+1/3, VOL-      3
15  5F-1/3, VOL+      6
15 16F-EXTREME       16
16EQYLIFFE Equities           
16IPEIntl. Petroleum Exchange 
16LCPLIFFE Commodity Products 
16LIFLIFFE Financials         
16LIGLIFFE OTC                
16LMELME Metals               
20L  LIFFE   F 
30AXIAEX Index              EQYEUR2.000.3500        10 110 1        
31 1 10000000099999999
32  1       220 2 1 1A 1 1B
34 1 1 1 1
40ZAXFAEX Index Future    EUR 10000    10       0.02000    1.00     0     0 2000002
50201204000.0000000.25000.2500  120120400
60       0F     1 3308420   1.0000      0      0 -66667 -66667  66667  66667-133333-133333 133333 133333-200000-200000 200000 200000-140000 140000
50201205000.0000000.25000.2500  120120500
60       0F     1 3262910   1.0000      0      0 -66667 -66667  66667  66667-133333-133333 133333 133333-200000-200000 200000 200000-140000 140000
50201206000.0000000.25000.2500  120120600
60       0F     1 3258970   1.0000      0      0 -66667 -66667  66667  66667-133333-133333 133333 133333-200000-200000 200000 200000-140000 140000
40I  OTHREE MONTH EURO (EUEUR 10000    25       0.25000    1.00     3  1000   32002
50201204000.0000000.35000.3500  120120600
60   97750C     1   16000   1.0000      0      0  -1067  -1067   1067   1067  -2133  -2133   2133   2133  -3200  -3200   3200   3200  -2240   2240
60   97750P     1       0   0.0000      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
60   97875C     1   14750   1.0000      0      0  -1067  -1067   1067   1067  -2133  -2133   2133   2133  -3200  -3200   3200   3200  -2240   2240
60   97875P     1       0   0.0000      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
30L  3 Month Pound Sterli   LIFGBP2.000.3500         11010 1        
31 6 10000000020120600 22012090020121200 32013030020131200 42014030020141200 52015030020151200 62016030099999999
32  1        50 2 2 1A 2 1B
32  2        55 2 1 1A 1 1B
32 21       290 2 6 1A 6 1B
34 2 1 1 3 2 4 6

请任何人都可以指导我如何使用 FileHelper 或任何其他库或某种算法来解析它。在此使用 XML 可能是一个问题，因为文件大小很大（100 Mb），所以我更喜欢基于非 xml 的方法（我以前的方法是基于 XML 的，但被我的架构师拒绝）。

提前致谢。

4

2 回答 2

1

FileHelpers 并不是真正为复杂的格式设计的。如果您为每一行定义一个单独的格式并根据行首解析它们，您可能会使用MultiRecord 引擎，但您会发现将子记录与父记录链接起来很棘手。

我认为你最好的方法是手动编码。就像是

  1. 逐行读取
  2. 将每一行拆分为字段
  3. 如果是主线，请阅读详细线
  4. 如果细节行是更多细节的主人，请阅读这些行......等等。

如果文件很大，那么您不应该尝试在不将解析的部分保存在某个地方（数据库）的情况下处理整个文件。

有一些有趣的方法可以处理 CSV 语法的解析。您可以使用Linq，它在出现解析问题时不会提供非常有用的错误消息。或者您可以使用这里描述的 ExpandoObjects 。另一种方法是使用像Sprache这样的解析器生成器。无论如何，如果您尝试处理整个文件，这些方法可能会遇到内存问题。我的建议是考虑使用它们来解析各个行。

于 2012-03-29T14:21:52.700 回答
-1

  1. 方法您可以使用正则表达式解析文件这是一个一般的想法

  2. 分裂并获胜

    2.1。分成几行

    2.2. 用单词拆分行。关于 n 个单词，您知道您期望的格式

    2.3. 如果 2.2 还不够，请为 line 应用正则表达式来获取数据。

    2.4. 如果 2.3 还不够，也许你有区域、标题、财务信息 1、财务信息 2，使用 2.1 和 2.2 知道你在哪里，并保存你的状态，使用这个状态来应用你需要的规则。

于 2016-05-20T08:57:35.010 回答