3

目标

我正在努力实现以下目标：

  • 捕获包含FIX 协议中的对话的网络流量
  • 将网络流量中的单个 FIX 消息提取为“好”格式，例如 CSV
  • 对导出的“nice”格式数据做一些数据分析

我通过以下方式实现了这一目标：

  • 使用 pcap 捕获网络流量
  • 使用 tshark 将相关数据打印为 CSV
  • 使用 Python (pandas) 分析数据

问题

问题是一些捕获的 TCP 数据包包含多个 FIX 消息，这意味着当我使用 tshark 导出到 CSV 时，我没有每行收到一条 FIX 消息。这使得使用 CSV 变得困难。

这是我用来提取相关 FIX 字段的 tshark 命令行，因为 CSV 是：

tshark -r dump.pcap \
-R \'(fix.MsgType[0]=="G" or fix.MsgType[0]=="D" or fix.MsgType[0]=="8" or \ fix.MsgType[0]=="F") and fix.ClOrdID != "0"\' \ 
-Tfields -Eseparator=, -Eoccurrence=l -e frame.time_relative \
-e fix.MsgType -e fix.SenderCompID \
-e fix.SenderSubID -e fix.Symbol -e fix.Side \
-e fix.Price -e fix.OrderQty -e fix.ClOrdID \
-e fix.OrderID -e fix.OrdStatus'

请注意，如果数据包中出现多个字段，我目前使用“-Eoccurrence=l”来获取命名字段的最后一次出现。这不是一个可接受的解决方案，因为当数据包中有多个 FIX 消息时，信息将被丢弃。

这是我希望在导出的 CSV 文件中每行看到的内容（来自一条 FIX 消息的字段）：

16.508949000,D,XXX,XXX,YTZ2,2,97480,34,646427,,

这是我在 TCP 数据包中有多个 FIX 消息（这种情况下是三个）并且使用命令行标志“-Eoccurrence=a”时看到的：

16.515886000,F,F,G,XXX,XXX,XXX,XXX,XXX,XXX,XTZ2,2,97015,22,646429,646430,646431,323180,323175,301151,

问题

有没有办法（不一定使用 tshark）从 pcap 文件中提取每个单独的协议特定消息？

4

1 回答 1

3

更好的解决方案

使用tcpflow允许在不离开命令行的情况下正确完成此操作。

我目前的方法是使用类似的东西：

tshark -nr <input_file> -Y'fix' -w- | tcpdump -r- -l -w- | tcpflow -r- -C -B

tcpflow确保遵循 TCP 流，因此不会丢失 FIX 消息（在单个 TCP 数据包包含超过 1 个 FIX 消息的情况下）。-C写入控制台并-B确保二进制输出。这种方法与在 Wireshark 中跟踪 TCP 流没有什么不同。

保留了 FIX 分隔符，这意味着我可以对输出进行一些方便的 grepping，例如

... | tcpflow -r- -C -B | grep -P "\x0135=8\x01"

提取所有执行报告。注意-Pgrep 的参数，它允许非常强大的 perl 正则表达式。

一个（以前的）解决方案

我正在使用Scapy（另请参阅Scapy 文档， Scapy的非官方傻瓜指南）读取 pcap 文件并从数据包中提取每个单独的 FIX 消息。

以下是我正在使用的代码的基础：

from scapy.all import *

def ExtractFIX(pcap):
    """A generator that iterates over the packets in a scapy pcap iterable
and extracts the FIX messages.
In the case where there are multiple FIX messages in one packet, yield each
FIX message individually."""
    for packet in pcap:
        if packet.haslayer('Raw'):
            # Only consider TCP packets which contain raw data.
            load = packet.getlayer('Raw').load

            # Ignore raw data that doesn't contain FIX.
            if not 'FIX' in load:
                continue

            # Replace \x01 with '|'.
            load = re.sub(r'\x01', '|', load)

            # Split out each individual FIX message in the packet by putting a 
            # ';' between them and then using split(';').
            for subMessage in re.sub(r'\|8=FIX', '|;8=FIX', load).split(';'):
                # Yield each sub message. More often than not, there will only be one.
                assert subMessage[-1:] == '|'
                yield subMessage
        else:
            continue

pcap = rdpcap('dump.pcap')
for fixMessage in ExtractFIX(pcap):
    print fixMessage

我仍然希望能够从网络数据包的“帧”层获取其他信息，特别是相对（或参考）时间。不幸的是，这似乎不适用于 Scapy 数据包对象 - 它的最顶层是 Ether 层，如下所示。

In [229]: pcap[0]
Out[229]: <Ether  dst=00:0f:53:08:14:81 src=24:b6:fd:cd:d5:f7 type=0x800 |<IP  version=4L ihl=5L tos=0x0 len=215 id=16214 flags=DF frag=0L ttl=128 proto=tcp chksum=0xa53d src=10.129.0.25 dst=10.129.0.115 options=[] |<TCP  sport=2634 dport=54611 seq=3296969378 ack=2383325407 dataofs=8L reserved=0L flags=PA window=65319 chksum=0x4b73 urgptr=0 options=[('NOP', None), ('NOP', None), ('Timestamp', (581177, 2013197542))] |<Raw  load='8=FIX.4.0\x019=0139\x0135=U\x0149=XXX\x0134=110169\x015006=20\x0150=XXX\x0143=N\x0152=20121210-00:12:13\x01122=20121210-00:12:13\x015001=6\x01100=SFE\x0155=AP\x015009=F3\x015022=45810\x015023=3\x015057=2\x0110=232\x01' |>>>>
In [245]: pcap[0].summary()
Out[245]: 'Ether / IP / TCP 10.129.0.25:2634 > 10.129.0.115:54611 PA / Raw'
于 2012-12-12T04:08:31.383 回答