0

我想为我的 AF-XDP 程序测量数据包延迟。我在看这个参考：https ://github.com/xdp-project/xdp-project/blob/master/areas/arm64/xdp_for_tsn.org

并将其调整为：

SEC("xdp_sock")
int xdp_sock_prog(struct xdp_md *ctx) {

    int index = ctx->rx_queue_index;

    void *data_end = (void *)(long)ctx->data_end;
    void *data = (void *)(long)ctx->data;

    const unsigned long long kstamp = bpf_ktime_get_ns();

    if(data - sizeof(unsigned long long) <= data_end) {
        ctx->data_meta = ctx->data - sizeof(unsigned long long);
        memcpy(&ctx->data_meta, &kstamp, sizeof(unsigned long long));
    }
    ...
}

然后在用户空间中的访问发生如下：

static bool process_packet(struct xsk_socket_info *xsk, uint64_t addr, uint32_t len) {

    uint8_t *pkt = xsk_umem__get_data(xsk->umem->buffer, addr);
    uint8_t *pkt_meta = xsk_umem__get_data(xsk->umem->buffer, addr - sizeof(unsigned long long));

    const unsigned long long kstamp = (uint64_t) pkt_meta[7] << 56 | (uint64_t) pkt_meta[6] << 48 | (uint64_t) pkt_meta[5] << 40
                                        | (uint64_t) pkt_meta[4] << 32 | (uint64_t) pkt_meta[3] << 24 | (uint64_t) pkt_meta[2] << 16
                                        | (uint64_t) pkt_meta[1] << 8  | (uint64_t) pkt_meta[0];
...
}

但我无法将 XDP 程序加载到内核中：

Load XDP program...
libbpf: load bpf program failed: Permission denied
libbpf: -- BEGIN DUMP LOG ---
libbpf: 
0: (bf) r6 = r1
1: (61) r1 = *(u32 *)(r6 +16)
2: (63) *(u32 *)(r10 -4) = r1
3: (61) r7 = *(u32 *)(r6 +4)
4: (61) r8 = *(u32 *)(r6 +0)
5: (85) call bpf_ktime_get_ns#5
6: (bf) r1 = r8
7: (07) r1 += -8
8: (2d) if r1 > r7 goto pc+3
 R0_w=inv(id=0) R1_w=pkt(id=0,off=-8,r=0,imm=0) R6_w=ctx(id=0,off=0,imm=0) R7_w=pkt_end(id=0,off=0,imm=0) R8_w=pkt(id=0,off=0,r=0,imm=0) R10=fp0 fp-8=mmmm????
9: (63) *(u32 *)(r6 +8) = r0
invalid bpf_context access off=8 size=4
processed 10 insns (limit 1000000) max_states_per_insn 0 total_states 0 peak_states 0 mark_read 0

libbpf: -- END LOG --

我的意思是，这不应该是可能的——对吧？因为 XDP 完全是关于有效的内存访问，为什么在定义的边界之外的访问会data一直data_end有效？

恕我直言，如果保持不变，它可以工作ctx->data_meta- 但是我在用户空间遇到了问题，因为我不知道它data_meta的位置。是否有任何 libbpf 辅助函数来访问数据包元数据？

也可能是访问是有效的，但我的范围检查是错误的......

4

1 回答 1

1

您使用的代码片段在教程中被描述为伪代码，它不是一个完整的功能示例。让我们看一下验证者日志：

Load XDP program...
libbpf: load bpf program failed: Permission denied
libbpf: -- BEGIN DUMP LOG ---
libbpf: 
0: (bf) r6 = r1                 // r6 points to ctx
1: (61) r1 = *(u32 *)(r6 +16)   // [let's ignore that]
2: (63) *(u32 *)(r10 -4) = r1   // [and that]
3: (61) r7 = *(u32 *)(r6 +4)    // r7 points to ctx->data_end
4: (61) r8 = *(u32 *)(r6 +0)    // r8 points to ctx->data
5: (85) call bpf_ktime_get_ns#5 // r0 now contains timestamp
6: (bf) r1 = r8                 // r1 points to ctx->data
7: (07) r1 += -8                // r1 = data - sizeof(unsigned long long)
8: (2d) if r1 > r7 goto pc+3    // if(data-sizeof(unsigned long long)>data_end) jump;

现在是有趣的部分。我们尝试做：

        ctx->data_meta = ctx->data - sizeof(unsigned long long);
        memcpy(&ctx->data_meta, &kstamp, sizeof(unsigned long long));

它产生：

 R0_w=inv(id=0) R1_w=pkt(id=0,off=-8,r=0,imm=0) R6_w=ctx(id=0,off=0,imm=0)
 R7_w=pkt_end(id=0,off=0,imm=0) R8_w=pkt(id=0,off=0,r=0,imm=0) R10=fp0 fp-8=mmmm????
9: (63) *(u32 *)(r6 +8) = r0
invalid bpf_context access off=8 size=4

r6指向ctx的类型struct xdp_md，所以r6 +8是ctx->data - sizeof(unsigned long long)。这是因为，默认情况下，ctx->data_meta 指向ctx->data. 因此，当您尝试将时间戳复制到 时ctx->data_meta，实际上是在尝试将其写入数据包数据开始之前的 8 个字节。您没有保留任何特定空间来放置元数据，因此这是一个越界访问：验证者抱怨这是无效的。

但是我们如何才能创建为元数据分配一些空间呢？这要归功于bpf_xdp_adjust_meta()BPF 帮助程序，如您提到的示例中所示。

但是，并非所有 NIC 驱动程序都支持 XDP 元数据。其中一些在xdp_set_data_meta_invalid()内部调用函数，设置ctx->data_meta为ctx->data + 1而不是ctx->data. 如果bpf_xdp_adjust_meta()从 BPF 程序调用，检测到已执行此调整，则会出错并-ENOTSUPP拒绝调整ctx->data_meta。根据评论中的讨论，这似乎是您的情况。

如果您不支持 XDP 元数据，您可以尝试在数据包的另一个字段中编码时间戳。BPF 映射也可能是一种选择，但您需要每个数据包一个条目，因此不确定对内存/性能的影响。

于 2020-03-03T11:09:49.647 回答