permutation - P值有效性

Question

我已经对 DNA 甲基化数据进行了统计分析，我已经写了报告，但被我的顾问拒绝了，因为他希望我在论文中做一些修改。

一个我无法回答的问题，因为我并不真正理解它与 p 值有关。

在分析过程中，我使用我在 R 中编写的代码进行了置换测试，其中样本被洗牌 1000 次，并计算了 p 值。但是我的教授问我“如何知道 p 值的有效性。错误模型是什么？”

我无法回应，因为我不知道他的真正意思，但我最近正在阅读关于排列测试的内容，但还没有得到答案。

谁能帮我理解这个问题，好吗？

Answer 1

只要您的 null 指定正确，置换测试始终有效。也就是说，您的案例和对照样本都是空值下的 iid。为了验证这一点，您可能可以在一些经验无效模型下查看您的 DNA 甲基化数据（例如，计算两个没有任何甲基化的比较组的 p 值）。在null下，p值应该是均匀分布的，看QQ图就可以确认。但我也建议直接向你的教授询问他的意思。