问题标签 [dimension-reduction]

假设我有一个包含灰度视频的数据集。每个视频的长度和大小可能会有所不同，因此我通过以下形状表示三个维度的数据：

我想从时间维度中提取特征（比如 16 个），同时保持相同的空间维度，这会给我以下输出形状：

值得注意的是，数据的形状已经减少了一维。在我看来，我应该能够使用 Conv3D 算子（特征生成）然后在时间维度上进行一些聚合操作（全局/平均池或一些线性算子）来完成此操作。生成的形状将是 (None, 1, None, None, 16) ，我相信我可以使用这个答案将其简化为 (None, None, None, 16) 。

我的问题是我无法弄清楚如何在一个维度上应用 Keras 的任何全局运算符。由于时间维度的大小是未知的，因此我无法为将跨越整个时间维度的MaxPooling或卷积层指定窗口大小（未知、1、1）。另一方面，GlobalMaxPooling层不接受用于指定要对哪些维度进行操作的参数。

我是否必须为此实现一些复杂的自定义层，或者是否已经存在解决方案？我用 MaxPooling1D 看过 Reshape 层，但我遇到了同样的问题，即在池化操作后不知道 x 和 y 维度的大小来重新组装空间结构。

数据分析中的一种常见做法是删除具有低方差的特征（自变量）以降低维度，理由是具有低方差的特征无法解释响应变量（因变量）中的大部分方差。

但是，我并不完全理解这个推理。这是一个反例（在 R 语法中）：

我在这个例子中试图证明的是因变量和自变量具有相关性=1 的情况，即自变量解释了因变量的 100% 的方差，但是，在原始变量和均值中都按比例缩放变量时，自变量的方差远低于其他变量（在这种情况下为因变量）的方差，因此根据这种推理将其删除。

我在这里想念什么？

我正在尝试训练一个 lstm 自动编码器将输入空间转换为潜在空间，然后将其可视化，我希望在潜在空间中找到一些有趣的模式。输入是来自 9 个传感器的数据。它们将被转化为一个三维空间。

问题是当我运行代码时，有时将数据转换为 3 维，有时只使用一维或二维。其余维度为零。

这是我使用的自动编码器：

这是潜在空间，如您所见，编码器仅使用一维来表示数据

有谁知道原因以及如何避免它发生？ 仅使用一维时

当使用 3 个维度时

I'm trying to input custom data(MIDI vector) into the PCA function of sklearn library.

Below is the current shape of my data.

I know that the shape of the sklearn input data is 2D array. However, I want to reduce the dimension in consideration of rhythm and melody.

Finally, I want to make my data like below.

here is my code.

Error code ValueError: Found array with dim 3. Estimator expected <= 2.

How can I solve this problem? Thank you for reading.

如何在没有循环的情况下将 numpy nd 数组转换为 (n-1)d 的列表

假设我们有一个数组 3d numpy 数组

带循环（慢速解决方案）：

如何在没有循环的情况下获得“arr_what_i_want”？

我正在使用具有两个响应变量的数据集：1）检查期间的移动比例（称为“期间”）和 2）检查之间的移动比例（称为“之间”）。我正在使用这个数据集来确定蝌蚪的行为是否受到我在白天和晚上的治疗（控制与夜间人造光）的影响。两个响应变量（During 和 Between）彼此不相关。我想知道是否可以将两个响应变量简化为一个变量（我们称之为“活动”）。我已经阅读了一些关于降维的文章，但它似乎主要适用于预测变量而不是响应变量。我对这种方法不太熟悉，所以我可能错了。如果将这两个变量合二为一是合适的，我将如何将其编码到 R 中？我的计划是使用变量“活动”作为广义线性混合效应模型中的响应变量，如下所示：

提前致谢！这是我的一小部分上下文数据：

在进行 PCA 时，功能会从 200 000 减少到 2000。但是一些必需的功能可能会丢失。我们如何手动保留我们选择的那些特征？