2

我正在尝试编写我的第一个 PowerShell 脚本，我正在努力理解面向对象和管道方法。所以我有一个这样的目录结构（谷歌外卖巢目录）：

Path\DeviceID-A\
   - Year\
      - Month\
         - year-month-sensors-a.csv
Path\DeviceID-B\
   - Year\
      - Month\
         - year-month-sensors-b.csv
...

我想将所有 CSV 聚合在一起，我编写了一个简单的脚本来执行此操作：

Get-ChildItem -Recurse -Filter *.csv | Select-Object -ExpandProperty FullName | Import-Csv | Export-Csv merged.csv -NoTypeInformation -Append

但是，当所有内容聚合在一起时，我会丢失 DeviceID 的上下文。所以我想添加一个包含这些初始根目录的附加列，类似于：

Import-Csv merged.csv | Select-Object *,@{Name='nest_id';Expression={$nestDeviceID}} | Export-Csv merged-v2.csv -NoTypeInformation

因此，year-month-sensors-a.csv 中的每一行都会有一个附加列，其中包含该根目录下任何 CSVnest_id的值。DeviceID-A

...但是我不能完全协调这两个脚本如何以编程方式迭代它们，无论我需要使用ForEach-Object还是管道。

任何意见，将不胜感激！

4

1 回答 1

1

在发布代码之前，我认为值得一提的是，只要所有 CSV 始终具有相同的标题/列，这应该可以工作。如果不是这种情况，可能会发生这样的事情：

@'
Col1,Col2
Val1,Val2
'@ |
ConvertFrom-Csv |
Export-Csv ./test.csv -NoTypeInformation

@'
Col1,NewCol
Val1,NewVal
'@ |
ConvertFrom-Csv |
Export-Csv ./test.csv -NoTypeInformation -Append

这样做会引发以下异常：

无法将 CSV 内容附加到以下文件：./test.csv。附加对象没有对应于以下列的属性：Col2。要继续使用不匹配的属性，请添加 -Force 参数，然后重试该命令。

要回答您的问题，您已经很接近了，但是，我认为这是不可能的，如果是的话，我当然不会推荐它（其他阅读您的代码的人会感谢您）。

我的意思是一个班轮，Get-ChildItem不Import-Csv使用循环（ForEach-Object或foreach）。这是您失去对DeviceID文件夹名称的引用的地方。

需要澄清的几点：

  • 代码将首先将其存储$mergedCsv在内存中，在每次循环迭代中将 ( ) 附加-Append到一个 Csv 中，当不需要它时会导致大量不必要的磁盘 I/O，因此效率不高。在这种情况下，这对您来说可能并不重要，但对于您未来的脚本来说是一件好事。
  • $file.Directory.Parent.Parent.Name应该给你DeviceID文件夹名称，如果我错了，请更正。
  • 每次循环迭代都将导入每个 CSV 并附加Nest_ID包含DeviceID文件夹名称的新列。
$mergedCsv = foreach($file in Get-ChildItem -Recurse -Filter *.csv)
{
    $nestDeviceID = $file.Directory.Parent.Parent.Name
    $csv = Import-Csv $file.FullName
    $csv | Select-Object *, @{
        Name = 'Nest_ID'
        Expression = { $nestDeviceID }
    }
}

# Inspect the Merged CSV
$mergedCsv | Out-GridView

# Export it
$mergedCsv | Export-Csv merged.csv -NoTypeInformation
于 2021-12-08T23:45:48.487 回答