6

我正在尝试在 Deedle 中的两个数据帧之间进行左连接。两个数据框的示例如下：

let workOrders = 
    Frame.ofColumns [ 
        "workOrderCode" =?> series [ (20050,20050); (20051,20051); (20060,20060) ]
        "workOrderDescription" =?> series [ (20050,"Door Repair"); (20051,"Lift Replacement"); (20060,"Window Cleaning") ]]

// This does not compile due to the duplicate Work Order Codes
let workOrderScores = 
    Frame.ofColumns [ 
       "workOrderCode" => series [ (20050,20050); (20050,20050); (20051,20051) ]
       "runTime" => series [ (20050,20100112); (20050,20100130); (20051,20100215) ] 
       "score" => series [ (20050,100); (20050,120); (20051,80) ]] 

Frame.join JoinKind.Outer workOrders workOrderScores

问题是 Deedle 不允许我创建具有非唯一索引的数据框，我收到以下错误：System.ArgumentException: Duplicate key '20050'。索引中不允许有重复的键。

有趣的是，在 Python/Pandas 中，我可以做以下完美的工作。如何在 Deedle 中重现此结果？我在想我可能必须展平第二个数据框以删除重复项然后加入然后取消透视/取消堆叠它？

workOrders = pd.DataFrame(
    {'workOrderCode': [20050, 20051, 20060],
        'workOrderDescription': ['Door Repair', 'Lift Replacement', 'Window Cleaning']})

workOrderScores = pd.DataFrame(
    {'workOrderCode': [20050, 20050, 20051],
        'runTime': [20100112, 20100130, 20100215],
        'score' : [100, 120, 80]})

pd.merge(workOrders, workOrderScores, on = 'workOrderCode', how = 'left')

# Result:
#   workOrderCode workOrderDescription   runTime  score
#0          20050          Door Repair  20100112    100
#1          20050          Door Repair  20100130    120
#2          20051     Lift Replacement  20100215     80
#3          20060      Window Cleaning       NaN    NaN
4

1 回答 1

6

这是一个很好的问题——我不得不承认，目前没有优雅的方法可以用 Deedle 做到这一点。您能否向 GitHub 提交问题以确保我们跟踪并添加一些解决方案？

正如您所说，Deedle 目前不允许您在键中包含重复值 - 尽管您的 Pandas 解决方案也不使用重复键 - 您只需使用 Pandas 允许您指定加入时使用的列的事实（我认为这将是 Deedle 的重要补充）。

这是一种做你想做的事的方法——但不是很好。我认为使用数据透视将是另一种选择（在最新的源代码中有一个很好的数据透视表函数——NuGet 上还没有）。

我使用groupByRowsandnest将您的数据框转换为按以下方式分组的系列workOrderCode（现在每个项目都包含一个框架，其中所有行都具有相同的工作订单代码）：

let workOrders = 
    Frame.ofColumns [ 
        "workOrderCode" =?> Series.ofValues [ 20050; 20051; 20060 ]
        "workOrderDescription" =?> Series.ofValues [ "Door Repair"; "Lift Replacement"; "Window Cleaning" ]]
   |> Frame.groupRowsByInt "workOrderCode"
   |> Frame.nest

let workOrderScores = 
    Frame.ofColumns [ 
       "workOrderCode" => Series.ofValues [ 20050; 20050; 20051 ]
       "runTime" => Series.ofValues [ 20100112; 20100130; 20100215 ] 
       "score" => Series.ofValues [ 100; 120; 80 ]] 
   |> Frame.groupRowsByInt "workOrderCode"
   |> Frame.nest

现在我们可以加入这两个系列（因为它们的工单代码是关键）。但是，对于每个连接的订单代码，您会得到一个或两个数据框，并且需要做很多工作来外连接两个框架的行：

// Join the two series to align frames with the same work order code
Series.zip workOrders workOrderScores
|> Series.map(fun _ (orders, scores) -> 
    match orders, scores with
    | OptionalValue.Present s1, OptionalValue.Present s2 ->
        // There is a frame with some rows with the specified code in both 
        // work orders and work order scores - we return a cross product of their rows
        [ for r1 in s1.Rows.Values do
          for r2 in s2.Rows.Values do 
          // Drop workOrderCode from one series (they are the same in both)
          // and append the two rows & return that as the result
          yield Series.append r1 (Series.filter (fun k _ -> k <> "workOrderCode") r2) ]
        |> Frame.ofRowsOrdinal
    // If left or right value is missing, we just return the columns
    // that are available (others will be filled with NaN)
    | OptionalValue.Present s, _ 
    | _, OptionalValue.Present s -> s)
|> Frame.unnest
|> Frame.indexRowsOrdinally

这可能会很慢（尤其是在 NuGet 版本中）。如果您处理更多数据，请尝试从源代码构建最新版本的 Deedle（如果这没有帮助，请提交问题 - 我们应该对此进行调查！）

于 2014-02-16T18:12:43.533 回答