-1

我是一名初级数据科学家，我正在尝试解决一个对于有经验的程序员来说可能很简单的问题。我正在处理 GCP 上的大数据，我需要优化我的代码。

                                      [...]
    def send_to_bq(self, df):
        result = []
        for i, row in df[["id", "vectors", "processing_timestamp"]].iterrows():
            data_dict = {
                "processing_timestamp": str(row["processing_timestamp"]),
                "id": row["id"],
                "embeddings_vector": [str(x) for x in row["vectors"]],
            }
            result.append(data_dict)
                                      [...]

我们的 DataFrame 具有以下模式：

           id                                               name  \
0  3498001704  roupa natal flanela animais estimacao traje ma...   

                                             vectors  \
0  [0.4021441, 0.45425776, 0.3963987, 0.23765437,...   

        processing_timestamp  
0 2021-10-26 23:48:57.315275

在 DataFrame 上使用 iterrows 太慢了。我一直在研究替代品，我知道：

  1. 我可以使用申请
  2. 我可以通过 Pandas 系列对其进行矢量化（比应用好）
  3. 我可以通过 Numpy 对其进行矢量化（比 Pandas 矢量化更好）
  4. 我可以使用 Swifter - 它使用 apply 方法，然后在 Dask、Ray 和矢量化之间为您决定更好的解决方案

但我不知道如何为这些解决方案转换我的代码。

谁能帮我演示我的代码的解决方案？一个就足够了，但是如果有人可以展示不止一个解决方案，那么对于这个问题来说真的很有教育意义。

任何帮助我将不胜感激！

4

3 回答 3

1

因此，您基本上将所有内容都转换为字符串，然后将 DataFrame 转换为 dict 列表

对于第二部分，有一个 pandas 方法to_dict。对于第一部分，我会使用astype并且apply只转换类型

df["processing_timestamp"] = df["processing_timestamp"].astype(str)
df["embeddings_vector"] = df["vectors"].apply(lambda row: [str(x) for x in row])
result = df[["id", "embeddings_vector", "processing_timestamp"]].to_dict('records')

在没有样本数据的情况下有点难以测试，但希望这会有所帮助；）另外，就像我对lambda函数所做的那样，您可以将整个循环体基本包裹在一个apply.

于 2021-10-26T14:22:45.720 回答
1

您可以使用agg：

>>> df.agg({'id': str, 'vectors': lambda v: [str(i) for i in v], 
            'processing_timestamp': str}).to_dict('records')

[{'id': '3498001704',
  'vectors': ['0.4021441', '0.45425776', '0.3963987', '0.23765437'],
  'processing_timestamp': '2021-10-26 23:48:57.315275'}]
于 2021-10-27T07:14:51.307 回答
0

您可以使用pandas.DataFrame方法将其转换为其他类型，例如DataFrame.to_dict()and more。

于 2021-10-26T14:32:12.633 回答