我有一个包含数百万条记录的数据框,在 jupyter 中拉取数据框时需要大量内存,我无法这样做,因为服务器崩溃了,因为数据库中有数百万条记录。
我了解了 DASK 包,它有助于在 python 中获取巨大的数据帧,我是 dask 的新手,不知道如何使用 dask 和 mysql 服务器建立连接。
我通常使用以下方式与 jupyter 和 mysql 服务器建立连接,如果有人能告诉我如何使用 dask 框架为同一个表和服务器建立连接,我将不胜感激。
sql_conn = pyodbc.connect("DSN=CNVDED")
query = "SELECT * FROM Abc table"
df_training = pd.read_sql(query, sql_conn)
data=df_training
如果有人可以帮助我并且我不能使用 csv 然后使用 dask 需要与 mysql 服务器正确连接,我将非常感激