1

我正在为 300 多个客户制作时间序列图表。单独拉取每个客户端对我们是有益的,因为组合数据非常庞大,并且在某些情况下,客户端数据会以稍微不同的方式重新采样或操作。

我的问题是,当请求完成并且函数返回数据时,我循环获取每个客户端数据的函数会打开 3 个新线程,但从不关闭线程(我假设连接保持打开状态)。

一旦我得到客户端的结果,我想关闭那个连接。我只是无法弄清楚如何做到这一点,并且无法在我的搜索中找到任何东西。

def solr_data_pull(submitterId): 
    zookeeper= pysolr.ZooKeeper('ndhhadr1dnp11,ndhhadr1dnp12,ndhhadr1dnp13:2181/solr')
    solr = pysolr.SolrCloud(zookeeper, collection='tran_timings', timeout=60)

    query = ('SubmitterId:'+ str(submitterId) +' AND Tier:'+tier+' AND Mode:'+mode+' '
             'AND Timestamp:['+ str(start_period)+' TO '+ str(end_period)+ '] ')

    results = solr.search(rows=50000, q=[query], fl=[fl_list])

    return(pd.DataFrame(list(results)))
4

1 回答 1

2

PySolr使用Session对象requests作为其底层库(它反过来使用 urllib3s 连接池),因此调用solr.get_session().close()应该关闭所有连接并耗尽池:

def close(self):
    """Closes all adapters and as such the session"""

SolrCloudSolr具有get_session()方法的扩展。)

为了与 Zookeeper 断开连接——如果它是一个长时间运行的会话,你可能不应该这样做,因为它必须再次设置手表等,你可以直接在你的SolrCloud实例上使用 .zk 对象——zk 是一个KazooClient

stop()
Gracefully stop this Zookeeper session.

close()
Free any resources held by the client.

This method should be called on a stopped client before 
it is discarded. Not doing so may result in filehandles 
being leaked.
于 2017-06-23T08:43:04.260 回答