5

我正在构建一个基于 neo4j 的数据密集型 Python 应用程序，出于性能原因，我需要在每个事务期间创建/恢复多个节点和关系。灯泡中是否有等效的 SQLAlchemysession.commit()语句？

编辑：

对于那些感兴趣的人，已经开发了一个灯泡接口，它可以在本地实现该功能，否则功能非常类似于 SQLAlchemy： https ://github.com/chefjerome/graphalchemy

4

1 回答 1

7

执行多部分事务的最高效方式是将事务封装在 Gremlin 脚本中，并将其作为单个请求执行。

这是一个如何做到这一点的示例——它来自我去年为 Neo4j Heroku Challenge 开发的示例应用程序。

该项目称为灯泡：https ://github.com/espeed/lightbulb

自述文件描述了它的作用......

什么是灯泡？

Lightbulb 是一个基于 Git 的、Neo4j 支持的博客引​​擎，用于用 Python 编写的 Heroku。

您可以在 Emacs（或您最喜欢的文本编辑器）中编写博客条目并使用 Git 进行版本控制，而不会放弃动态应用程序的功能。

在 ReStructuredText 中编写博客条目，并使用您网站的模板系统为它们设置样式。

当您推送到 Heroku 时，条目元数据将自动保存到 Neo4j，并且从 ReStructuredText 源文件生成的 HTML 片段将在磁盘外提供。

然而，Neo4j 停止在其免费/测试 Heroku Add On 上提供 Gremlin，因此 Lightbulb 不适用于 Neo4j/Heroku 新用户。

在接下来的一年内——在TinkerPop 书出版之前——TinkerPop 将发布一个 Rexster Heroku Add On 并完全支持 Gremlin，这样人们就可以在阅读本书的同时在 Heroku 上运行他们的项目。

但是现在，您无需担心运行应用程序——所有相关代码都包含在这两个文件中——Lightbulb 应用程序的模型文件及其 Gremlin 脚本文件：

https://github.com/espeed/lightbulb/blob/master/lightbulb/model.py https://github.com/espeed/lightbulb/blob/master/lightbulb/gremlin.groovy

model.py提供了构建自定义灯泡模型和自定义灯泡Graph类的示例。

gremlin.groovy包含自定义Entry模型执行的自定义 Gremlin 脚本——此 Gremlin 脚本封装了整个多部分事务，以便它可以作为单个请求执行。

请注意，在上面的model.py文件中，我EntryProxy通过覆盖create()andupdate()方法进行自定义，而是定义了一个单一的save()方法来处理创建和更新。

要将自定义挂钩EntryProxy到Entry模型中，我只需重写Entry模型的get_proxy_class方法，以便它返回EntryProxy类而不是默认NodeProxy类。

模型中的所有其他内容Entry都是围绕为save_blog_entryGremlin 脚本（在上面的 gremlin.groovy 文件中定义）构建数据而设计的。

请注意 gremlin.groovy 中的save_blog_entry()方法很长并且包含多个闭包。您可以将每个闭包定义为一个独立的方法并使用多个 Python 调用来执行它们，但是您会产生发出多个服务器请求的开销，并且由于请求是分开的，因此无法将它们全部包装在事务中。

通过使用单个 Gremlin 脚本，您可以将所有内容组合到单个事务请求中。这要快得多，而且是事务性的。

您可以在 Gremlin 方法的最后一行看到整个脚本是如何执行的：

return transaction(save_blog_entry);

在这里，我只是在内部save_blog_entry闭包中的所有命令周围包装了一个事务闭包。制作事务闭包可以保持代码隔离，并且比将事务逻辑嵌入到其他闭包中要干净得多。

然后，如果您查看内部save_blog_entry闭包中的代码，它只是调用我在上面定义的其他闭包，使用我在Entry模型中调用脚本时从 Python 传入的参数：

def _save(self, _data, kwds):
    script = self._client.scripts.get('save_blog_entry')
    params = self._get_params(_data, kwds)
    result = self._client.gremlin(script, params).one()

我传入的参数是在模型的自定义_get_parms()方法中构建的：

def _get_params(self, _data, kwds):
    params = dict()

    # Get the property data, regardless of how it was entered
    data = build_data(_data, kwds)

    # Author
    author = data.pop('author')
    params['author_id'] = cache.get("username:%s" % author)

    # Topic Tags
    tags = (tag.strip() for tag in data.pop('tags').split(','))
    topic_bundles = []
    for topic_name in tags:
        #slug = slugify(topic_name)
        bundle = Topic(self._client).get_bundle(name=topic_name)
        topic_bundles.append(bundle)
    params['topic_bundles'] = topic_bundles


    # Entry
    # clean off any extra kwds that aren't defined as an Entry Property
    desired_keys = self.get_property_keys()
    data = extract(desired_keys, data)
    params['entry_bundle'] = self.get_bundle(data)

    return params

这就是_get_params()正在做的事情......

buld_data(_data, kwds)bulbs.element是在： https://github.com/espeed/bulbs/blob/master/bulbs/element.py#L959中定义的函数

它只是合并 args，以防用户输入一些作为位置 args 和一些作为关键字 args。

我传入的第一个参数_get_params()是author，这是作者的用户名，但我没有将用户名传递给 Gremlin 脚本，我将author_id. 已author_id缓存，因此我使用用户名查找author_id并将其设置为参数，稍后我将其传递给 Gremlinsave_blog_entry脚本。

然后我Topic Model为每个设置的博客标签创建对象，我调用get_bundle()每个对象并将它们保存为topic_bundles参数列表。

该get_bundle()方法在bulbs.model中定义： https ://github.com/espeed/bulbs/blob/master/bulbs/model.py#L363

它只是返回一个包含模型实例的data、、index_name和索引的元组：keys

def get_bundle(self, _data=None, **kwds):
    """
    Returns a tuple containing the property data, index name, and index keys.

    :param _data: Data that was passed in via a dict.
    :type _data: dict

    :param kwds: Data that was passed in via name/value pairs.
    :type kwds: dict

    :rtype: tuple

    """
    self._set_property_defaults()   
    self._set_keyword_attributes(_data, kwds)
    data = self._get_property_data()
    index_name = self.get_index_name(self._client.config)
    keys = self.get_index_keys()
    return data, index_name, keys

我将该get_bundle()方法添加到 Bulbs 以提供一种将参数捆绑在一起的漂亮而整洁的方式，这样您的 Gremlin 脚本就不会在其签名中被大量 args 所淹没。

最后，对于Entry，我只需创建一个entry_bundle并将其存储为参数。

请注意，它_get_params()返回dict三个参数中的一个：author_id、topic_bundle和entry_bundle。

这params dict直接传递给 Gremlin 脚本：

def _save(self, _data, kwds):
    script = self._client.scripts.get('save_blog_entry')
    params = self._get_params(_data, kwds)
    result = self._client.gremlin(script, params).one()        
    self._initialize(result)

Gremlin 脚本的 arg 名称与传入的 arg 名称相同params：

def save_blog_entry(entry_bundle, author_id, topic_bundles) {

   // Gremlin code omitted for brevity 

}

然后根据需要在 Gremlin 脚本中简单地使用这些参数——没有什么特别的。

所以现在我已经创建了我的自定义模型和 Gremlin 脚本，我构建了一个自定义 Graph 对象，它封装了所有代理和相应的模型：

class Graph(Neo4jGraph):

    def __init__(self, config=None):
        super(Graph, self).__init__(config)

        # Node Proxies
        self.people = self.build_proxy(Person)
        self.entries = self.build_proxy(Entry)
        self.topics = self.build_proxy(Topic)

        # Relationship Proxies
        self.tagged = self.build_proxy(Tagged)
        self.author = self.build_proxy(Author)

        # Add our custom Gremlin-Groovy scripts
        scripts_file = get_file_path(__file__, "gremlin.groovy")
        self.scripts.update(scripts_file)

您现在可以Graph直接从您的应用程序导入并像往常一样model.py实例化对象。Graph

>> from lightbulb.model import Graph  
>> g = Graph()
>> data = dict(username='espeed',tags=['gremlin','bulbs'],docid='42',title="Test")
>> g.entries.save(data)         # execute transaction via Gremlin script

这有帮助吗？

于 2013-05-26T21:54:45.010 回答