performance - 小型数据库的 Neo4j 性能调优

Question

我正在使用带有一个小图的 Neo4j 1.9.7 数据库：

Nodes               19.806
Properties          230.175
Relationship        83.853
Relationship types  3

我已经通过 Sail 导入了这些数据，以使用 SPARQL 插件来执行一些查询。我的图表有 3 个实体，BusinessProcess、ApplicationProcess、Database 链接如下

BUS2 ----> APP4 -----> DB10
|            |-------> DB9
|
|------> APP5 -----> DB11
|                      ^
|------> APP6 ---------|

我将 neo4j 作为服务器运行并通过Advanced Rest Client for Chrome执行 localhost 查询，因为我仅将数据库用于读取数据。当我执行前 3 个查询时，一切正常。例如这个 sparql 查询

SELECT ?O 
WHERE{ ?S ?P ?O. ?O ?P2 ?OO.} 
GROUP BY ?O HAVING((COUNT(?P2)=1))

返回

[ {
  "O" : "http://neo4j.org#ApplicationProcessI"
} ]

in 6911 ms

这对我来说是可以接受的（我不需要真实的案例场景，只是一个 Neo4j 解决方案和 MySQL 上的相同数据库之间的比较，所以我不需要对两者进行完美的调整，只需要人类的耐心一个 =） )

我遇到了这个查询的问题

PREFIX bus:<http://neo4j.org#BusinessProcess> 
SELECT ?bus ?db 
WHERE{ bus:9 ?p1 ?app. ?app ?p2 ?db. ?bus ?p1 ?app2. ?app2 ?p2 ?db. FILTER(?bus != bus:2) }
GROUP BY ?bus ?db

这应该说明哪些业务流程与特定的业务流程共享相同的数据库（示例中为 BusinessProcess9）。在这里，我的数据库似乎没有在可接受的人类时间内得出答案（它超过了一个小时而没有得出结论）。阅读手册和其他类似问题我认为这个查询不应该有那么大的问题。我试着稍微调整一下数据库，但情况并没有改善，所以我决定寻求帮助。

店铺详情：

-rw-rw-r-- 1 ivan ivan  14M lug  1 16:12 data/EASample2.db/neostore.propertystore.db.strings
-rw-rw-r-- 1 ivan ivan 9,0M lug  1 16:12 data/EASample2.db/neostore.propertystore.db
-rw-rw-r-- 1 ivan ivan 3,0M lug  1 16:24 data/EASample2.db/neostore.relationshipstore.db
-rw-rw-r-- 1 ivan ivan 340K lug  1 16:12 data/EASample2.db/neostore.propertystore.db.arrays
-rw-rw-r-- 1 ivan ivan 175K lug  1 16:12 data/EASample2.db/neostore.nodestore.db
-rw-rw-r-- 1 ivan ivan  380 lug  1 16:12 data/EASample2.db/neostore.propertystore.db.index.keys
-rw-rw-r-- 1 ivan ivan  152 lug  1 16:12 data/EASample2.db/neostore.relationshiptypestore.db.names
-rw-rw-r-- 1 ivan ivan   81 lug  1 16:12 data/EASample2.db/neostore.propertystore.db.index
-rw-rw-r-- 1 ivan ivan   54 lug  1 16:12 data/EASample2.db/neostore
-rw-rw-r-- 1 ivan ivan   15 lug  1 16:12 data/EASample2.db/neostore.relationshiptypestore.db
-rw-r--r-- 1 root root    9 lug  1 16:12 data/EASample2.db/neostore.id
-rw-r--r-- 1 root root    9 lug  1 16:12 data/EASample2.db/neostore.nodestore.db.id
-rw-r--r-- 1 root root    9 lug  1 16:12 data/EASample2.db/neostore.propertystore.db.arrays.id
-rw-r--r-- 1 root root    9 lug  1 16:12 data/EASample2.db/neostore.propertystore.db.id
-rw-r--r-- 1 root root    9 lug  1 16:12 data/EASample2.db/neostore.propertystore.db.index.id
-rw-r--r-- 1 root root    9 lug  1 16:12 data/EASample2.db/neostore.propertystore.db.index.keys.id
-rw-r--r-- 1 root root    9 lug  1 16:12 data/EASample2.db/neostore.propertystore.db.strings.id
-rw-r--r-- 1 root root    9 lug  1 16:12 data/EASample2.db/neostore.relationshipstore.db.id
-rw-r--r-- 1 root root    9 lug  1 16:12 data/EASample2.db/neostore.relationshiptypestore.db.id
-rw-r--r-- 1 root root    9 lug  1 16:12 data/EASample2.db/neostore.relationshiptypestore.db.names.id

使用

Neo4j 1.9.7
Java 1.7.0_55
CPU Intel Core i7-2630QM 2 Ghz / Turbo boost to 2.9 Ghz
4 GB DDR3 RAM
Ubuntu 14.04 LTS

neo4j.properties

# Default values for the low-level graph engine
#neostore.nodestore.db.mapped_memory=25M
#neostore.relationshipstore.db.mapped_memory=50M
#neostore.propertystore.db.mapped_memory=90M
#neostore.propertystore.db.strings.mapped_memory=130M
#neostore.propertystore.db.arrays.mapped_memory=130M

#add by me
use_memory_mapped_buffers=true

# Enable this to be able to upgrade a store from 1.4 -> 1.5 or 1.4 -> 1.6
#allow_store_upgrade=true

# Enable this to specify a parser other than the default one. 1.5, 1.6, 1.7 are available
#cypher_parser_version=1.6

# Keep logical logs, helps debugging but uses more disk space, enabled for
# legacy reasons To limit space needed to store historical logs use values such
# as: "7 days" or "100M size" instead of "true"
keep_logical_logs=true

# Autoindexing

# Enable auto-indexing for nodes, default is false
#node_auto_indexing=true

# The node property keys to be auto-indexed, if enabled
#node_keys_indexable=name,age

# Enable auto-indexing for relationships, default is false
#relationship_auto_indexing=true

# The relationship property keys to be auto-indexed, if enabled
#relationship_keys_indexable=name,age

neo4j-wrapper.conf

wrapper.java.additional=-Dorg.neo4j.server.properties=conf/neo4j-server.properties
wrapper.java.additional=-Djava.util.logging.config.file=conf/logging.properties
wrapper.java.additional=-Dlog4j.configuration=file:conf/log4j.properties

#********************************************************************
# JVM Parameters
#********************************************************************

wrapper.java.additional=-XX:+UseConcMarkSweepGC
wrapper.java.additional=-XX:+CMSClassUnloadingEnabled

# Uncomment the following lines to enable garbage collection logging
#wrapper.java.additional=-Xloggc:data/log/neo4j-gc.log
#wrapper.java.additional=-XX:+PrintGCDetails
#wrapper.java.additional=-XX:+PrintGCDateStamps
#wrapper.java.additional=-XX:+PrintGCApplicationStoppedTime
#wrapper.java.additional=-XX:+PrintPromotionFailure
#wrapper.java.additional=-XX:+PrintTenuringDistribution

# Uncomment the following lines to enable JVM startup diagnostics
#wrapper.java.additional=-XX:+PrintFlagsFinal
#wrapper.java.additional=-XX:+PrintFlagsInitial

# Java Heap Size: by default the Java heap size is dynamically
# calculated based on available system resources.
# Uncomment these lines to set specific initial and maximum
# heap size in MB.
wrapper.java.initmemory=128
wrapper.java.maxmemory=512

#********************************************************************
# Wrapper settings
#********************************************************************
# path is relative to the bin dir
wrapper.pidfile=../data/neo4j-server.pid

#********************************************************************
# Wrapper Windows NT/2000/XP Service Properties
#********************************************************************
# WARNING - Do not modify any of these properties when an application
#  using this configuration file has been installed as a service.
#  Please uninstall the service before modifying this section.  The
#  service can then be reinstalled.

# Name of the service
wrapper.name=neo4j

# User account to be used for linux installs. Will default to current
# user if not set.
wrapper.user=

如您所见，我保留了映射的默认配置（因为我的图表似乎适合它们）并且我将堆更改为 128M - 512M（根据手册应该可以工作）我注意到只有一个 CPU 内核在充分使用在查询期间，但据我所知，这是正常的，因为遍历一次只能在一个核心上发生。同样使用 jvisualvm 我注意到该过程从未达到完整的堆使用量（在一个小时内，我离开它的时间更长）。GC 似乎不是问题，因为它的活跃度约为 1.4/1.6%。CPU 使用率约为 20%

如果我在 Cypher 中运行查询，也会遇到同样的问题

start bus1=node(9)
match bus1-->app1-->db<--app2<--bus2
where bus1 <> bus2
return db.value, bus2.value

是硬件问题吗（我的笔记本电脑不是我所知道的最好的），我应该尝试使用更多 RAM 来增加堆的东西（我可以在笔记本电脑开始使用交换之前将它提升到 1Gb）还是在那里'还有一些曲调可以做更多的事情吗？或者可能是查询问题？

编辑

在我写完之后，我尝试在密码查询中插入一个不同的子句并执行它 cia shell（阅读这个答案我想我可能会遇到类似的问题）。查询在 83118 毫秒后完成，结果为 374K+。所以我认为这不是数据库的调优问题，而是 SPARQL 查询写得不好。

编辑 Cypher 查询

start bus1=node(9)
match bus1-->app1-->db<--app2<--bus2
where bus1 <> bus2
return distinct db.value, bus2.value

结果（摘录）：

| "http://neo4j.org#Database214"  | "http://neo4j.org#BusinessProcess87"  |
| "http://neo4j.org#Database214"  | "http://neo4j.org#BusinessProcess37"  |
| "http://neo4j.org#Database214"  | "http://neo4j.org#BusinessProcess118" |
| "http://neo4j.org#Database214"  | "http://neo4j.org#BusinessProcess79"  |
| "http://neo4j.org#Database214"  | "http://neo4j.org#BusinessProcess39"  |
| "http://neo4j.org#Database214"  | "http://neo4j.org#BusinessProcess63"  |
| "http://neo4j.org#Database214"  | "http://neo4j.org#BusinessProcess112" |
| "http://neo4j.org#Database214"  | "http://neo4j.org#BusinessProcess82"  |
| "http://neo4j.org#Database214"  | "http://neo4j.org#BusinessProcess89"  |
| "http://neo4j.org#Database214"  | "http://neo4j.org#BusinessProcess40"  |
| "http://neo4j.org#Database214"  | "http://neo4j.org#BusinessProcess60"  |
+-------------------------------------------------------------------------+
374501 rows

13251 ms

score 1 · Accepted Answer

这似乎是一个 SPARQL 查询问题。将其更改为：

PREFIX bus:<http://neo4j.org#BusinessProcess> 
SELECT ?bus ?db 
WHERE{ bus:9 ?p1 ?app. 
       ?app ?p2 ?db. 
       ?db ?p2 ?app2. 
       ?app2 ?p1 ?bus. 
       FILTER(?bus != bus:2) }
GROUP BY ?bus ?db

使查询在大约 50 秒内得到一个答案，一开始就有 374k+ 个结果。从 select 和 group by 子句中删除 db，因为在我的情况下，关于共享哪个数据库的信息不是主要的，这是使查询性能更好并在约 5 秒内获得分析器的第二次更改。

score 0 · Accepted Answer

我遇到了类似的问题并增加了

wrapper.java.initmemory=128
wrapper.java.maxmemory=512

为我解决了这个问题。

还要确保

neostore.nodestore.db.mapped_memory=25M
neostore.relationshipstore.db.mapped_memory=50M
neostore.propertystore.db.mapped_memory=90M
neostore.propertystore.db.strings.mapped_memory=130M
neostore.propertystore.db.arrays.mapped_memory=130M

具有等于或大于文件neo4j/data夹中这些相应文件的大小。

performance - 小型数据库的 Neo4j 性能调优

2 回答 2

Related

Reference