postgresql - 解析用户使用表的 postgres 日志

Question

作为数据库清理工作的一部分，我正在审核使用了多少现有数据库表以及哪些用户使用了这些表。使用日志文件似乎是获取这些数据的一种自然方式。我们运行 pgBadger 以获取性能报告，但我所描述的使用情况报告不存在。有谁知道一个工具（pgBadger 或其他）可以从日志中提取表和用户信息，以便我可以计算汇总统计信息？我想利用现有工具而不是滚动我自己的日志解析器。

Answer 1

我最终写了一个 hacky 日志解析器。

import re
import psqlparse
import json

statement_re = r"^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2} UTC:[^:]*:(?P<user>\w+)@(?P<db>\w+):.*statement:\s+(?P<stmt>.*)"
log_re = r"^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}"

def parse_logs(log_file):
    with open(log_file, 'r') as f:
        state = 'looking'
        info = None
        for line in f:
            if state == 'found':
                if re.match(log_re, line) is None:
                    info['stmt'].append(line.strip())
                else:
                    info['stmt'] = "\n".join(info['stmt']).strip()
                    try:
                        parsed_stmt = psqlparse.parse(info['stmt'])[0]
                        info['stmt_type'] = str(type(parsed_stmt)).split(".")[-1][0:-6].lower()
                        info['tables'] = list(parsed_stmt.tables())
                    except:
                        pass
                    print(json.dumps(info))
                    state = 'looking'
            if state == 'looking':
                m = re.match(statement_re, line)
                if m is not None:
                    stmt = m.group('stmt')
                    if stmt not in {'BEGIN', 'COMMIT', 'ROLLBACK', 'SELECT 1'} and 'show' not in stmt:
                        info = {'user': m.group('user'), 'stmt': [stmt]}
                        state = 'found'

parse_logs('postgresql.log')