1

嗨，我正在尝试使用 sqlalchemy 和 python 请求将从这个api获得的数据保存到我的 postgresql 中的 Json 列中。

r = requests.get(api)

content = r.content

data = json.loads(content)

crawl_item = {}
crawl_item = session.query(CrawlItem).filter_by(site_id=3, href=list_id).first()
crawl_item.description = data['ad']['body']
crawl_item.meta_data = {}
crawl_item.meta_data["ward"] = data['ad_params']['ward']['value']

try:
      session.commit()
except:
      session.rollback()
      raise
finally:
      ret_id = crawl_item.id
      session.close()

我的模型：

class CrawlItem(Base):
    ...
    description = Column(Text)
    meta_data = Column(postgresql.JSON)

我想获得病房的价值：

"ward": {
      "id": "ward",
      "value": "Thị trấn Trạm Trôi",
      "label": " Phường, thị xã, thị trấn"
    }

我已经将我的 postgresql 编码为 utf-8，因此不是 json 列 ( description = Column(Text)) 的其他字段通常保存 utf-8 字符，只有我的 json 列数据不被解码：

在此处输入图像描述

{ 
   "ward":"Th\u1ecb tr\u1ea5n Tr\u1ea1m Tr\u00f4i"
}

描述栏：

描述

元数据列：

元数据

我曾尝试使用：

crawl_item.meta_data["ward"] = data['ad_params']['ward']['value'].decode('utf-8')

但病房数据没有保存

我不知道出了什么问题，希望有人可以帮助我

编辑：

我用 psql 检查了数据并得到了这些：

描述栏：

在此处输入图像描述

元数据列：

在此处输入图像描述

似乎只有 meta_data json 列的字符有问题

4

2 回答 2

2

Sqlalchemy 在保存到 db 之前序列化 JSON 字段（请参阅url和url 和url）。

json_serializer = dialect._json_serializer or json.dumps

默认情况下，PostgreSQL 的方言使用json.dumps和json.loads.

当您使用文本列时，数据将按以下流程进行转换：

str -> bytes in utf-8 encoding

当您使用 PostgreSQL 方言的 JSON 列时，数据将按以下流程进行转换：

dict -> str with escaped non-ascii symbols -> bytes in utf-8 encoding

您可以使用json_serializer以下字段覆盖引擎配置中的序列化程序：

json_serializer=partial(json.dumps, ensure_ascii=False)
于 2019-10-18T09:57:24.797 回答
-1

为您的 json 列使用“jsonb”数据类型或将“meta_data”字段转换为“jsonb”，如下所示：

select meta_data::jsonb from your_table;
于 2021-08-22T22:22:16.193 回答