python - 在烧瓶迁移或 alembic 迁移中创建种子数据

Question

如何在第一次迁移中插入一些种子数据？如果迁移不是最好的地方，那么最好的做法是什么？

"""empty message

Revision ID: 384cfaaaa0be
Revises: None
Create Date: 2013-10-11 16:36:34.696069

"""

# revision identifiers, used by Alembic.
revision = '384cfaaaa0be'
down_revision = None

from alembic import op
import sqlalchemy as sa


def upgrade():
    ### commands auto generated by Alembic - please adjust! ###
    op.create_table('list_type',
    sa.Column('id', sa.Integer(), nullable=False),
    sa.Column('name', sa.String(length=80), nullable=False),
    sa.PrimaryKeyConstraint('id'),
    sa.UniqueConstraint('name')
    )
    op.create_table('job',
    sa.Column('id', sa.Integer(), nullable=False),
    sa.Column('list_type_id', sa.Integer(), nullable=False),
    sa.Column('record_count', sa.Integer(), nullable=False),
    sa.Column('status', sa.Integer(), nullable=False),
    sa.Column('sf_job_id', sa.Integer(), nullable=False),
    sa.Column('created_at', sa.DateTime(), nullable=False),
    sa.Column('compressed_csv', sa.LargeBinary(), nullable=True),
    sa.ForeignKeyConstraint(['list_type_id'], ['list_type.id'], ),
    sa.PrimaryKeyConstraint('id')
    )
    ### end Alembic commands ###

    # ==> INSERT SEED DATA HERE <==


def downgrade():
    ### commands auto generated by Alembic - please adjust! ###
    op.drop_table('job')
    op.drop_table('list_type')
    ### end Alembic commands ###

score 84 · Accepted Answer

作为其操作之一，Alembic 具有bulk_insert(). 该文档提供了以下示例（我包含了一些修复程序）：

from datetime import date
from sqlalchemy.sql import table, column
from sqlalchemy import String, Integer, Date
from alembic import op

# Create an ad-hoc table to use for the insert statement.
accounts_table = table('account',
    column('id', Integer),
    column('name', String),
    column('create_date', Date)
)

op.bulk_insert(accounts_table,
    [
        {'id':1, 'name':'John Smith',
                'create_date':date(2010, 10, 5)},
        {'id':2, 'name':'Ed Williams',
                'create_date':date(2007, 5, 27)},
        {'id':3, 'name':'Wendy Jones',
                'create_date':date(2008, 8, 15)},
    ]
)

还要注意，alembic 有一个execute()操作，就像execute()SQLAlchemy 中的普通函数一样：你可以运行任何你想要的 SQL，如文档示例所示：

from sqlalchemy.sql import table, column
from sqlalchemy import String
from alembic import op

account = table('account',
    column('name', String)
)
op.execute(
    account.update().\
        where(account.c.name==op.inline_literal('account 1')).\
        values({'name':op.inline_literal('account 2')})
        )

请注意，用于创建update语句中使用的元数据的表是直接在模式中定义的。这似乎打破了DRY（不是您的应用程序中已经定义的表），但实际上是非常必要的。如果您尝试使用属于应用程序一部分的表或模型定义，那么当您在应用程序中对表/模型进行更改时，您将中断此迁移。您的迁移脚本应该一成不变：对模型未来版本的更改不应更改迁移脚本。使用应用程序模型意味着定义将根据您检出的模型版本（很可能是最新版本）而改变。因此，您需要在迁移脚本中独立包含表定义。

要讨论的另一件事是您是否应该将种子数据放入作为自己的命令运行的脚本中（例如使用 Flask-Script 命令，如另一个答案所示）。这可以使用，但你应该小心它。如果您加载的数据是测试数据，那是一回事。但我将“种子数据”理解为应用程序正常工作所需的数据。例如，如果您需要在“roles”表中设置“admin”和“user”的记录。这些数据应该作为迁移的一部分插入。请记住，脚本仅适用于最新版本的数据库，而迁移将适用于您要迁移到或从中迁移的特定版本。如果你想要一个脚本来加载角色信息，

此外，通过依赖脚本，您将更难以在迁移之间运行脚本（例如迁移 3->4 要求初始迁移中的种子数据位于数据库中）。您现在需要修改 Alembic 的默认运行方式来运行这些脚本。这仍然没有忽略这些脚本必须随着时间而改变的问题，以及谁知道您从源代码管理中签出的应用程序版本。

score 31 · Accepted Answer

迁移应仅限于模式更改，不仅如此，重要的是，在应用向上或向下迁移时，尽可能保留以前存在于数据库中的数据。在迁移过程中插入种子数据可能会弄乱预先存在的数据。

与 Flask 的大多数事情一样，您可以通过多种方式实现这一点。在我看来，向 Flask-Script 添加一个新命令是一个很好的方法。例如：

@manager.command
def seed():
    "Add seed data to the database."
    db.session.add(...)
    db.session.commit()

那么你运行：

python manager.py seed

score 11 · Accepted Answer

MarkHildreth 很好地解释了 alembic 如何处理这个问题。但是，OP 专门关于如何修改烧瓶迁移迁移脚本。我将在下面发布一个答案，以节省人们不得不研究alembic的时间。

警告 Miguel 的回答对于正常的数据库信息是准确的。也就是说，应该听从他的建议，绝对不要使用这种方法来用“正常”行填充数据库。这种方法专门用于应用程序运行所需的数据库行，一种我认为是“种子”数据的数据。

OP的脚本修改为种子数据：

"""empty message

Revision ID: 384cfaaaa0be
Revises: None
Create Date: 2013-10-11 16:36:34.696069

"""

# revision identifiers, used by Alembic.
revision = '384cfaaaa0be'
down_revision = None

from alembic import op
import sqlalchemy as sa


def upgrade():
    ### commands auto generated by Alembic - please adjust! ###
    list_type_table = op.create_table('list_type',
    sa.Column('id', sa.Integer(), nullable=False),
    sa.Column('name', sa.String(length=80), nullable=False),
    sa.PrimaryKeyConstraint('id'),
    sa.UniqueConstraint('name')
    )
    op.create_table('job',
    sa.Column('id', sa.Integer(), nullable=False),
    sa.Column('list_type_id', sa.Integer(), nullable=False),
    sa.Column('record_count', sa.Integer(), nullable=False),
    sa.Column('status', sa.Integer(), nullable=False),
    sa.Column('sf_job_id', sa.Integer(), nullable=False),
    sa.Column('created_at', sa.DateTime(), nullable=False),
    sa.Column('compressed_csv', sa.LargeBinary(), nullable=True),
    sa.ForeignKeyConstraint(['list_type_id'], ['list_type.id'], ),
    sa.PrimaryKeyConstraint('id')
    )
    ### end Alembic commands ###


    op.bulk_insert(
        list_type_table,
        [
            {'name':'best list'},
            {'name': 'bester list'}
        ]
    )


def downgrade():
    ### commands auto generated by Alembic - please adjust! ###
    op.drop_table('job')
    op.drop_table('list_type')
    ### end Alembic commands ###

flask_migrate 新手的上下文

Flask migrate 在migrations/versions. 这些脚本在数据库上按顺序运行，以便将其升级到最新版本。OP 包含这些自动生成的迁移脚本之一的示例。为了添加种子数据，必须手动修改相应的自动生成的迁移文件。我上面发布的代码就是一个例子。

发生了什么变化？

很少。您会注意到，在新文件中，我将从create_tablefor返回的表存储list_type在一个名为list_type_table. op.bulk_insert然后，我们使用创建一些示例行对该表进行操作。

score 5 · Accepted Answer

您还可以使用 Python 的 faker 库，它可能会更快一些，因为您不需要自己提供任何数据。配置它的一种方法是将方法放在您想要为其生成数据的类中，如下所示。

from extensions import bcrypt, db

class User(db.Model):
    # this config is used by sqlalchemy to store model data in the database
    __tablename__ = 'users'

    id = db.Column(db.Integer, primary_key=True)
    name = db.Column(db.String(150))
    email = db.Column(db.String(100), unique=True)
    password = db.Column(db.String(100))

    def __init__(self, name, email, password, fav_movie):
        self.name = name
        self.email = email
        self.password = password

    @classmethod
    def seed(cls, fake):
        user = User(
            name = fake.name(),
            email = fake.email(),
            password = cls.encrypt_password(fake.password()),
        )
        user.save()

    @staticmethod
    def encrypt_password(password):
        return bcrypt.generate_password_hash(password).decode('utf-8')

    def save(self):
        db.session.add(self)
        db.session.commit()

然后实现一个调用种子方法的方法，它看起来像这样：

from faker import Faker
from users.models import User

fake = Faker()
    for _ in range(100):
        User.seed(fake)

score 2 · Accepted Answer

如果您希望使用单独的函数来播种数据，则可以执行以下操作：

from alembic import op
import sqlalchemy as sa

from models import User

def upgrade():
    op.create_table('users',
        sa.Column('id', sa.Integer(), nullable=False),
        sa.Column('name', sa.String(length=80), nullable=False),
        sa.PrimaryKeyConstraint('id'),
        sa.UniqueConstraint('name')
    )

    # data seed
    seed()


def seed():
    op.bulk_insert(User.__table__,
        [
            {'name': 'user1'},
            {'name': 'user2'},
            ...
        ]
    )

这样，您无需将返回值保存create_table到单独的变量中，然后将其传递给bulk_insert.

python - 在烧瓶迁移或 alembic 迁移中创建种子数据

5 回答 5

Related

Reference