1

我想将数据（21M 行）从 mysql 数据库传输到 DynamoDB。我正在使用 boto Python API 和 django 1.3.1 从 mysql 导出数据并将其传输到 DynamoDB。下面是代码：

      conn = boto.connect_dynamodb()
      start_date = datetime.date(2012, 3, 1)
      end_date = datetime.date(2012, 3, 31)
      episode_report = TableName.objects.filter(viewdt__range=(start_date, end_date))
      #Paginate 21 million rows in chunks of 1000 each
      p = Paginator(episode_report, 1000)
      table = conn.get_table('ep_march')
      for page in range(1, p.num_pages + 1): 
          for items in p.page(page).object_list:
              item_data = {
                        'id': int(items.id),
                        'user_id': format_user(items.user),     #Foreign Key to User table
                        'episode_id': int(items.episode.id),          #Foreign Key to Episode table
                        'series_id': int(items.series.id),      #Foreign Key to Series Table
                        'viewdt': str(items.viewdt),                   
                     }
              item = table.new_item(
                                    # Our hash key is 'id'
                                    hash_key= int(items.id),
                                    # Our range key is 'viewdt'
                                    range_key= str(items.viewdt),
                                    # This has the
                                    attrs=item_data
                                )
              item.put()

问题是该进程已经运行了超过 12 个小时，并且仍然传输了 3M 行。有什么想法可以加快这个过程吗？

我会创建更多线程并对传输进行并行化，看看是否有帮助。

谢谢。

4

2 回答 2

2

首先，您的 DynamoDB 表的预置吞吐量是多少？这将最终控制您可以进行多少次写入/秒。相应调整。

其次，获得某种并发性。您可以使用线程（确保每个线程都有自己的连接对象，因为 httplib.py 不是线程安全的），或者您可以使用 gevent 或 multiprocess 或任何您喜欢的机制，但并发性是关键。

于 2012-04-05T14:35:45.073 回答
2

Amazon 将批量数据传入和传出 DynamoDB 的解决方案是使用 Elastic MapReduce。以下是文档：http ://docs.amazonwebservices.com/amazondynamodb/latest/developerguide/EMRforDynamoDB.html

于 2012-04-05T19:43:36.360 回答