6

结论
我认为问题已解决。
看起来问题与方法无关,但 XCode 在构建之间没有正确清理项目。
看起来在所有这些测试之后,正在使用的 sqlite 文件仍然是第一个没有被索引的文件......
当心 XCode 4.3.2,我只有 Clean not clean 的问题,或者将文件添加到项目不会自动添加到捆绑资源中...
感谢不同的答案..

更新 3
由于我邀请任何人尝试相同的步骤来查看他们是否得到相同的结果,让我详细说明我所做的:
我从空白项目开始
我定义了一个具有一个实体、3 个属性(2 个字符串、1 个浮点数)的数据模型
第一个字符串
在此处输入图像描述

在没有finishLaunchingWithOptions中被索引,我正在调用:

[self performSelectorInBackground:@selector(populateDB) withObject:nil];

populateDb 的代码如下:

-(void)populateDB{
NSLog(@"start");
NSPersistentStoreCoordinator *coordinator = [self persistentStoreCoordinator];
NSManagedObjectContext *context;
if (coordinator != nil) {
    context = [[NSManagedObjectContext alloc] init];
    [context setPersistentStoreCoordinator:coordinator];
}

NSString *filePath = [[NSBundle mainBundle] pathForResource:@"input" ofType:@"txt"];  
if (filePath) {  
    NSString * myText = [[NSString alloc]
                               initWithContentsOfFile:filePath
                               encoding:NSUTF8StringEncoding
                               error:nil];
    if (myText) {
        __block int count = 0;


        [myText enumerateLinesUsingBlock:^(NSString * line, BOOL * stop) {
            line=[line stringByReplacingOccurrencesOfString:@"\t" withString:@" "];
            NSArray *lineComponents=[line componentsSeparatedByString:@" "];
            if(lineComponents){
                if([lineComponents count]==3){
                    float f=[[lineComponents objectAtIndex:0] floatValue];
                    NSNumber *number=[NSNumber numberWithFloat:f];
                    NSString *string1=[lineComponents objectAtIndex:1];
                    NSString *string2=[lineComponents objectAtIndex:2];
                    NSManagedObject *object=[NSEntityDescription insertNewObjectForEntityForName:@"Bigram" inManagedObjectContext:context];
                    [object setValue:number forKey:@"number"];
                    [object setValue:string1 forKey:@"string1"];
                    [object setValue:string2 forKey:@"string2"];
                    NSError *error;
                    count++;
                    if(count>=1000){
                        if (![context save:&error]) {
                            NSLog(@"Whoops, couldn't save: %@", [error localizedDescription]);
                        }
                        count=0;

                    }
                }
            }



        }];
        NSLog(@"done importing");
        NSError *error;
        if (![context save:&error]) {
            NSLog(@"Whoops, couldn't save: %@", [error localizedDescription]);
        }

    }  
}
NSLog(@"end");
}

其他一切都是默认的核心数据代码,没有添加任何内容。
我在模拟器中运行它。
我去 ~/Library/Application Support/iPhone Simulator/5.1/Applications//Documents
有生成的sqlite文件

我把它复制到我的包中

我注释掉对populateDb的调用

我编辑persistentStoreCoordinator来复制首次运行时从捆绑包到文档的 sqlite 文件

- (NSPersistentStoreCoordinator *)persistentStoreCoordinator 
{
@synchronized (self)
{
    if (__persistentStoreCoordinator != nil)
        return __persistentStoreCoordinator;

    NSString *defaultStorePath = [[NSBundle mainBundle] pathForResource:@"myProject" ofType:@"sqlite"];
    NSString *storePath = [[[self applicationDocumentsDirectory] path] stringByAppendingPathComponent: @"myProject.sqlite"];

    NSError *error;
    if (![[NSFileManager defaultManager] fileExistsAtPath:storePath]) 
    {
        if ([[NSFileManager defaultManager] copyItemAtPath:defaultStorePath toPath:storePath error:&error])
            NSLog(@"Copied starting data to %@", storePath);
        else 
            NSLog(@"Error copying default DB to %@ (%@)", storePath, error);
    }

    NSURL *storeURL = [NSURL fileURLWithPath:storePath];

    __persistentStoreCoordinator = [[NSPersistentStoreCoordinator alloc] initWithManagedObjectModel:[self managedObjectModel]];

    NSDictionary *options = [NSDictionary dictionaryWithObjectsAndKeys:
                             [NSNumber numberWithBool:YES], NSMigratePersistentStoresAutomaticallyOption,
                             [NSNumber numberWithBool:YES], NSInferMappingModelAutomaticallyOption, nil];

    if (![__persistentStoreCoordinator addPersistentStoreWithType:NSSQLiteStoreType configuration:nil URL:storeURL options:options error:&error]) 
    {

        NSLog(@"Unresolved error %@, %@", error, [error userInfo]);
        abort();
    }    

    return __persistentStoreCoordinator;
}    
}


我从模拟器中删除应用程序,我检查 ~/Library/Application Support/iPhone Simulator/5.1/Applications/ 现在已删除
我重新构建并再次启动
正如预期的那样,sqlite 文件被复制到 ~/Library/Application Support/ iPhone模拟器/5.1/Applications//文档

但是文件的大小比捆绑包中的要小,显着! 此外,使用这样的谓词进行简单查询 predicate = [NSPredicate predicateWithFormat:@"string1 == %@", string1]; 清楚地表明 string1 不再被索引

之后,我创建了一个新版本的数据模型,进行了无意义的更新,只是为了强制进行轻量级迁移
如果在模拟器上运行,迁移需要几秒钟,数据库大小翻倍现在,相同的查询只需不到一秒的时间即可返回,而不是几分钟。
这将解决我的问题,强制迁移,但同样的迁移在 iPad 上需要 3 分钟并且发生在前台。
所以这就是我现在所处的位置,对我来说最好的解决方案仍然是防止索引被删除,在启动时任何其他导入解决方案都需要太多时间。
如果您需要更多说明,请告诉我...

更新 2
因此,到目前为止,我得到的最好结果是使用从具有类似数据模型的快速工具生成的 sqlite 文件为核心数据数据库播种,但在生成 sqlite 文件时没有设置索引。然后,我将这个 sqlite 文件导入核心数据应用程序并设置索引,并允许进行轻量级迁移。对于新 iPad 上的 200 万条记录,此迁移剧照需要 3 分钟。最终的应用程序应该有这个数量的 5 倍的记录,所以我们仍然在寻找一个很长的处理时间。如果我走那条路,新的问题将是:可以在后台执行轻量级迁移吗?

更新
我的问题不是如何创建一个工具来填充核心数据数据库,然后将 sqlite 文件导入我的应用程序。
我知道该怎么做,我已经做过无数次了。
但直到现在,我还没有意识到这种方法可能会产生一些副作用:在我的例子中,当以这种方式导入 sqlite 文件时,结果数据库中的索引属性显然被“未索引”。
如果您能够验证在此类传输后任何索引数据仍然被索引,我很想知道您如何进行,或者以其他方式有效地播种此类数据库的最佳策略是什么。

原来的

我有一个包含 4 列、字符串和浮点数的大型 CSV 文件(数百万行)。这适用于 iOS 应用程序。

我需要在第一次加载应用程序时将其加载到核心数据中。

该应用程序在数据可用之前几乎无法运行,因此加载时间很重要,因为第一次使用的用户显然不希望应用程序在能够运行之前加载 20 分钟。

现在,我当前的代码在新 iPad 上需要 20 分钟来处理一个 200 万行的 csv 文件。

我正在使用后台上下文来不锁定 UI,并每 1,000 条记录保存一次上下文

我的第一个想法是在模拟器上生成数据库,然后在首次启动时将其复制/粘贴到文档文件夹中,因为这是播种大型数据库的常见非官方方式。不幸的是,索引似乎无法在这样的传输中幸存下来,尽管数据库在几秒钟后就可以使用,但性能很糟糕,因为我的索引丢失了。我已经发布了一个关于索引的问题,但似乎没有一个好的答案。

所以我要找的是:

  • 一种提高在核心数据中加载数百万条记录的性能的方法
  • 如果数据库在第一次启动时被预加载和移动,这是一种保留我的索引的方法
  • 处理这种情况的最佳实践。我不记得使用过任何需要我在第一次使用前等待 x 分钟的应用程序(但也许是 The Daily,那是一次糟糕的体验)。
  • 任何让用户在不知不觉中等待的创造性方法:在浏览教程时进行后台导入等......
  • 不使用核心数据?
  • ...
4

2 回答 2

6

使用 Cocoa 编写的离线应用程序(例如,命令行实用程序)预生成数据库,该应用程序在 OS X 上运行,并使用与 iOS 相同的 Core Data 框架。您无需担心“索引是否存在”或任何其他问题——输出是 Core Data 生成的 .sqlite 数据库文件,iOS 应用程序可以直接立即使用。

只要您可以离线生成数据库,这是迄今为止最好的解决方案。我自己已经成功地使用这种技术为 iOS 部署预先生成了数据库。查看我以前的问题/答案以获取更多详细信息。

于 2012-05-04T06:43:56.217 回答
0

我刚开始使用 SQLite,我需要将数据库集成到我的一个应用程序中,该应用程序将在 SQLite 数据库中包含大量索引数据。我希望我可以做一些方法,我可以将我的信息批量插入 SQLite 文件并将该文件添加到我的项目中。在发现并阅读了您的问题、提供的答案和大量评论后,我决定查看 SQLite 源代码,看看我是否可以对这个问题做出正面或反面。

我最初的想法是,SQLite 的 iOS 实现实际上是在丢弃你的索引。原因是您最初在 x86/x64 系统上创建数据库索引。iOS 是 ARM 处理器,数字的处理方式不同。如果您希望您的索引快速,您应该以这样一种方式生成它们,以便它们针对将在其中搜索它们的处理器进行优化。

由于 SQLite 适用于多个平台,因此可以删除在另一个架构中创建的任何索引并重新构建它们。然而,由于没有人愿意等待索引在第一次被访问时重建,SQLite 开发人员很可能决定只删除索引。

在深入研究 SQLite 代码后,我得出结论,这很可能发生。如果不是出于处理器体系结构的原因,我确实找到了代码(请参阅analyze.c参考资料中的其他元信息sqliteint.h),如果索引是在意外上下文中生成的,则它们会被删除。我的预感是驱动这个过程的上下文是如何为现有密钥构建底层 b-tree 数据结构。如果当前 SQLite 实例无法使用该密钥,则会将其删除。

值得一提的是,iOS Simulator 就是一个模拟器。它不是硬件的模拟器。因此,您的应用程序运行在伪 iOS 设备上,运行在 x86/x64 处理器上。

当您的应用程序和 SQLite DB 加载到您的 iOS 设备时,会加载一个 ARM 编译的变体,该变体还链接到 iOS 中的 ARM 编译库。我找不到与 SQLite 相关的 ARM 特定代码,所以我想 Apple 必须将其修改为适合他们的套装。这也可能是问题的一部分。这可能不是根 SQLite 代码的问题,它可能是 Apple/ARM 编译变体的问题。

我能想出的唯一合理的解决方案是您可以创建一个在您的 iOS 机器上运行的生成器应用程序。运行应用程序,构建密钥,然后从设备中提取 SQLite 文件。我想这样的文件可以在所有设备上运行,因为 iOS 使用的所有 ARM 处理器都是 32 位的。

同样,这个答案是一个有根据的猜测。我将把你的问题重新标记为 SQLite。希望大师可以发现这一点并能够权衡这个问题。为了自己的利益,我真的很想知道真相。

于 2013-01-29T13:29:59.527 回答