我有一个应用程序，现在需要根据用户的选择下载数百个小型 PDF。我遇到的问题是它需要花费大量时间，因为每次它都必须打开一个新连接。我知道我可以使用 GCD 进行异步下载，但我将如何分批执行此操作，大约 10 个文件。是否有一个已经这样做的框架，或者这是我必须建立自己的东西？
问问题
23343 次
6 回答
47
这个答案现在已经过时了。现在它NSURLConnection已被弃用并且NSURLSession现在可用，它为下载一系列文件提供了更好的机制，避免了这里设想的解决方案的大部分复杂性。请参阅我讨论的其他答案NSURLSession。
出于历史目的，我将在下面保留这个答案。
我确信有很多很棒的解决方案，但是我写了一个小的下载管理器来处理这个场景，你想下载一堆文件。只需将单个下载添加到下载管理器中，当一个下载完成后，它将启动下一个排队的下载。您可以指定您希望它同时执行多少个（我默认为四个），因此不需要批处理。如果不出意外，这可能会引发一些关于如何在自己的实现中执行此操作的想法。
请注意，这有两个优点：
如果您的文件很大，这永远不会将整个文件保存在内存中，而是在下载时将其流式传输到持久存储。这显着减少了下载过程的内存占用。
在下载文件时，会有委托协议通知您或下载进度。
我试图在下载管理器 github 页面的主页上描述所涉及的类和正确操作。
不过，我应该说，这是为了解决一个特定问题而设计的，我想在下载大文件时跟踪它们的下载进度，并且我不想将整个文件保存在一个内存中时间（例如，如果您正在下载一个 100mb 的文件，您真的想在下载时将其保存在 RAM 中吗？）。
虽然我的解决方案解决了这些问题，但如果您不需要，还有使用操作队列的更简单的解决方案。事实上，你甚至暗示了这种可能性：
我知道我可以使用 GCD 进行异步下载，但我将如何分批执行此操作，大约 10 个文件。...
我不得不说，做异步下载让我觉得是正确的解决方案，而不是试图通过批量下载来缓解下载性能问题。
您谈到使用 GCD 队列。就我个人而言，我只是创建一个操作队列，这样我就可以指定我想要多少并发操作，然后使用方法下载各个文件，NSData使每次下载都是自己的操作。dataWithContentsOfURLwriteToFile:atomically:
因此，例如，假设您有一组要下载的文件 URL，它可能是：
NSOperationQueue *queue = [[NSOperationQueue alloc] init];
queue.maxConcurrentOperationCount = 4;
for (NSURL* url in urlArray)
{
[queue addOperationWithBlock:^{
NSData *data = [NSData dataWithContentsOfURL:url];
NSString *filename = [documentsPath stringByAppendingString:[url lastPathComponent]];
[data writeToFile:filename atomically:YES];
}];
}
很好很简单。通过设置queue.maxConcurrentOperationCount您享受并发性，同时不会因过多的并发请求而破坏您的应用程序（或服务器）。
如果您需要在操作完成时收到通知，您可以执行以下操作：
NSOperationQueue *queue = [[NSOperationQueue alloc] init];
queue.maxConcurrentOperationCount = 4;
NSBlockOperation *completionOperation = [NSBlockOperation blockOperationWithBlock:^{
[[NSOperationQueue mainQueue] addOperationWithBlock:^{
[self methodToCallOnCompletion];
}];
}];
for (NSURL* url in urlArray)
{
NSBlockOperation *operation = [NSBlockOperation blockOperationWithBlock:^{
NSData *data = [NSData dataWithContentsOfURL:url];
NSString *filename = [documentsPath stringByAppendingString:[url lastPathComponent]];
[data writeToFile:filename atomically:YES];
}];
[completionOperation addDependency:operation];
}
[queue addOperations:completionOperation.dependencies waitUntilFinished:NO];
[queue addOperation:completionOperation];
这将做同样的事情，除了当所有下载完成时它会调用methodToCallOnCompletion主队列。
于 2012-12-22T01:05:12.843 回答
20
顺便说一句，iOS 7（和 Mac OS 10.9）提供URLSession和URLSessionDownloadTask，它可以很好地处理这个问题。如果您只想下载一堆文件，可以执行以下操作：
NSURLSessionConfiguration *configuration = [NSURLSessionConfiguration defaultSessionConfiguration];
NSURLSession *session = [NSURLSession sessionWithConfiguration:configuration];
NSString *documentsPath = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES)[0];
NSFileManager *fileManager = [NSFileManager defaultManager];
for (NSString *filename in self.filenames) {
NSURL *url = [baseURL URLByAppendingPathComponent:filename];
NSURLSessionTask *downloadTask = [session downloadTaskWithURL:url completionHandler:^(NSURL *location, NSURLResponse *response, NSError *error) {
NSString *finalPath = [documentsPath stringByAppendingPathComponent:filename];
BOOL success;
NSError *fileManagerError;
if ([fileManager fileExistsAtPath:finalPath]) {
success = [fileManager removeItemAtPath:finalPath error:&fileManagerError];
NSAssert(success, @"removeItemAtPath error: %@", fileManagerError);
}
success = [fileManager moveItemAtURL:location toURL:[NSURL fileURLWithPath:finalPath] error:&fileManagerError];
NSAssert(success, @"moveItemAtURL error: %@", fileManagerError);
NSLog(@"finished %@", filename);
}];
[downloadTask resume];
}
也许，鉴于您的下载需要“大量时间”，您可能希望它们在应用程序进入后台后继续下载。如果是这样，您可以使用backgroundSessionConfiguration而不是defaultSessionConfiguration（尽管您必须实现NSURLSessionDownloadDelegate方法，而不是使用completionHandler块）。这些后台会话速度较慢，但是即使用户离开了您的应用程序，它们也会再次发生。因此：
- (void)startBackgroundDownloadsForBaseURL:(NSURL *)baseURL {
NSURLSession *session = [self backgroundSession];
for (NSString *filename in self.filenames) {
NSURL *url = [baseURL URLByAppendingPathComponent:filename];
NSURLSessionTask *downloadTask = [session downloadTaskWithURL:url];
[downloadTask resume];
}
}
- (NSURLSession *)backgroundSession {
static NSURLSession *session = nil;
static dispatch_once_t onceToken;
dispatch_once(&onceToken, ^{
NSURLSessionConfiguration *configuration = [NSURLSessionConfiguration backgroundSessionConfiguration:kBackgroundId];
session = [NSURLSession sessionWithConfiguration:configuration delegate:self delegateQueue:[NSOperationQueue mainQueue]];
});
return session;
}
#pragma mark - NSURLSessionDownloadDelegate
- (void)URLSession:(NSURLSession *)session downloadTask:(NSURLSessionDownloadTask *)downloadTask didFinishDownloadingToURL:(NSURL *)location {
NSString *documentsPath = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES)[0];
NSString *finalPath = [documentsPath stringByAppendingPathComponent:[[[downloadTask originalRequest] URL] lastPathComponent]];
NSFileManager *fileManager = [NSFileManager defaultManager];
BOOL success;
NSError *error;
if ([fileManager fileExistsAtPath:finalPath]) {
success = [fileManager removeItemAtPath:finalPath error:&error];
NSAssert(success, @"removeItemAtPath error: %@", error);
}
success = [fileManager moveItemAtURL:location toURL:[NSURL fileURLWithPath:finalPath] error:&error];
NSAssert(success, @"moveItemAtURL error: %@", error);
}
- (void)URLSession:(NSURLSession *)session downloadTask:(NSURLSessionDownloadTask *)downloadTask didResumeAtOffset:(int64_t)fileOffset expectedTotalBytes:(int64_t)expectedTotalBytes {
// Update your UI if you want to
}
- (void)URLSession:(NSURLSession *)session downloadTask:(NSURLSessionDownloadTask *)downloadTask didWriteData:(int64_t)bytesWritten totalBytesWritten:(int64_t)totalBytesWritten totalBytesExpectedToWrite:(int64_t)totalBytesExpectedToWrite {
// Update your UI if you want to
}
- (void)URLSession:(NSURLSession *)session task:(NSURLSessionTask *)task didCompleteWithError:(NSError *)error {
if (error)
NSLog(@"%s: %@", __FUNCTION__, error);
}
#pragma mark - NSURLSessionDelegate
- (void)URLSession:(NSURLSession *)session didBecomeInvalidWithError:(NSError *)error {
NSLog(@"%s: %@", __FUNCTION__, error);
}
- (void)URLSessionDidFinishEventsForBackgroundURLSession:(NSURLSession *)session {
AppDelegate *appDelegate = (id)[[UIApplication sharedApplication] delegate];
if (appDelegate.backgroundSessionCompletionHandler) {
dispatch_async(dispatch_get_main_queue(), ^{
appDelegate.backgroundSessionCompletionHandler();
appDelegate.backgroundSessionCompletionHandler = nil;
});
}
}
顺便说一句，这假设您的应用程序委托具有一个backgroundSessionCompletionHandler属性：
@property (copy) void (^backgroundSessionCompletionHandler)();
如果应用程序被唤醒以处理URLSession事件，则应用程序委托将设置该属性：
- (void)application:(UIApplication *)application handleEventsForBackgroundURLSession:(NSString *)identifier completionHandler:(void (^)())completionHandler {
self.backgroundSessionCompletionHandler = completionHandler;
}
有关背景的 Apple 演示，NSURLSession请参阅简单背景传输示例。
于 2013-12-27T22:53:12.183 回答
2
如果所有 PDF 都来自您控制的服务器，那么一种选择是让单个请求传递您想要的文件列表（作为 URL 上的查询参数）。然后您的服务器可以将请求的文件压缩到一个文件中。
这将减少您需要发出的单个网络请求的数量。当然，您需要更新服务器以处理此类请求，并且您的应用程序需要解压缩返回的文件。但这比发出大量单独的网络请求要高效得多。
于 2012-12-21T20:40:33.833 回答
1
使用 NSOperationQueue 并使每个下载单独的 NSOperation。将队列上的最大并发操作属性设置为您希望能够同时运行的下载数量。我个人会保持在4-6范围内。
这是一篇很好的博客文章，解释了如何进行并发操作。 http://www.dribin.org/dave/blog/archives/2009/05/05/concurrent_operations/
于 2012-12-21T23:42:39.653 回答
0
令人大吃一惊的是下载多个文件时 dataWithContentsOfURL 的速度有多慢！
要自己查看，请运行以下示例：（对于 downloadTaskWithURL，您不需要 downloadQueue，它只是为了便于比较）
- (IBAction)downloadUrls:(id)sender {
[[NSOperationQueue new] addOperationWithBlock:^{
[self download:true];
[self download:false];
}];
}
-(void) download:(BOOL) slow
{
double startTime = CACurrentMediaTime();
NSURLSessionConfiguration* config = [NSURLSessionConfiguration defaultSessionConfiguration];
static NSURLSession* urlSession;
if(urlSession == nil)
urlSession = [NSURLSession sessionWithConfiguration:config delegate:nil delegateQueue:nil];
dispatch_group_t syncGroup = dispatch_group_create();
NSOperationQueue* downloadQueue = [NSOperationQueue new];
downloadQueue.maxConcurrentOperationCount = 10;
NSString* baseUrl = @"https://via.placeholder.com/468x60?text=";
for(int i = 0;i < 100;i++) {
NSString* urlString = [baseUrl stringByAppendingFormat:@"image%d", i];
dispatch_group_enter(syncGroup);
NSURL *url = [NSURL URLWithString:urlString];
[downloadQueue addOperationWithBlock:^{
if(slow) {
NSData *urlData = [NSData dataWithContentsOfURL:url];
dispatch_group_leave(syncGroup);
//NSLog(@"downloaded: %@", urlString);
}
else {
NSURLSessionDownloadTask* task = [urlSession downloadTaskWithURL:url completionHandler:^(NSURL * _Nullable location, NSURLResponse * _Nullable response, NSError * _Nullable error) {
//NSLog(@"downloaded: %@", urlString);
dispatch_group_leave(syncGroup);
}];[task resume];
}
}];
}
dispatch_group_wait(syncGroup, DISPATCH_TIME_FOREVER);
double endTime = CACurrentMediaTime();
NSLog(@"Download time:%.2f", (endTime - startTime));
}
于 2020-04-21T09:28:14.200 回答
-2
没有什么可以“建造”的。只需在 10 个线程中循环遍历接下来的 10 个文件，并在线程完成时获取下一个文件。
于 2012-12-21T20:19:56.460 回答