问题标签 [cloudfiles]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
php - Linux内存管理和大文件
我正在从远程服务器获取图像对象,然后尝试使用他们的 API 将它们上传到 Rackspace 的云文件。想知道 a) 我怎样才能使这个过程更有效率,以及 b) 假设我需要购买更多内存,完成这个任务可能需要多少合理的 RAM(当前的开发服务器只有 512MB)。
在执行脚本时,我是:
- 查询我的本地数据库以获取一组 ID(大约 1000 个)
- 对于每个id,查询一个远程服务器,返回10-20个图片对象之间,每张图片25-30k
- 根据我的数据库中的 id 创建一个 Cloud Files 容器
- 对于从远程服务器返回的每个图像对象,在我的容器中创建一个图像对象,并将图像数据写入该对象
- 使用添加图像的日期时间更新本地数据库中的行
这在一小部分 id 上执行相对较快,但是 100 个(所以 700-1k 图像)可能需要 5-10 分钟,而且除此之外的任何东西似乎都可以无限期地运行。尝试了以下方法,但收效甚微:
- 几分钟后使用 php 的 set_timeout 杀死脚本,认为这会清除分配给执行的内存,让我可以从中断的地方继续工作,并通过较小的部分进行处理。但是,永远不会抛出此错误
- 上传后取消设置包含图像对象的数组键(不仅仅是循环内的引用)。
PHP 的 memory_limit 设置为 128MB,运行“tops”命令我看到用户“www-data”消耗了 16% 的内存资源。但是,它不再出现在用户列表中,但我继续看到:
...但 TIME+ 永远不会改变。我看到仍然有 1 个任务正在运行,但这些值永远不会改变:
为冗长的帖子道歉 - 不完全确定什么(如果有的话)有用。这不是我的专业领域,所以有点抓住稻草。在此先感谢您的帮助。
python - 如何使用 Python 一次将许多文件上传到云文件?
我正在使用cloudfile 模块将文件上传到 rackspace 云文件,使用类似这样的伪代码:
我的问题是我有很多小文件要上传,而且这种方式需要的时间太长。
在文档中,我看到有一个类ConnectionPool,据说可以用来并行上传文件。
有人可以展示我如何让这段代码一次上传多个文件吗?
php - cloudfiles远程文件问题
我正在尝试将文件从远程文件加载到我的云文件容器中。
下面是云文件支持人员给我的示例代码:
我遇到的问题是以下错误:
不确定我在这里没有注意到什么。
cloudfiles - 在英国连接到 Rackspace Cloud Files 时出现问题
知道为什么下面的代码
$auth = new CF_Authentication(USERNAME, API_KEY, NULL, UK_AUTHURL);
在给我
PHP Fatal error: Uncaught exception 'InvalidResponseException' with message 'Unexpected response (): ' in /var/www/sites/mysite/http/inc/rackspace/cloudfiles.php:212
Stack trace:
0 /var/www/sites/mysite/http//test-rackspace.html(17): CF_Authentication->authenticate()
1 {main}
thrown in /var/www/sites/mysite/http/inc/rackspace/cloudfiles.php on line 212
?
以前我错误地尝试使用以下方法连接到美国服务器:
$auth = new CF_Authentication(USERNAME, API_KEY);
这给了我:
PHP Fatal error: Uncaught exception 'AuthenticationException' with message 'Invalid username or access key.' in /var/www/sites/mysite/http/inc/rackspace/cloudfiles.php:209
Stack trace:
0 /var/www/sites/mysite/http/test-rackspace.html(17): CF_Authentication->authenticate()
1 {main}
thrown in /var/www/sites/mysite/http/inc/rackspace/cloudfiles.php on line 209
我已经尝试了 1.7.9 / 1.7.8 / 1.7.6 版本的代码。没有任何区别。
任何帮助都非常感谢,把我的头发扯下来!
amazon-s3 - 在 Amazon EC2、S3 和/或 EBS 上托管和访问 HDF5 文件
我希望在网上放置一个相当大的 HDF5 文件,并将 Amazon S3 和/或 EBS 作为存储它的可能位置,并可能利用一两个 EC2 实例进行后端处理。我正在寻找有关它可以或以前如何完成的实用想法,如果可能的话,请提供指向实际示例的链接。我认为它可以以与某人访问其他嵌入式数据存储上的平面文件相同的方式完成,但如果有可用的实用见解,希望避免重新发明轮子。
ruby-on-rails - Rails + Carrierwave + RS Cloudfiles,如何为一个应用程序使用多个容器?
我正在开发一个使用两个不同上传器的应用程序。我想要做的是将每个上传者分配给不同的云文件容器。我似乎无法找到有关此的任何文档,有人可以帮忙吗?谢谢!!
api - RackSpace Cloudfiles api 错误“未定义的偏移量:8”
尝试将文件上传到机架空间云文件时,我收到此错误。我试图追踪错误的来源,并假设它来自这行代码:
$container = $conn->get_container('test');
这是我得到的完整错误:
这是上传的代码:
ruby-on-rails - Rails send_file 替代 Rackspace Cloudfiles
我正在尝试使用 paperclip-cloudfiles gem 为基于 Rails 3 构建的文件管理系统设置下载链接。send_file 方法在本地托管文件时效果很好,但我需要使用 Rackspace Cloudfiles 系统。我试过设置响应头,它似乎初始化了下载,但是完成后文件是空的。
这是我的下载功能:
我这样做对吗?
我也试过只使用 Rackspace 的 ruby-cloudfiles 库来下载对象,但也没有运气。
php - 检查云文件中是否存在对象(PHP API)
我刚刚开始使用 Rackspace Cloud Files 的 PHP API。到目前为止一切都很好——但我将它用作一种穷人的内存缓存,存储序列化数据的键/值对。
我的应用程序尝试使用以下内容通过其键(API 语言中的“名称”)获取现有缓存对象:
问题是,如果对象不存在,API 会抛出致命错误,而不是简单地返回false
. API 执行此操作的“正确”方法可能是执行
然后检查我$key
在该列表中的值。但是,这似乎比仅从请求返回更耗费时间/ false
CPU get_object
。
有没有办法在云文件中进行“搜索对象”或“检查对象是否存在”?
谢谢
ruby-on-rails - Rails 3 - CarrierWave 和 CloudFiles 非常慢
我有一个 Rails 3 应用程序,我在其中使用 CarrierWave 将文件(照片)上传到 Rackspace CloudFiles。这完美地工作。但是,当在页面上显示 10 到 20 张照片的列表时,需要很长时间 > 15 秒。似乎需要时间来解决或将每个 URL 重新组合在一起。
这是否与此类似的问题,但对于 :cloud_files 提供者:
https ://github.com/jnicklas/carrierwave/issues/261
有什么好的解决方法吗?我不需要验证每个文件是否有效。
更新:
只是想分享这个信息。我切换到带有 Fog 的 CarrierWave - Fog 配置为使用 Cloud Files,但问题不存在。问题解决了。其他人也有这种经历吗?