ruby-on-rails - 如何设置 RSpec 以进行“侧面”的性能测试

Question

我们在 Rails 项目中使用 RSpec 进行单元测试。我想在 RSpec 中设置一些性能测试，但要以不破坏“常规”功能和固定装置的方式进行。

理想情况下，我能够以某种方式标记我的性能规格，这样它们就不会默认运行。然后，当我明确指定运行这些规范时，它将加载一组不同的夹具（使用更大且更“类似生产”的数据集进行性能测试是有意义的）。

这可能吗？似乎应该如此。

有没有人设置过这样的东西？你是怎么做的？

Answer 1

我设法通过以下方式获得了我想要的东西：

# Exclude :performance tagged specs by default
config.filter_run_excluding :performance => true

# When we're running a performance test load the test fixures:
config.before(:all, :performance => true) do
  # load performance fixtures
  require 'active_record/fixtures'
  ActiveRecord::Fixtures.reset_cache
  ActiveRecord::Fixtures.create_fixtures('spec/perf_fixtures', File.basename("products.yml", '.*'))
  ActiveRecord::Fixtures.create_fixtures('spec/perf_fixtures', File.basename("ingredients.yml", '.*'))
end

# define an rspec helper for takes_less_than
require 'benchmark'
RSpec::Matchers.define :take_less_than do |n|
  chain :seconds do; end
  match do |block|
    @elapsed = Benchmark.realtime do
      block.call
    end
    @elapsed <= n
  end
end

# example of a performance test
describe Api::ProductsController, "API Products controller", :performance do
  it "should fetch all the products reasonably quickly" do
    expect do
      get :index, :format => :json
    end.to take_less_than(60).seconds
  end
end

但我倾向于同意 Marnen 的观点，即这并不是性能测试的最佳主意。

Answer 2

我创建了rspec-benchmark Ruby gem 用于在 RSpec 中编写性能测试。它对测试速度、资源使用和可扩展性有很多期望。

例如，要测试您的代码有多快：

expect { ... }.to perform_under(60).ms

或者与另一个实现进行比较：

expect { ... }.to perform_faster_than { ... }.at_least(5).times

或测试计算复杂度：

expect { ... }.to perform_logarithmic.in_range(8, 100_000)

或者查看分配了多少对象：

expect {
  _a = [Object.new]
  _b = {Object.new => 'foo'}
}.to perform_allocation({Array => 1, Object => 2}).objects

Answer 3

如果你想做性能测试，为什么不运行 New Relic 或者带有生产数据快照的东西呢？我认为，您实际上并不需要不同的规格。