7

我在做什么

编辑:我用我的问题的简化版本创建了一个repo,重现了这个问题。

我正在尝试使用browserstackselenium-webdrivertape设置自动化前端测试。

这个想法是定义多个浏览器和设备,它们必须通过 X 数量的给定测试一个接一个地进行测试。在下面的示例中,我在 OSX 上只定义了一个测试和两个浏览器。

为了只定义一次浏览器并处理测试,我创建了一个存储库test-runner,该存储库应该添加dev-dependency到需要在给定设备和浏览器上测试的存储库中。获得所有需要的test-runner测试通过,启动第一个浏览器,在该浏览器上运行测试,一旦所有测试完成,浏览器就会关闭quit(),下一个浏览器会重新启动并再次测试。

测试运行器

/index.js

const webdriver = require( 'selenium-webdriver' )

// ---
// default browser configs
// ---
const defaults = {
  "os" : "OS X",
  "os_version" : "Mojave",
  "resolution" : "1024x768",
  "browserstack.user" : "username",
  "browserstack.key" : "key",
  "browserstack.console": "errors",
  "browserstack.local" : "true",
  "project" : "element"
}

// ---
// browsers to test
// ---
const browsers = [
  {
    "browserName" : "Chrome",
    "browser_version" : "41.0"
  },
  {
    "browserName" : "Safari",
    "browser_version" : "10.0",
    "os_version" : "Sierra"
  }
]

module.exports = ( tests, url ) => {

  // ---
  // Asynchronous forEach loop
  // helper function
  // ---
  async function asyncForEach(array, callback) {
    for (let index = 0; index < array.length; index++) {
      await callback(array[index], index, array)
    }
  }

  // ---
  // runner
  // ---
  const run = async () => {

    // ---
    // Iterate through all browsers and run the tests on them
    // ---
    await asyncForEach( browsers, async ( b ) => {

      // ---
      // Merge default configs with current browser
      // ---
      const capabilities = Object.assign( {}, defaults, b )

      // ---
      // Start and connect to remote browser
      // ---
      console.info( '-- Starting remote browser hang on --', capabilities.browserName )
      const browser = await new webdriver.Builder().
        usingServer( 'http://hub-cloud.browserstack.com/wd/hub' ).
        withCapabilities( capabilities ).
        build()

      // ---
      // Navigate to page which needs to be checked (url)
      // ---
      console.log('-- Navigate to URL --')
      await browser.get( url )

      // ---
      // Run the tests asynchronously
      // ---
      console.log( '-- Run tests --- ' )
      await asyncForEach( tests, async ( test ) => {
        await test( browser, url, capabilities, webdriver )
      } )

      // ---
      // Quit the remote browser when all tests for this browser are done
      // and move on to next browser
      // Important: if the browser is quit before the tests are done
      // the test will throw an error beacause there is no connection
      //  anymore to the browser session
      // ---
      browser.quit()

    } )

  }

  // ---
  // Start the tests
  // ---
  run()

}

如果你想知道这个asyncForEach功能是如何工作的,我是从这里得到的。

我的回购

/test/front/index.js

const testRunner = require( 'test-runner' )
const url = ( process.env.NODE_ENV == 'development' ) ? 'http://localhost:8888/element/...' : 'https://staging-url/element/...'

// tests to run
const tests = [
  require('./test.js')
]

testRunner( tests, url )

/test/front/test.js

const tape = require( 'tape' )

module.exports = async ( browser, url, capabilities, driver ) => {

  return new Promise( resolve => {

    tape( `Frontend test ${capabilities.browserName} ${capabilities.browser_version}`, async ( t ) => {

      const myButton = await browser.wait( driver.until.elementLocated( driver.By.css( 'my-button:first-of-type' ) ) )

      myButton.click()

      const marked = await myButton.getAttribute( 'marked' )
      t.ok(marked == "true", 'Button marked')

      //---
      // Test should end now
      //---
      t.end()

      resolve()

    } )

  })

}

/package.json

{
  ...
  "scripts": {
    "test": "NODE_ENV=development node test/front/ | tap-spec",
    "travis": "NODE_ENV=travis node test/front/ | tap-spec"
  }
  ...
}

当我想运行我npm run test在 my-repo 中执行的测试时

请记住,我们只有一个测试(但也可以是多个测试)并定义了两个浏览器,因此行为应该是:

  1. 启动浏览器 1 并导航(Chrome)
  2. 在浏览器 1 (Chrome) 上进行一项测试
  3. 关闭浏览器 1 (Chrome)
  4. 启动浏览器 2 并导航 (Safari)
  5. 在浏览器 2 (Safari) 上进行一项测试
  6. 关闭浏览器 2 (Safari)
  7. 完毕

问题

异步的东西似乎工作得很好,浏览器按预期一个接一个地启动。问题是,即使我打电话,第一个测试也没有完成,t.end()而且我没有进行第二个测试(在 4 之后失败。)

在此处输入图像描述

我试过的

我尝试使用t.pass()并运行 CLI,NODE_ENV=development tape test/front/ | tap-spec但没有帮助。我还注意到,当我没有resolve()参加test.js考试时,结果很好,但当然我没有参加下一个考试。

我还尝试像解决这个问题一样调整我的代码,但没有设法让它工作。

同时,我还在磁带 github 页面上打开了一个问题。

所以我希望这个问题阅读起来不会太痛苦,任何帮助都将不胜感激。

4

3 回答 3

3

异步代码似乎tape效果不佳。在他们的 Github 问题页面上查看这些讨论:

https://github.com/substack/tape/issues/223
https://github.com/substack/tape/issues/160

解决方案似乎是tape.add在调用任何异步代码之前在开始时声明您的测试。

如果您只是按顺序打开浏览器,我还会尝试重构一些可能不需要的异步代码。

于 2018-11-10T09:49:37.213 回答
1

所以不幸的是,我还没有得到现有设置的答案,并设法让事情以稍微不同的方式工作。

我发现,只要任何其他进程正在运行,tape()进程就不能。.end()就我而言,它是browser。所以只要浏览器运行,我想tape就不能结束。

在我的示例 repo中,没有browser其他东西必须仍在运行以防止tape结束。

所以我只需要在一个tape过程中定义测试。因为我设法按顺序打开浏览器并测试它现在完全没问题。

如果有很多不同的东西要测试,我会将这些东西拆分到不同的文件中,然后将它们导入到主测试文件中。

capabilities我还从 a导入浏览器dependency,以便只定义一次。

所以这里是代码:

依赖主文件

{
  "browsers": [{
      "browserName": "Chrome",
      "browser_version": "41",
      "os": "Windows",
      "os_version": "10",
      "resolution": "1024x768",
      "browserstack.user": "username",
      "browserstack.key": "key"
    },
    }
      "browserName": "Safari",
      "browser_version": "10.0",
      "os": "OS X",
      "os_version": "Sierra",
      "resolution": "1024x768",
      "browserstack.user": "username",
      "browserstack.key": "key"
    }
  ]
}

测试.js

const tape = require( "tape" )
const { Builder, By, until } = require( 'selenium-webdriver' );
const { browsers } = require( "dependency" )
const browserStack = 'http://hub-cloud.browserstack.com/wd/hub'

tape( "Browsers", async ( t ) => {

  await Promise.all( browsers.map( async ( capa ) => {

    const { browserName, browser_version, os } = capa

    const browser = new Builder().usingServer( browserStack ).withCapabilities( capa ).build();

    await browser.get( 'http://someurl.com' )

    const myButton = await browser.wait( until.elementLocated( By.css( 'my-button:first-of-type' ) ) )

    myButton.click()

    const marked = await myButton.getAttribute( 'marked' )

    t.ok(marked == "true", `${browserName} ${browser_version} ${os}`)

    await browser.quit()

  } ) )

  t.end()

} )
于 2018-11-17T21:06:55.657 回答
0

我会尝试首先简化测试的编写和执行方式:

  1. 您是否尝试过使用磁带二进制文件运行测试?例如tape test/front/test.js
  2. 同时简化test/front/test/js:(您必须弄清楚如何以其他方式传递参数;也许您可以仅出于调试目的对它们进行硬编码?)
const tape = require( 'tape' )

tape( `your test outline`, ( t ) => {

  const alwaysEnd = () => t.end();

  new Promise((resolve, reject) => {
    // your async stuff here...
    // resolve() or reject() at the end
  }).then(alwaysEnd, alwaysEnd);
})
于 2018-11-11T22:26:40.587 回答