tests: Add a test command to get test status as an exit code
authorAndreas Sandberg <andreas.sandberg@arm.com>
Mon, 20 Jun 2016 13:50:43 +0000 (14:50 +0100)
committerAndreas Sandberg <andreas.sandberg@arm.com>
Mon, 20 Jun 2016 13:50:43 +0000 (14:50 +0100)
commitdd0f54fed65de7962bc5621c4a601579c2f82184
tree6537748ca91716e1ab53abf431799ba056cb239d
parent96b74fd31bc83836feb1006f25673b91729a1f13
tests: Add a test command to get test status as an exit code

Add a "test" command to tests.py that queries a test pickle file and
returns different exit codes depending on the outcome of the tests in
the file. The following exit codes can currently be returned:

  * 0: All tests were successful or skipped.

  * 1: General fault in the script such as incorrect parameters or
    failing to parse a pickle file.

  * 2: At least one test failed to run. This is what the summary
    formatter usually shows as a 'FAILED'.

  * 3: All tests ran correctly, but at least one failed to verify
    its output. When displaying test output using the summary
    formatter, such a test would show up as 'CHANGED'.

The command can be invoked like this:

./tests/tests.py test `find build/ARM/tests/opt/ -name status.pickle`

Change-Id: I7e6bc661516f38ff08dfda7c4359a1e10bf97864
Signed-off-by: Andreas Sandberg <andreas.sandberg@arm.com>
Reviewed-by: Curtis Dunham <curtis.dunham@arm.com>
tests/tests.py