tests: Fix incorrect stat.txt ignore when updating refs
authorAndreas Sandberg <andreas.sandberg@arm.com>
Tue, 31 May 2016 10:26:59 +0000 (11:26 +0100)
committerAndreas Sandberg <andreas.sandberg@arm.com>
Tue, 31 May 2016 10:26:59 +0000 (11:26 +0100)
ClassicTest was incorrectly ignoring stats.txt when updating reference
statistics. This was caused by ignore rules being applied too
aggressively when listing reference files. This changeset splits the
ignore rules into two different lists: 1) diff_ignore_files that lists
the files that shouldn't be diff:ed using the normal diff tool, and 2)
ref_ignore_files which lists files that should be ignored by the test
system.

Signed-off-by: Andreas Sandberg <andreas.sandberg@arm.com>
tests/testing/tests.py

index 4c467f25cbedbfde9faafac826481bdc92c1b4ac..cf32e5c83aa2f58c4b38e30af9ead4a7bbe6d336 100644 (file)
@@ -219,11 +219,19 @@ class Test(object):
         return self.test_name
 
 class ClassicTest(Test):
-    diff_ignore_files = [
-        # Stat files use a special stat differ, so don't include them
-        # here.
+    # The diff ignore list contains all files that shouldn't be diffed
+    # using DiffOutFile. These files typically use special-purpose
+    # diff tools (e.g., DiffStatFile).
+    diff_ignore_files = (
+        # Stat files use a special stat differ
         "stats.txt",
-    ]
+    )
+
+    # These files should never be included in the list of
+    # reference files. This list should include temporary files
+    # and other files that we don't care about.
+    ref_ignore_files = (
+    )
 
     def __init__(self, gem5, output_dir, config_tuple,
                  timeout=None,
@@ -251,7 +259,7 @@ class ClassicTest(Test):
         for root, dirs, files in os.walk(ref_dir, topdown=False):
             for f in files:
                 fpath = os.path.join(root[len(ref_dir) + 1:], f)
-                if fpath not in ClassicTest.diff_ignore_files:
+                if fpath not in ClassicTest.ref_ignore_files:
                     yield fpath
 
     def run_units(self):