scons: Several fixes having to do with tags and sets.
[gem5.git] / src / SConscript
index 02b3c28d4a408c0c102800fd363ced43c1d2857a..961df49d9112f94593ca5a762a5fb7893e9e1d39 100755 (executable)
@@ -34,6 +34,7 @@ import imp
 import marshal
 import os
 import re
+import subprocess
 import sys
 import zlib
 
@@ -41,6 +42,8 @@ from os.path import basename, dirname, exists, isdir, isfile, join as joinpath
 
 import SCons
 
+from gem5_scons import Transform
+
 # This file defines how to build a particular configuration of gem5
 # based on variable settings in the 'env' build environment.
 
@@ -56,51 +59,68 @@ from m5.util import code_formatter, compareVersions
 ########################################################################
 # Code for adding source files of various types
 #
-# When specifying a source file of some type, a set of guards can be
-# specified for that file.  When get() is used to find the files, if
-# get specifies a set of filters, only files that match those filters
-# will be accepted (unspecified filters on files are assumed to be
-# false).  Current filters are:
-#     main -- specifies the gem5 main() function
-#     skip_lib -- do not put this file into the gem5 library
-#     skip_no_python -- do not put this file into a no_python library
-#       as it embeds compiled Python
-#     <unittest> -- unit tests use filters based on the unit test name
-#
-# A parent can now be specified for a source file and default filter
-# values will be retrieved recursively from parents (children override
-# parents).
-#
+# When specifying a source file of some type, a set of tags can be
+# specified for that file.
+
+class SourceList(list):
+    def with_tags_that(self, predicate):
+        '''Return a list of sources with tags that satisfy a predicate.'''
+        def match(source):
+            return predicate(source.tags)
+        return SourceList(filter(match, self))
+
+    def with_any_tags(self, *tags):
+        '''Return a list of sources with any of the supplied tags.'''
+        return self.with_tags_that(lambda stags: len(set(tags) & stags) > 0)
+
+    def with_all_tags(self, *tags):
+        '''Return a list of sources with all of the supplied tags.'''
+        return self.with_tags_that(lambda stags: set(tags) <= stags)
+
+    def with_tag(self, tag):
+        '''Return a list of sources with the supplied tag.'''
+        return self.with_tags_that(lambda stags: tag in stags)
+
+    def without_tags(self, *tags):
+        '''Return a list of sources without any of the supplied tags.'''
+        return self.with_tags_that(lambda stags: len(set(tags) & stags) == 0)
+
+    def without_tag(self, tag):
+        '''Return a list of sources with the supplied tag.'''
+        return self.with_tags_that(lambda stags: tag not in stags)
+
 class SourceMeta(type):
     '''Meta class for source files that keeps track of all files of a
-    particular type and has a get function for finding all functions
-    of a certain type that match a set of guards'''
+    particular type.'''
     def __init__(cls, name, bases, dict):
         super(SourceMeta, cls).__init__(name, bases, dict)
-        cls.all = []
-
-    def get(cls, **guards):
-        '''Find all files that match the specified guards.  If a source
-        file does not specify a flag, the default is False'''
-        for src in cls.all:
-            for flag,value in guards.iteritems():
-                # if the flag is found and has a different value, skip
-                # this file
-                if src.all_guards.get(flag, False) != value:
-                    break
-            else:
-                yield src
+        cls.all = SourceList()
 
 class SourceFile(object):
     '''Base object that encapsulates the notion of a source file.
     This includes, the source node, target node, various manipulations
-    of those.  A source file also specifies a set of guards which
-    describing which builds the source file applies to.  A parent can
-    also be specified to get default guards from'''
+    of those.  A source file also specifies a set of tags which
+    describing arbitrary properties of the source file.'''
     __metaclass__ = SourceMeta
-    def __init__(self, source, parent=None, **guards):
-        self.guards = guards
-        self.parent = parent
+
+    static_objs = {}
+    shared_objs = {}
+
+    def __init__(self, source, tags=None, add_tags=None):
+        if tags is None:
+            tags='gem5 lib'
+        if isinstance(tags, basestring):
+            tags = set([tags])
+        if not isinstance(tags, set):
+            tags = set(tags)
+        self.tags = tags
+
+        if add_tags:
+            if isinstance(add_tags, basestring):
+                add_tags = set([add_tags])
+            if not isinstance(add_tags, set):
+                add_tags = set(add_tags)
+            self.tags |= add_tags
 
         tnode = source
         if not isinstance(source, SCons.Node.FS.File):
@@ -113,6 +133,18 @@ class SourceFile(object):
             if issubclass(base, SourceFile):
                 base.all.append(self)
 
+    def static(self, env):
+        key = (self.tnode, env['OBJSUFFIX'])
+        if not key in self.static_objs:
+            self.static_objs[key] = env.StaticObject(self.tnode)
+        return self.static_objs[key]
+
+    def shared(self, env):
+        key = (self.tnode, env['OBJSUFFIX'])
+        if not key in self.shared_objs:
+            self.shared_objs[key] = env.SharedObject(self.tnode)
+        return self.shared_objs[key]
+
     @property
     def filename(self):
         return str(self.tnode)
@@ -134,16 +166,6 @@ class SourceFile(object):
 
         return self.basename[:index], self.basename[index+1:]
 
-    @property
-    def all_guards(self):
-        '''find all guards for this object getting default values
-        recursively from its parents'''
-        guards = {}
-        if self.parent:
-            guards.update(self.parent.guards)
-        guards.update(self.guards)
-        return guards
-
     def __lt__(self, other): return self.filename < other.filename
     def __le__(self, other): return self.filename <= other.filename
     def __gt__(self, other): return self.filename > other.filename
@@ -151,22 +173,30 @@ class SourceFile(object):
     def __eq__(self, other): return self.filename == other.filename
     def __ne__(self, other): return self.filename != other.filename
 
+class Source(SourceFile):
+    ungrouped_tag = 'No link group'
+    source_groups = set()
+
+    _current_group_tag = ungrouped_tag
+
     @staticmethod
-    def done():
-        def disabled(cls, name, *ignored):
-            raise RuntimeError("Additional SourceFile '%s'" % name,\
-                  "declared, but targets deps are already fixed.")
-        SourceFile.__init__ = disabled
+    def link_group_tag(group):
+        return 'link group: %s' % group
 
+    @classmethod
+    def set_group(cls, group):
+        new_tag = Source.link_group_tag(group)
+        Source._current_group_tag = new_tag
+        Source.source_groups.add(group)
 
-class Source(SourceFile):
-    '''Add a c/c++ source file to the build'''
-    def __init__(self, source, Werror=True, swig=False, **guards):
-        '''specify the source file, and any guards'''
-        super(Source, self).__init__(source, **guards)
+    def _add_link_group_tag(self):
+        self.tags.add(Source._current_group_tag)
 
-        self.Werror = Werror
-        self.swig = swig
+    '''Add a c/c++ source file to the build'''
+    def __init__(self, source, tags=None, add_tags=None):
+        '''specify the source file, and any tags'''
+        super(Source, self).__init__(source, tags, add_tags)
+        self._add_link_group_tag()
 
 class PySource(SourceFile):
     '''Add a python source file to the named package'''
@@ -175,9 +205,9 @@ class PySource(SourceFile):
     tnodes = {}
     symnames = {}
 
-    def __init__(self, package, source, **guards):
-        '''specify the python package, the source file, and any guards'''
-        super(PySource, self).__init__(source, **guards)
+    def __init__(self, package, source, tags=None, add_tags=None):
+        '''specify the python package, the source file, and any tags'''
+        super(PySource, self).__init__(source, tags, add_tags)
 
         modname,ext = self.extname
         assert ext == 'py'
@@ -217,39 +247,21 @@ class SimObject(PySource):
     fixed = False
     modnames = []
 
-    def __init__(self, source, **guards):
-        '''Specify the source file and any guards (automatically in
+    def __init__(self, source, tags=None, add_tags=None):
+        '''Specify the source file and any tags (automatically in
         the m5.objects package)'''
-        super(SimObject, self).__init__('m5.objects', source, **guards)
+        super(SimObject, self).__init__('m5.objects', source, tags, add_tags)
         if self.fixed:
             raise AttributeError, "Too late to call SimObject now."
 
         bisect.insort_right(SimObject.modnames, self.modname)
 
-class SwigSource(SourceFile):
-    '''Add a swig file to build'''
-
-    def __init__(self, package, source, **guards):
-        '''Specify the python package, the source file, and any guards'''
-        super(SwigSource, self).__init__(source, skip_no_python=True, **guards)
-
-        modname,ext = self.extname
-        assert ext == 'i'
-
-        self.package = package
-        self.module = modname
-        cc_file = joinpath(self.dirname, modname + '_wrap.cc')
-        py_file = joinpath(self.dirname, modname + '.py')
-
-        self.cc_source = Source(cc_file, swig=True, parent=self, **guards)
-        self.py_source = PySource(package, py_file, parent=self, **guards)
-
 class ProtoBuf(SourceFile):
     '''Add a Protocol Buffer to build'''
 
-    def __init__(self, source, **guards):
-        '''Specify the source file, and any guards'''
-        super(ProtoBuf, self).__init__(source, **guards)
+    def __init__(self, source, tags=None, add_tags=None):
+        '''Specify the source file, and any tags'''
+        super(ProtoBuf, self).__init__(source, tags, add_tags)
 
         # Get the file name and the extension
         modname,ext = self.extname
@@ -267,28 +279,34 @@ class UnitTest(object):
     def __init__(self, target, *sources, **kwargs):
         '''Specify the target name and any sources.  Sources that are
         not SourceFiles are evalued with Source().  All files are
-        guarded with a guard of the same name as the UnitTest
-        target.'''
+        tagged with the name of the UnitTest target.'''
 
-        srcs = []
+        srcs = SourceList()
         for src in sources:
             if not isinstance(src, SourceFile):
-                src = Source(src, skip_lib=True)
-            src.guards[target] = True
+                src = Source(src, tags=str(target))
             srcs.append(src)
 
         self.sources = srcs
         self.target = target
         self.main = kwargs.get('main', False)
-        UnitTest.all.append(self)
+        self.all.append(self)
+
+class GTest(UnitTest):
+    '''Create a unit test based on the google test framework.'''
+
+    all = []
+    def __init__(self, *args, **kwargs):
+        super(GTest, self).__init__(*args, **kwargs)
+        self.dir = Dir('.')
 
 # Children should have access
 Export('Source')
 Export('PySource')
 Export('SimObject')
-Export('SwigSource')
 Export('ProtoBuf')
 Export('UnitTest')
+Export('GTest')
 
 ########################################################################
 #
@@ -342,6 +360,7 @@ for root, dirs, files in os.walk(base_dir, topdown=True):
 
     if 'SConscript' in files:
         build_dir = joinpath(env['BUILDDIR'], root[len(base_dir) + 1:])
+        Source.set_group(build_dir)
         SConscript(joinpath(root, 'SConscript'), variant_dir=build_dir)
 
 for extra_dir in extras_dir_list:
@@ -483,7 +502,7 @@ class DictImporter(object):
         if fullname == 'm5.objects':
             return self
 
-        if fullname.startswith('m5.internal'):
+        if fullname.startswith('_m5'):
             return None
 
         source = self.modules.get(fullname, None)
@@ -541,19 +560,6 @@ sys.meta_path.remove(importer)
 sim_objects = m5.SimObject.allClasses
 all_enums = m5.params.allEnums
 
-if m5.SimObject.noCxxHeader:
-    print >> sys.stderr, \
-        "warning: At least one SimObject lacks a header specification. " \
-        "This can cause unexpected results in the generated SWIG " \
-        "wrappers."
-
-# Find param types that need to be explicitly wrapped with swig.
-# These will be recognized because the ParamDesc will have a
-# swig_decl() method.  Most param types are based on types that don't
-# need this, either because they're based on native types (like Int)
-# or because they're SimObjects (which get swigged independently).
-# For now the only things handled here are VectorParam types.
-params_to_swig = {}
 for name,obj in sorted(sim_objects.iteritems()):
     for param in obj._params.local.values():
         # load the ptype attribute now because it depends on the
@@ -562,12 +568,6 @@ for name,obj in sorted(sim_objects.iteritems()):
         # SimObject.allClasses will have been loaded
         param.ptype
 
-        if not hasattr(param, 'swig_decl'):
-            continue
-        pname = param.ptype_str
-        if pname not in params_to_swig:
-            params_to_swig[pname] = param
-
 ########################################################################
 #
 # calculate extra dependencies
@@ -588,14 +588,14 @@ def makeDefinesPyFile(target, source, env):
 
     code = code_formatter()
     code("""
-import m5.internal
+import _m5.core
 import m5.util
 
 buildEnv = m5.util.SmartDict($build_env)
 
-compileDate = m5.internal.core.compileDate
+compileDate = _m5.core.compileDate
 _globals = globals()
-for key,val in m5.internal.core.__dict__.iteritems():
+for key,val in _m5.core.__dict__.iteritems():
     if key.startswith('flag_'):
         flag = key[5:]
         _globals[flag] = val
@@ -631,7 +631,7 @@ PySource('m5', 'python/m5/info.py')
 def createSimObjectParamStruct(target, source, env):
     assert len(target) == 1 and len(source) == 1
 
-    name = str(source[0].get_contents())
+    name = source[0].get_text_contents()
     obj = sim_objects[name]
 
     code = code_formatter()
@@ -650,58 +650,37 @@ def createSimObjectCxxConfig(is_header):
         code.write(target[0].abspath)
     return body
 
-def createParamSwigWrapper(target, source, env):
-    assert len(target) == 1 and len(source) == 1
-
-    name = str(source[0].get_contents())
-    param = params_to_swig[name]
-
-    code = code_formatter()
-    param.swig_decl(code)
-    code.write(target[0].abspath)
-
 def createEnumStrings(target, source, env):
-    assert len(target) == 1 and len(source) == 1
+    assert len(target) == 1 and len(source) == 2
 
-    name = str(source[0].get_contents())
+    name = source[0].get_text_contents()
+    use_python = source[1].read()
     obj = all_enums[name]
 
     code = code_formatter()
     obj.cxx_def(code)
+    if use_python:
+        obj.pybind_def(code)
     code.write(target[0].abspath)
 
 def createEnumDecls(target, source, env):
     assert len(target) == 1 and len(source) == 1
 
-    name = str(source[0].get_contents())
+    name = source[0].get_text_contents()
     obj = all_enums[name]
 
     code = code_formatter()
     obj.cxx_decl(code)
     code.write(target[0].abspath)
 
-def createEnumSwigWrapper(target, source, env):
-    assert len(target) == 1 and len(source) == 1
-
-    name = str(source[0].get_contents())
-    obj = all_enums[name]
-
-    code = code_formatter()
-    obj.swig_decl(code)
-    code.write(target[0].abspath)
-
-def createSimObjectSwigWrapper(target, source, env):
-    name = source[0].get_contents()
+def createSimObjectPyBindWrapper(target, source, env):
+    name = source[0].get_text_contents()
     obj = sim_objects[name]
 
     code = code_formatter()
-    obj.swig_decl(code)
+    obj.pybind_decl(code)
     code.write(target[0].abspath)
 
-# dummy target for generated code
-# we start out with all the Source files so they get copied to build/*/ also.
-SWIG = env.Dummy('swig', [s.tnode for s in Source.get()])
-
 # Generate all of the SimObject param C++ struct header files
 params_hh_files = []
 for name,simobj in sorted(sim_objects.iteritems()):
@@ -713,7 +692,6 @@ for name,simobj in sorted(sim_objects.iteritems()):
     env.Command(hh_file, Value(name),
                 MakeAction(createSimObjectParamStruct, Transform("SO PARAM")))
     env.Depends(hh_file, depends + extra_deps)
-    env.Depends(SWIG, hh_file)
 
 # C++ parameter description files
 if GetOption('with_cxx_config'):
@@ -770,87 +748,33 @@ if GetOption('with_cxx_config'):
             [File('sim/cxx_config.hh')])
     Source(cxx_config_init_cc_file)
 
-# Generate any needed param SWIG wrapper files
-params_i_files = []
-for name,param in sorted(params_to_swig.iteritems()):
-    i_file = File('python/m5/internal/%s.i' % (param.swig_module_name()))
-    params_i_files.append(i_file)
-    env.Command(i_file, Value(name),
-                MakeAction(createParamSwigWrapper, Transform("SW PARAM")))
-    env.Depends(i_file, depends)
-    env.Depends(SWIG, i_file)
-    SwigSource('m5.internal', i_file)
-
 # Generate all enum header files
 for name,enum in sorted(all_enums.iteritems()):
     py_source = PySource.modules[enum.__module__]
     extra_deps = [ py_source.tnode ]
 
     cc_file = File('enums/%s.cc' % name)
-    env.Command(cc_file, Value(name),
+    env.Command(cc_file, [Value(name), Value(env['USE_PYTHON'])],
                 MakeAction(createEnumStrings, Transform("ENUM STR")))
     env.Depends(cc_file, depends + extra_deps)
-    env.Depends(SWIG, cc_file)
     Source(cc_file)
 
     hh_file = File('enums/%s.hh' % name)
     env.Command(hh_file, Value(name),
                 MakeAction(createEnumDecls, Transform("ENUMDECL")))
     env.Depends(hh_file, depends + extra_deps)
-    env.Depends(SWIG, hh_file)
-
-    i_file = File('python/m5/internal/enum_%s.i' % name)
-    env.Command(i_file, Value(name),
-                MakeAction(createEnumSwigWrapper, Transform("ENUMSWIG")))
-    env.Depends(i_file, depends + extra_deps)
-    env.Depends(SWIG, i_file)
-    SwigSource('m5.internal', i_file)
-
-# Generate SimObject SWIG wrapper files
-for name,simobj in sorted(sim_objects.iteritems()):
-    py_source = PySource.modules[simobj.__module__]
-    extra_deps = [ py_source.tnode ]
-    i_file = File('python/m5/internal/param_%s.i' % name)
-    env.Command(i_file, Value(name),
-                MakeAction(createSimObjectSwigWrapper, Transform("SO SWIG")))
-    env.Depends(i_file, depends + extra_deps)
-    SwigSource('m5.internal', i_file)
-
-# Generate the main swig init file
-def makeEmbeddedSwigInit(package):
-    def body(target, source, env):
-        assert len(target) == 1 and len(source) == 1
 
-        code = code_formatter()
-        module = source[0].get_contents()
-        # Provide the full context so that the swig-generated call to
-        # Py_InitModule ends up placing the embedded module in the
-        # right package.
-        context = str(package) + "._" + str(module)
-        code('''\
-        #include "sim/init.hh"
-
-        extern "C" {
-            void init_${module}();
-        }
-
-        EmbeddedSwig embed_swig_${module}(init_${module}, "${context}");
-        ''')
-        code.write(str(target[0]))
-    return body
-
-# Build all swig modules
-for swig in SwigSource.all:
-    env.Command([swig.cc_source.tnode, swig.py_source.tnode], swig.tnode,
-                MakeAction('$SWIG $SWIGFLAGS -outdir ${TARGETS[1].dir} '
-                '-o ${TARGETS[0]} $SOURCES', Transform("SWIG")))
-    cc_file = str(swig.tnode)
-    init_file = '%s/%s_init.cc' % (dirname(cc_file), basename(cc_file))
-    env.Command(init_file, Value(swig.module),
-                MakeAction(makeEmbeddedSwigInit(swig.package),
-                           Transform("EMBED SW")))
-    env.Depends(SWIG, init_file)
-    Source(init_file, **swig.guards)
+# Generate SimObject Python bindings wrapper files
+if env['USE_PYTHON']:
+    for name,simobj in sorted(sim_objects.iteritems()):
+        py_source = PySource.modules[simobj.__module__]
+        extra_deps = [ py_source.tnode ]
+        cc_file = File('python/_m5/param_%s.cc' % name)
+        env.Command(cc_file, Value(name),
+                    MakeAction(createSimObjectPyBindWrapper,
+                               Transform("SO PyBind")))
+        env.Depends(cc_file, depends + extra_deps)
+        Source(cc_file)
 
 # Build all protocol buffers if we have got protoc and protobuf available
 if env['HAVE_PROTOBUF']:
@@ -864,9 +788,8 @@ if env['HAVE_PROTOBUF']:
                                '--proto_path ${SOURCE.dir} $SOURCE',
                                Transform("PROTOC")))
 
-        env.Depends(SWIG, [proto.cc_file, proto.hh_file])
         # Add the C++ source file
-        Source(proto.cc_file, **proto.guards)
+        Source(proto.cc_file, tags=proto.tags)
 elif ProtoBuf.all:
     print 'Got protobuf to build, but lacks support!'
     Exit(1)
@@ -964,11 +887,9 @@ for name,flag in sorted(debug_flags.iteritems()):
     hh_file = 'debug/%s.hh' % name
     env.Command(hh_file, Value(flag),
                 MakeAction(makeDebugFlagHH, Transform("TRACING", 0)))
-    env.Depends(SWIG, hh_file)
 
 env.Command('debug/flags.cc', Value(debug_flags),
             MakeAction(makeDebugFlagCC, Transform("TRACING", 0)))
-env.Depends(SWIG, 'debug/flags.cc')
 Source('debug/flags.cc')
 
 # version tags
@@ -1034,8 +955,7 @@ EmbeddedPython embedded_${sym}(
 for source in PySource.all:
     env.Command(source.cpp, source.tnode,
                 MakeAction(embedPyFile, Transform("EMBED PY")))
-    env.Depends(SWIG, source.cpp)
-    Source(source.cpp, skip_no_python=True)
+    Source(source.cpp, tags=source.tags, add_tags='python')
 
 ########################################################################
 #
@@ -1044,122 +964,71 @@ for source in PySource.all:
 #
 
 # List of constructed environments to pass back to SConstruct
-date_source = Source('base/date.cc', skip_lib=True)
-
-# Capture this directory for the closure makeEnv, otherwise when it is
-# called, it won't know what directory it should use.
-variant_dir = Dir('.').path
-def variant(*path):
-    return os.path.join(variant_dir, *path)
-def variantd(*path):
-    return variant(*path)+'/'
+date_source = Source('base/date.cc', tags=[])
 
 # Function to create a new build environment as clone of current
 # environment 'env' with modified object suffix and optional stripped
 # binary.  Additional keyword arguments are appended to corresponding
 # build environment vars.
-def makeEnv(env, label, objsfx, strip = False, **kwargs):
+def makeEnv(env, label, objsfx, strip=False, disable_partial=False, **kwargs):
     # SCons doesn't know to append a library suffix when there is a '.' in the
     # name.  Use '_' instead.
-    libname = variant('gem5_' + label)
-    exename = variant('gem5.' + label)
-    secondary_exename = variant('m5.' + label)
+    libname = 'gem5_' + label
+    exename = 'gem5.' + label
+    secondary_exename = 'm5.' + label
 
     new_env = env.Clone(OBJSUFFIX=objsfx, SHOBJSUFFIX=objsfx + 's')
     new_env.Label = label
     new_env.Append(**kwargs)
 
-    swig_env = new_env.Clone()
-
-    # Both gcc and clang have issues with unused labels and values in
-    # the SWIG generated code
-    swig_env.Append(CCFLAGS=['-Wno-unused-label', '-Wno-unused-value'])
-
-    if env['GCC']:
-        # Depending on the SWIG version, we also need to supress
-        # warnings about uninitialized variables and missing field
-        # initializers.
-        swig_env.Append(CCFLAGS=['-Wno-uninitialized',
-                                 '-Wno-missing-field-initializers',
-                                 '-Wno-unused-but-set-variable',
-                                 '-Wno-maybe-uninitialized',
-                                 '-Wno-type-limits'])
-
-        # Only gcc >= 4.9 supports UBSan, so check both the version
-        # and the command-line option before adding the compiler and
-        # linker flags.
-        if GetOption('with_ubsan') and \
-                compareVersions(env['GCC_VERSION'], '4.9') >= 0:
-            new_env.Append(CCFLAGS='-fsanitize=undefined')
-            new_env.Append(LINKFLAGS='-fsanitize=undefined')
-
-        # The address sanitizer is available for gcc >= 4.8
-        if GetOption('with_asan'):
-            new_env.Append(CCFLAGS=['-fsanitize=address',
-                                    '-fno-omit-frame-pointer'])
-            new_env.Append(LINKFLAGS='-fsanitize=address')
-
-    if env['CLANG']:
-        swig_env.Append(CCFLAGS=['-Wno-sometimes-uninitialized',
-                                 '-Wno-deprecated-register',
-                                 '-Wno-tautological-compare'])
-
-        # We require clang >= 3.1, so there is no need to check any
-        # versions here.
-        if GetOption('with_ubsan'):
-            new_env.Append(CCFLAGS='-fsanitize=undefined')
-            new_env.Append(LINKFLAGS='-fsanitize=undefined')
-
-        if GetOption('with_asan'):
-            new_env.Append(CCFLAGS=['-fsanitize=address',
-                                    '-fno-omit-frame-pointer'])
-            new_env.Append(LINKFLAGS='-fsanitize=address')
-
-    werror_env = new_env.Clone()
-    # Treat warnings as errors but white list some warnings that we
-    # want to allow (e.g., deprecation warnings).
-    werror_env.Append(CCFLAGS=['-Werror',
-                               '-Wno-error=deprecated-declarations',
-                               '-Wno-error=deprecated',
-                               ])
-
-    def make_obj(source, static, extra_deps = None):
-        '''This function adds the specified source to the correct
-        build environment, and returns the corresponding SCons Object
-        nodes'''
-
-        if source.swig:
-            env = swig_env
-        elif source.Werror:
-            env = werror_env
-        else:
-            env = new_env
+    lib_sources = Source.all.with_tag('gem5 lib')
 
-        if static:
-            obj = env.StaticObject(source.tnode)
-        else:
-            obj = env.SharedObject(source.tnode)
+    # Without Python, leave out all Python content from the library
+    # builds.  The option doesn't affect gem5 built as a program
+    if GetOption('without_python'):
+        lib_sources = lib_sources.without_tag('python')
 
-        if extra_deps:
-            env.Depends(obj, extra_deps)
+    static_objs = []
+    shared_objs = []
 
-        return obj
+    for s in lib_sources.with_tag(Source.ungrouped_tag):
+        static_objs.append(s.static(new_env))
+        shared_objs.append(s.shared(new_env))
 
-    lib_guards = {'main': False, 'skip_lib': False}
+    for group in Source.source_groups:
+        srcs = lib_sources.with_tag(Source.link_group_tag(group))
+        if not srcs:
+            continue
 
-    # Without Python, leave out all SWIG and Python content from the
-    # library builds.  The option doesn't affect gem5 built as a program
-    if GetOption('without_python'):
-        lib_guards['skip_no_python'] = False
+        group_static = [ s.static(new_env) for s in srcs ]
+        group_shared = [ s.shared(new_env) for s in srcs ]
 
-    static_objs = [ make_obj(s, True) for s in Source.get(**lib_guards) ]
-    shared_objs = [ make_obj(s, False) for s in Source.get(**lib_guards) ]
+        # If partial linking is disabled, add these sources to the build
+        # directly, and short circuit this loop.
+        if disable_partial:
+            static_objs.extend(group_static)
+            shared_objs.extend(group_shared)
+            continue
 
-    static_date = make_obj(date_source, static=True, extra_deps=static_objs)
-    static_objs.append(static_date)
+        # Set up the static partially linked objects.
+        file_name = new_env.subst("${OBJPREFIX}lib${OBJSUFFIX}.partial")
+        target = File(joinpath(group, file_name))
+        partial = env.PartialStatic(target=target, source=group_static)
+        static_objs.extend(partial)
 
-    shared_date = make_obj(date_source, static=False, extra_deps=shared_objs)
-    shared_objs.append(shared_date)
+        # Set up the shared partially linked objects.
+        file_name = new_env.subst("${SHOBJPREFIX}lib${SHOBJSUFFIX}.partial")
+        target = File(joinpath(group, file_name))
+        partial = env.PartialShared(target=target, source=group_shared)
+        shared_objs.extend(partial)
+
+    static_date = date_source.static(new_env)
+    new_env.Depends(static_date, static_objs)
+    static_objs.extend(static_date)
+
+    shared_date = date_source.shared(new_env)
+    new_env.Depends(shared_date, shared_objs)
+    shared_objs.extend(shared_date)
 
     # First make a library of everything but main() so other programs can
     # link against m5.
@@ -1167,17 +1036,25 @@ def makeEnv(env, label, objsfx, strip = False, **kwargs):
     shared_lib = new_env.SharedLibrary(libname, shared_objs)
 
     # Now link a stub with main() and the static library.
-    main_objs = [ make_obj(s, True) for s in Source.get(main=True) ]
+    main_objs = [ s.static(new_env) for s in Source.all.with_tag('main') ]
 
     for test in UnitTest.all:
-        flags = { test.target : True }
-        test_sources = Source.get(**flags)
-        test_objs = [ make_obj(s, static=True) for s in test_sources ]
+        test_sources = Source.all.with_tag(str(test.target))
+        test_objs = [ s.static(new_env) for s in test_sources ]
         if test.main:
             test_objs += main_objs
-        path = variant('unittest/%s.%s' % (test.target, label))
+        path = 'unittest/%s.%s' % (test.target, label)
         new_env.Program(path, test_objs + static_objs)
 
+    gtest_env = new_env.Clone()
+    gtest_env.Append(LIBS=gtest_env['GTEST_LIBS'])
+    gtest_env.Append(CPPFLAGS=gtest_env['GTEST_CPPFLAGS'])
+    for test in GTest.all:
+        test_sources = Source.all.with_tag(str(test.target))
+        test_objs = [ s.static(gtest_env) for s in test_sources ]
+        gtest_env.Program(test.dir.File('%s.%s' % (test.target, label)),
+                          test_objs)
+
     progname = exename
     if strip:
         progname += '.unstripped'
@@ -1196,7 +1073,11 @@ def makeEnv(env, label, objsfx, strip = False, **kwargs):
             MakeAction('ln $SOURCE $TARGET', Transform("HARDLINK")))
 
     new_env.M5Binary = targets[0]
-    return new_env
+
+    # Set up regression tests.
+    SConscript(os.path.join(env.root.abspath, 'tests', 'SConscript'),
+               variant_dir=Dir('tests').Dir(new_env.Label),
+               exports={ 'env' : new_env }, duplicate=False)
 
 # Start out with the compiler flags common to all compilers,
 # i.e. they all use -g for opt and -g -pg for prof
@@ -1262,76 +1143,41 @@ needed_envs = [identifyTarget(target) for target in BUILD_TARGETS]
 if 'all' in needed_envs:
     needed_envs += target_types
 
-def makeEnvirons(target, source, env):
-    # cause any later Source() calls to be fatal, as a diagnostic.
-    Source.done()
-
-    envList = []
-
-    # Debug binary
-    if 'debug' in needed_envs:
-        envList.append(
-            makeEnv(env, 'debug', '.do',
-                    CCFLAGS = Split(ccflags['debug']),
-                    CPPDEFINES = ['DEBUG', 'TRACING_ON=1'],
-                    LINKFLAGS = Split(ldflags['debug'])))
-
-    # Optimized binary
-    if 'opt' in needed_envs:
-        envList.append(
-            makeEnv(env, 'opt', '.o',
-                    CCFLAGS = Split(ccflags['opt']),
-                    CPPDEFINES = ['TRACING_ON=1'],
-                    LINKFLAGS = Split(ldflags['opt'])))
-
-    # "Fast" binary
-    if 'fast' in needed_envs:
-        envList.append(
-            makeEnv(env, 'fast', '.fo', strip = True,
-                    CCFLAGS = Split(ccflags['fast']),
-                    CPPDEFINES = ['NDEBUG', 'TRACING_ON=0'],
-                    LINKFLAGS = Split(ldflags['fast'])))
-
-    # Profiled binary using gprof
-    if 'prof' in needed_envs:
-        envList.append(
-            makeEnv(env, 'prof', '.po',
-                    CCFLAGS = Split(ccflags['prof']),
-                    CPPDEFINES = ['NDEBUG', 'TRACING_ON=0'],
-                    LINKFLAGS = Split(ldflags['prof'])))
-
-    # Profiled binary using google-pprof
-    if 'perf' in needed_envs:
-        envList.append(
-            makeEnv(env, 'perf', '.gpo',
-                    CCFLAGS = Split(ccflags['perf']),
-                    CPPDEFINES = ['NDEBUG', 'TRACING_ON=0'],
-                    LINKFLAGS = Split(ldflags['perf'])))
-
-    # Set up the regression tests for each build.
-    for e in envList:
-        SConscript(os.path.join(env.root.abspath, 'tests', 'SConscript'),
-                   variant_dir = variantd('tests', e.Label),
-                   exports = { 'env' : e }, duplicate = False)
-
-# The MakeEnvirons Builder defers the full dependency collection until
-# after processing the ISA definition (due to dynamically generated
-# source files).  Add this dependency to all targets so they will wait
-# until the environments are completely set up.  Otherwise, a second
-# process (e.g. -j2 or higher) will try to compile the requested target,
-# not know how, and fail.
-env.Append(BUILDERS = {'MakeEnvirons' :
-                        Builder(action=MakeAction(makeEnvirons,
-                                                  Transform("ENVIRONS", 1)))})
-
-isa_target = env['PHONY_BASE'] + '-deps'
-environs   = env['PHONY_BASE'] + '-environs'
-env.Depends('#all-deps',     isa_target)
-env.Depends('#all-environs', environs)
-env.ScanISA(isa_target, File('arch/%s/generated/inc.d' % env['TARGET_ISA']))
-envSetup = env.MakeEnvirons(environs, isa_target)
-
-# make sure no -deps targets occur before all ISAs are complete
-env.Depends(isa_target, '#all-isas')
-# likewise for -environs targets and all the -deps targets
-env.Depends(environs, '#all-deps')
+# Debug binary
+if 'debug' in needed_envs:
+    makeEnv(env, 'debug', '.do',
+            CCFLAGS = Split(ccflags['debug']),
+            CPPDEFINES = ['DEBUG', 'TRACING_ON=1'],
+            LINKFLAGS = Split(ldflags['debug']))
+
+# Optimized binary
+if 'opt' in needed_envs:
+    makeEnv(env, 'opt', '.o',
+            CCFLAGS = Split(ccflags['opt']),
+            CPPDEFINES = ['TRACING_ON=1'],
+            LINKFLAGS = Split(ldflags['opt']))
+
+# "Fast" binary
+if 'fast' in needed_envs:
+    disable_partial = \
+            env.get('BROKEN_INCREMENTAL_LTO', False) and \
+            GetOption('force_lto')
+    makeEnv(env, 'fast', '.fo', strip = True,
+            CCFLAGS = Split(ccflags['fast']),
+            CPPDEFINES = ['NDEBUG', 'TRACING_ON=0'],
+            LINKFLAGS = Split(ldflags['fast']),
+            disable_partial=disable_partial)
+
+# Profiled binary using gprof
+if 'prof' in needed_envs:
+    makeEnv(env, 'prof', '.po',
+            CCFLAGS = Split(ccflags['prof']),
+            CPPDEFINES = ['NDEBUG', 'TRACING_ON=0'],
+            LINKFLAGS = Split(ldflags['prof']))
+
+# Profiled binary using google-pprof
+if 'perf' in needed_envs:
+    makeEnv(env, 'perf', '.gpo',
+            CCFLAGS = Split(ccflags['perf']),
+            CPPDEFINES = ['NDEBUG', 'TRACING_ON=0'],
+            LINKFLAGS = Split(ldflags['perf']))