stats: Add support for hierarchical stats
authorAndreas Sandberg <andreas.sandberg@arm.com>
Wed, 26 Jun 2019 17:58:24 +0000 (18:58 +0100)
committerAndreas Sandberg <andreas.sandberg@arm.com>
Thu, 29 Aug 2019 09:01:38 +0000 (09:01 +0000)
commit6f38428abbe106d63318dd86bfa82a03b6b368ee
treefb0e758c120bf45d7c017f97396c66cba1bb4792
parent09281876a77c8ec66560bc91715421491c335c6b
stats: Add support for hierarchical stats

This change makes the stat system aware of the hierarchical nature of
stats. The aim is to achieve the following goals:

  * Make the SimObject hierarchy explicit in the stat system (i.e.,
    get rid of name() + ".foo"). This makes stat naming less fragile
    and makes it possible to implement hierarchical formats like
    XML/HDF5/JSON in a clean way.

  * Make it more convenient to split stats into a separate
    struct/class that can be bound to a SimObject. This makes the
    namespace cleaner and makes stat accesses a bit more obvious.

  * Make it possible to build groups of stats in C++ that can be used
    in subcomponents in a SimObject (similar to what we do for
    checkpoint sections). This makes it easier to structure large
    components.

  * Enable partial stat dumps. Some of our internal users have been
    asking for this since a full stat dump can be large.

  * Enable better stat access from Python.

This changeset implements solves the first three points by introducing
a class (Stats::Group) that owns statistics belonging to the same
object. SimObjects inherit from Stats::Group since they typically have
statistics.

New-style statistics need to be associated with a parent group at
instantiation time. Instantiation typically sets the name and the
description, other parameters need to be set by overriding
Group::regStats() just like with legacy stats. Simple objects with
scalar stats can typically avoid implementing regStats() altogether
since the stat name and description are both specified in the
constructor.

For convenience reasons, statistics groups can be merged into other
groups. This means that a SimObject can create a stat struct that
inherits from Stats::Group and merge it into the parent group
(SimObject). This can make the code cleaner since statistics tracking
gets grouped into a single object.

Stat visitors have a new API to expose the group structure. The
Output::beginGroup(name) method is called at the beginning of a group
and the Output::endGroup() method is called when all stats, and
sub-groups, have been visited. Flat formats (e.g., the text format)
typically need to maintain a stack to track the full path to a stat.

Legacy, flat, statistics are still supported after applying this
change. These stats don't belong to any group and stat visitors will
not see a Output::beginGroup(name) call before their corresponding
Output::visit() methods are called.

Change-Id: I9025d61dfadeabcc8ecf30813ab2060def455648
Signed-off-by: Andreas Sandberg <andreas.sandberg@arm.com>
Reviewed-on: https://gem5-review.googlesource.com/c/public/gem5/+/19368
Tested-by: kokoro <noreply+kokoro@google.com>
Reviewed-by: Jason Lowe-Power <jason@lowepower.com>
Reviewed-by: Daniel Carvalho <odanrc@yahoo.com.br>
14 files changed:
src/base/SConscript
src/base/statistics.cc
src/base/statistics.hh
src/base/stats/group.cc [new file with mode: 0644]
src/base/stats/group.hh [new file with mode: 0644]
src/base/stats/output.hh
src/base/stats/text.cc
src/base/stats/text.hh
src/python/m5/SimObject.py
src/python/m5/simulate.py
src/python/m5/stats/__init__.py
src/python/pybind11/stats.cc
src/sim/sim_object.cc
src/sim/sim_object.hh