mem: Signal the local monitor when clearing the global monitor
authorNikos Nikoleris <nikos.nikoleris@arm.com>
Tue, 13 Jun 2017 10:14:00 +0000 (11:14 +0100)
committerNikos Nikoleris <nikos.nikoleris@arm.com>
Fri, 13 Oct 2017 08:41:08 +0000 (08:41 +0000)
ARM systems require the coordination of the global and local
monitors. When the system is run without caches the global monitor is
implemented in the abstract memory object. This change adds a callback
from the abstract memory that notifies the local monitor when the
global monitor is cleared.

Additionally, for ARM systems the local monitor signals the event
register and wakes the thread context up. Subsequent wait-for-event
(WFE) instructions will be immediately signaled.

Change-Id: If6c038f3a6bea7239ba4258f07f39c7f9a30500b
Reviewed-by: Andreas Sandberg <andreas.sandberg@arm.com>
Reviewed-on: https://gem5-review.googlesource.com/3760
Maintainer: Nikos Nikoleris <nikos.nikoleris@arm.com>
Reviewed-by: Jason Lowe-Power <jason@lowepower.com>
src/arch/alpha/locked_mem.hh
src/arch/arm/locked_mem.hh
src/arch/generic/locked_mem.hh [new file with mode: 0644]
src/arch/mips/locked_mem.hh
src/arch/null/locked_mem.hh [new file with mode: 0644]
src/arch/power/locked_mem.hh
src/arch/riscv/locked_mem.hh
src/arch/sparc/locked_mem.hh
src/arch/x86/locked_mem.hh
src/mem/abstract_mem.cc

index 7998cbdf1fa2e92c6f8731ab1b288c5964b89e81..ba577e8cbf94aec7ec4ebfe167e1989fbd609ec6 100644 (file)
@@ -135,6 +135,13 @@ handleLockedWrite(XC *xc, Request *req, Addr cacheBlockMask)
     return true;
 }
 
+template <class XC>
+inline void
+globalClearExclusive(XC *xc)
+{
+    xc->getCpuPtr()->wakeup(xc->threadId());
+}
+
 } // namespace AlphaISA
 
 #endif // __ARCH_ALPHA_LOCKED_MEM_HH__
index 8aa1812456dc2eadf7bd2d94d51a5ef76766fe93..2fcbc4a925fc85ab616fa31a4d0c21d62ed437c0 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * Copyright (c) 2012-2013 ARM Limited
+ * Copyright (c) 2012-2013,2017 ARM Limited
  * All rights reserved
  *
  * The license below extends only to copyright in the software and shall
@@ -148,6 +148,20 @@ handleLockedWrite(XC *xc, Request *req, Addr cacheBlockMask)
     return true;
 }
 
+template <class XC>
+inline void
+globalClearExclusive(XC *xc)
+{
+    // A spinlock would typically include a Wait For Event (WFE) to
+    // conserve energy. The ARMv8 architecture specifies that an event
+    // is automatically generated when clearing the exclusive monitor
+    // to wake up the processor in WFE.
+    DPRINTF(LLSC,"Clearing lock and signaling sev\n");
+    xc->setMiscReg(MISCREG_LOCKFLAG, false);
+    // Implement ARMv8 WFE/SEV semantics
+    xc->setMiscReg(MISCREG_SEV_MAILBOX, true);
+    xc->getCpuPtr()->wakeup(xc->threadId());
+}
 
 } // namespace ArmISA
 
diff --git a/src/arch/generic/locked_mem.hh b/src/arch/generic/locked_mem.hh
new file mode 100644 (file)
index 0000000..68a4ff5
--- /dev/null
@@ -0,0 +1,92 @@
+/*
+ * Copyright (c) 2017 ARM Limited
+ * All rights reserved
+ *
+ * The license below extends only to copyright in the software and shall
+ * not be construed as granting a license to any other intellectual
+ * property including but not limited to intellectual property relating
+ * to a hardware implementation of the functionality of the software
+ * licensed hereunder.  You may use the software subject to the license
+ * terms below provided that you ensure that this notice is replicated
+ * unmodified and in its entirety in all distributions of the software,
+ * modified or unmodified, in source code or in binary form.
+ *
+ * Copyright (c) 2006 The Regents of The University of Michigan
+ * All rights reserved.
+ *
+ * Redistribution and use in source and binary forms, with or without
+ * modification, are permitted provided that the following conditions are
+ * met: redistributions of source code must retain the above copyright
+ * notice, this list of conditions and the following disclaimer;
+ * redistributions in binary form must reproduce the above copyright
+ * notice, this list of conditions and the following disclaimer in the
+ * documentation and/or other materials provided with the distribution;
+ * neither the name of the copyright holders nor the names of its
+ * contributors may be used to endorse or promote products derived from
+ * this software without specific prior written permission.
+ *
+ * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
+ * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
+ * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
+ * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
+ * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
+ * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
+ * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
+ * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
+ * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
+ * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
+ * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
+ *
+ * Authors: Steve Reinhardt
+ */
+
+#ifndef __ARCH_GENERIC_LOCKED_MEM_HH__
+#define __ARCH_GENERIC_LOCKED_MEM_HH__
+
+/**
+ * @file
+ *
+ * Generic helper functions for locked memory accesses.
+ */
+
+#include "config/the_isa.hh"
+#include "mem/packet.hh"
+#include "mem/request.hh"
+
+namespace TheISA
+{
+template <class XC>
+inline void
+handleLockedSnoop(XC *xc, PacketPtr pkt, Addr cacheBlockMask)
+{
+}
+
+template <class XC>
+inline void
+handleLockedRead(XC *xc, Request *req)
+{
+}
+
+template <class XC>
+inline void
+handleLockedSnoopHit(XC *xc)
+{
+}
+
+
+template <class XC>
+inline bool
+handleLockedWrite(XC *xc, Request *req, Addr cacheBlockMask)
+{
+    return true;
+}
+
+template <class XC>
+inline void
+globalClearExclusive(XC *xc)
+{
+}
+
+} // namespace Generic ISA
+
+#endif
index a1d89de9988643c15fabb91cc8fe064c1d642eb9..61c689955889347571508c1a10e6d0f146a36c77 100644 (file)
@@ -139,6 +139,13 @@ handleLockedWrite(XC *xc, Request *req, Addr cacheBlockMask)
     return true;
 }
 
+template <class XC>
+inline void
+globalClearExclusive(XC *xc)
+{
+    xc->getCpuPtr()->wakeup(xc->threadId());
+}
+
 } // namespace MipsISA
 
 #endif
diff --git a/src/arch/null/locked_mem.hh b/src/arch/null/locked_mem.hh
new file mode 100644 (file)
index 0000000..f5ecaf7
--- /dev/null
@@ -0,0 +1,54 @@
+/*
+ * Copyright (c) 2017 ARM Limited
+ * All rights reserved
+ *
+ * The license below extends only to copyright in the software and shall
+ * not be construed as granting a license to any other intellectual
+ * property including but not limited to intellectual property relating
+ * to a hardware implementation of the functionality of the software
+ * licensed hereunder.  You may use the software subject to the license
+ * terms below provided that you ensure that this notice is replicated
+ * unmodified and in its entirety in all distributions of the software,
+ * modified or unmodified, in source code or in binary form.
+ *
+ * Copyright (c) 2006 The Regents of The University of Michigan
+ * All rights reserved.
+ *
+ * Redistribution and use in source and binary forms, with or without
+ * modification, are permitted provided that the following conditions are
+ * met: redistributions of source code must retain the above copyright
+ * notice, this list of conditions and the following disclaimer;
+ * redistributions in binary form must reproduce the above copyright
+ * notice, this list of conditions and the following disclaimer in the
+ * documentation and/or other materials provided with the distribution;
+ * neither the name of the copyright holders nor the names of its
+ * contributors may be used to endorse or promote products derived from
+ * this software without specific prior written permission.
+ *
+ * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
+ * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
+ * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
+ * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
+ * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
+ * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
+ * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
+ * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
+ * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
+ * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
+ * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
+ *
+ * Authors: Steve Reinhardt
+ */
+
+#ifndef __ARCH_NULL_LOCKED_MEM_HH__
+#define __ARCH_NULL_LOCKED_MEM_HH__
+
+/**
+ * @file
+ *
+ * ISA-specific helper functions for locked memory accesses.
+ */
+
+#include "arch/generic/locked_mem.hh"
+
+#endif
index d962f9aff9598fdcfd685e99bc53d4adfc9a3886..d7abc64f03ee98cc4fa3d59e0c507599d2b9fae9 100644 (file)
  * ISA-specific helper functions for locked memory accesses.
  */
 
-#include "mem/packet.hh"
-#include "mem/request.hh"
-
-namespace PowerISA
-{
-
-template <class XC>
-inline void
-handleLockedSnoop(XC *xc, PacketPtr pkt, Addr cacheBlockMask)
-{
-}
-
-template <class XC>
-inline void
-handleLockedRead(XC *xc, Request *req)
-{
-}
-
-template <class XC>
-inline void
-handleLockedSnoopHit(XC *xc)
-{
-}
-
-template <class XC>
-inline bool
-handleLockedWrite(XC *xc, Request *req, Addr cacheBlockMask)
-{
-    return true;
-}
-
-} // namespace PowerISA
+#include "arch/generic/locked_mem.hh"
 
 #endif // __ARCH_POWER_LOCKED_MEM_HH__
index d7fc0ca5a86ec620ac2e25b0813c30211ac25f5f..f334385b1e5c577c895fa9aa8220d77f77644e06 100644 (file)
@@ -126,6 +126,13 @@ handleLockedWrite(XC *xc, Request *req, Addr cacheBlockMask)
     return true;
 }
 
+template <class XC>
+inline void
+globalClearExclusive(XC *xc)
+{
+    xc->getCpuPtr()->wakeup(xc->threadId());
+}
+
 } // namespace RiscvISA
 
 #endif // __ARCH_RISCV_LOCKED_MEM_HH__
index b28179481f2dd0a2839f338ea9db4c97eb629d0d..90760d586b8ecdc134d4b3a9e3a6f02c65087017 100644 (file)
  * ISA-specific helper functions for locked memory accesses.
  */
 
-#include "mem/packet.hh"
-#include "mem/request.hh"
-
-namespace SparcISA
-{
-template <class XC>
-inline void
-handleLockedSnoop(XC *xc, PacketPtr pkt, Addr cacheBlockMask)
-{
-}
-
-template <class XC>
-inline void
-handleLockedRead(XC *xc, Request *req)
-{
-}
-
-template <class XC>
-inline void
-handleLockedSnoopHit(XC *xc)
-{
-}
-
-
-template <class XC>
-inline bool
-handleLockedWrite(XC *xc, Request *req, Addr cacheBlockMask)
-{
-    return true;
-}
-
-
-} // namespace SparcISA
+#include "arch/generic/locked_mem.hh"
 
 #endif
index 51cfb2ea32e8f895c0b0c7b1345f5d699308e9b9..0a746eb4ecbe0bfb80da1f448c2e2a78af92c324 100644 (file)
  * ISA-specific helper functions for locked memory accesses.
  */
 
-#include "mem/packet.hh"
-#include "mem/request.hh"
-
-namespace X86ISA
-{
-    template <class XC>
-    inline void
-    handleLockedSnoop(XC *xc, PacketPtr pkt, Addr cacheBlockMask)
-    {
-    }
-
-    template <class XC>
-    inline void
-    handleLockedRead(XC *xc, Request *req)
-    {
-    }
-
-    template <class XC>
-    inline bool
-    handleLockedWrite(XC *xc, Request *req, Addr cacheBlockMask)
-    {
-        return true;
-    }
-
-    template <class XC>
-    inline void
-    handleLockedSnoopHit(XC *xc)
-    {
-    }
-}
+#include "arch/generic/locked_mem.hh"
 
 #endif // __ARCH_X86_LOCKEDMEM_HH__
index e05296c3e285dcd87d6d4e12621de3c51addfd9c..13a0873cb3b64e7f024be284ed46a4406509bb60 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * Copyright (c) 2010-2012 ARM Limited
+ * Copyright (c) 2010-2012,2017 ARM Limited
  * All rights reserved
  *
  * The license below extends only to copyright in the software and shall
@@ -46,6 +46,7 @@
 
 #include <vector>
 
+#include "arch/locked_mem.hh"
 #include "cpu/base.hh"
 #include "cpu/thread_context.hh"
 #include "debug/LLSC.hh"
@@ -272,13 +273,12 @@ AbstractMemory::checkLockedAddrList(PacketPtr pkt)
             if (i->addr == paddr) {
                 DPRINTF(LLSC, "Erasing lock record: context %d addr %#x\n",
                         i->contextId, paddr);
-                // For ARM, a spinlock would typically include a Wait
-                // For Event (WFE) to conserve energy. The ARMv8
-                // architecture specifies that an event is
-                // automatically generated when clearing the exclusive
-                // monitor to wake up the processor in WFE.
-                ThreadContext* ctx = system()->getThreadContext(i->contextId);
-                ctx->getCpuPtr()->wakeup(ctx->threadId());
+                ContextID owner_cid = i->contextId;
+                ContextID requester_cid = pkt->req->contextId();
+                if (owner_cid != requester_cid) {
+                    ThreadContext* ctx = system()->getThreadContext(owner_cid);
+                    TheISA::globalClearExclusive(ctx);
+                }
                 i = lockedAddrList.erase(i);
             } else {
                 i++;
@@ -387,6 +387,9 @@ AbstractMemory::access(PacketPtr pkt)
     } else if (pkt->isRead()) {
         assert(!pkt->isWrite());
         if (pkt->isLLSC()) {
+            assert(!pkt->fromCache());
+            // if the packet is not coming from a cache then we have
+            // to do the LL/SC tracking here
             trackLoadLocked(pkt);
         }
         if (pmemAddr)