re PR libstdc++/48760 (std::complex constructor buggy in the face of NaN's)
[gcc.git] / libstdc++-v3 / include / parallel / losertree.h
index cae15c0826eca6d6b33f4c4624aaf3a73a336bda..306fcd8856fa941252c5f374598e2a79e6657bd9 100644 (file)
@@ -1,11 +1,11 @@
 // -*- C++ -*-
 
-// Copyright (C) 2007, 2008 Free Software Foundation, Inc.
+// Copyright (C) 2007, 2008, 2009, 2010, 2011 Free Software Foundation, Inc.
 //
 // This file is part of the GNU ISO C++ Library.  This library is free
 // software; you can redistribute it and/or modify it under the terms
 // of the GNU General Public License as published by the Free Software
-// Foundation; either version 2, or (at your option) any later
+// Foundation; either version 3, or (at your option) any later
 // version.
 
 // This library is distributed in the hope that it will be useful, but
 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
 // General Public License for more details.
 
-// You should have received a copy of the GNU General Public License
-// along with this library; see the file COPYING.  If not, write to
-// the Free Software Foundation, 59 Temple Place - Suite 330, Boston,
-// MA 02111-1307, USA.
-
-// As a special exception, you may use this file as part of a free
-// software library without restriction.  Specifically, if other files
-// instantiate templates or use macros or inline functions from this
-// file, or you compile this file and link it with other files to
-// produce an executable, this file does not by itself cause the
-// resulting executable to be covered by the GNU General Public
-// License.  This exception does not however invalidate any other
-// reasons why the executable file might be covered by the GNU General
-// Public License.
+// Under Section 7 of GPL version 3, you are granted additional
+// permissions described in the GCC Runtime Library Exception, version
+// 3.1, as published by the Free Software Foundation.
+
+// You should have received a copy of the GNU General Public License and
+// a copy of the GCC Runtime Library Exception along with this program;
+// see the files COPYING3 and COPYING.RUNTIME respectively.  If not, see
+// <http://www.gnu.org/licenses/>.
 
 /** @file parallel/losertree.h
 *  @brief Many generic loser tree variants.
 #ifndef _GLIBCXX_PARALLEL_LOSERTREE_H
 #define _GLIBCXX_PARALLEL_LOSERTREE_H 1
 
-#include <functional>
-
 #include <bits/stl_algobase.h>
+#include <bits/stl_function.h>
 #include <parallel/features.h>
 #include <parallel/base.h>
 
 namespace __gnu_parallel
 {
+  /**
+   * @brief Guarded loser/tournament tree.
+   *
+   * The smallest element is at the top.
+   *
+   * Guarding is done explicitly through one flag _M_sup per element,
+   * inf is not needed due to a better initialization routine.  This
+   * is a well-performing variant.
+   *
+   * @param _Tp the element type
+   * @param _Compare the comparator to use, defaults to std::less<_Tp>
+   */
+  template<typename _Tp, typename _Compare>
+    class _LoserTreeBase
+    {
+    protected:
+      /** @brief Internal representation of a _LoserTree element. */
+      struct _Loser
+      {
+       /** @brief flag, true iff this is a "maximum" __sentinel. */
+       bool _M_sup;
+       /** @brief __index of the __source __sequence. */
+       int _M_source;
+       /** @brief _M_key of the element in the _LoserTree. */
+       _Tp _M_key;
+      };
+
+      unsigned int _M_ik, _M_k, _M_offset;
+
+      /** log_2{_M_k} */
+      unsigned int _M_log_k;
+
+      /** @brief _LoserTree __elements. */
+      _Loser* _M_losers;
+
+      /** @brief _Compare to use. */
+      _Compare _M_comp;
+
+      /**
+       * @brief State flag that determines whether the _LoserTree is empty.
+       *
+       * Only used for building the _LoserTree.
+       */
+      bool _M_first_insert;
+
+    public:
+      /**
+       * @brief The constructor.
+       *
+       * @param __k The number of sequences to merge.
+       * @param __comp The comparator to use.
+       */
+      _LoserTreeBase(unsigned int __k, _Compare __comp)
+      : _M_comp(__comp)
+      {
+       _M_ik = __k;
 
-/**
- * @brief Guarded loser/tournament tree.
- *
- * The smallest element is at the top.
- *
- * Guarding is done explicitly through one flag sup per element,
- * inf is not needed due to a better initialization routine.  This
- * is a well-performing variant.
- *
- * @param T the element type
- * @param Comparator the comparator to use, defaults to std::less<T>
- */
-template<typename T, typename Comparator>
-class LoserTreeBase
-{
-protected:
-  /** @brief Internal representation of a LoserTree element. */
-  struct Loser
-  {
-    /** @brief flag, true iff this is a "maximum" sentinel. */
-    bool sup;
-    /** @brief index of the source sequence. */
-    int source;
-    /** @brief key of the element in the LoserTree. */
-    T key;
-  };
+       // Compute log_2{_M_k} for the _Loser Tree
+       _M_log_k = __rd_log2(_M_ik - 1) + 1;
 
-  unsigned int ik, k, offset;
+       // Next greater power of 2.
+       _M_k = 1 << _M_log_k;
+       _M_offset = _M_k;
 
-  /** log_2{k} */
-  unsigned int _M_log_k;
+       // Avoid default-constructing _M_losers[]._M_key
+       _M_losers = static_cast<_Loser*>(::operator new(2 * _M_k
+                                                       * sizeof(_Loser)));
+       for (unsigned int __i = _M_ik - 1; __i < _M_k; ++__i)
+         _M_losers[__i + _M_k]._M_sup = true;
 
-  /** @brief LoserTree elements. */
-  Loser* losers;
+       _M_first_insert = true;
+      }
 
-  /** @brief Comparator to use. */
-  Comparator comp;
+      /**
+       * @brief The destructor.
+       */
+      ~_LoserTreeBase()
+      {
+       for (unsigned int __i = 0; __i < (2 * _M_k); ++__i)
+         _M_losers[__i].~_Loser();
+       ::operator delete(_M_losers);
+      }
 
-  /**
-   * @brief State flag that determines whether the LoserTree is empty.
-   *
-   * Only used for building the LoserTree.
-   */
-  bool first_insert;
+      /**
+       * @brief Initializes the sequence "_M_source" with the element "__key".
+       *
+       * @param __key the element to insert
+       * @param __source __index of the __source __sequence
+       * @param __sup flag that determines whether the value to insert is an
+       *   explicit __supremum.
+       */
+      void
+      __insert_start(const _Tp& __key, int __source, bool __sup)
+      {
+       unsigned int __pos = _M_k + __source;
+
+       if (_M_first_insert)
+         {
+           // Construct all keys, so we can easily destruct them.
+           for (unsigned int __i = 0; __i < (2 * _M_k); ++__i)
+             new(&(_M_losers[__i]._M_key)) _Tp(__key);
+           _M_first_insert = false;
+         }
+       else
+         _M_losers[__pos]._M_key = __key;
+
+       _M_losers[__pos]._M_sup = __sup;
+       _M_losers[__pos]._M_source = __source;
+      }
 
-public:
-  /**
-   * @brief The constructor.
-   *
-   * @param _k The number of sequences to merge.
-   * @param _comp The comparator to use.
-   */
-  LoserTreeBase(unsigned int _k, Comparator _comp)
-  : comp(_comp)
-  {
-    ik = _k;
+      /**
+       * @return the index of the sequence with the smallest element.
+       */
+      int __get_min_source()
+      { return _M_losers[0]._M_source; }
+    };
+
+    /**
+     * @brief Stable _LoserTree variant.
+     *
+     * Provides the stable implementations of insert_start, __init_winner,
+     * __init and __delete_min_insert.
+     *
+     * Unstable variant is done using partial specialisation below.
+     */
+  template<bool __stable/* default == true */, typename _Tp,
+          typename _Compare>
+    class _LoserTree
+    : public _LoserTreeBase<_Tp, _Compare>
+    {
+      typedef _LoserTreeBase<_Tp, _Compare> _Base;
+      using _Base::_M_k;
+      using _Base::_M_losers;
+      using _Base::_M_first_insert;
+
+    public:
+      _LoserTree(unsigned int __k, _Compare __comp)
+      : _Base::_LoserTreeBase(__k, __comp)
+      { }
+
+      unsigned int
+      __init_winner(unsigned int __root)
+      {
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
+           if (_M_losers[__right]._M_sup
+               || (!_M_losers[__left]._M_sup
+                   && !_M_comp(_M_losers[__right]._M_key,
+                               _M_losers[__left]._M_key)))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
+      }
 
-    // Compute log_2{k} for the Loser Tree
-    _M_log_k = log2(ik - 1) + 1;
+      void __init()
+      { _M_losers[0] = _M_losers[__init_winner(1)]; }
+
+      /**
+       * @brief Delete the smallest element and insert a new element from
+       *   the previously smallest element's sequence.
+       *
+       * This implementation is stable.
+       */
+      // Do not pass a const reference since __key will be used as
+      // local variable.
+      void
+      __delete_min_insert(_Tp __key, bool __sup)
+      {
+        using std::swap;
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
+#endif
 
-    // Next greater power of 2.
-    k = 1 << _M_log_k;
-    offset = k;
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted, ties are broken by _M_source.
+           if ((__sup && (!_M_losers[__pos]._M_sup
+                          || _M_losers[__pos]._M_source < __source))
+               || (!__sup && !_M_losers[__pos]._M_sup
+                   && ((_M_comp(_M_losers[__pos]._M_key, __key))
+                       || (!_M_comp(__key, _M_losers[__pos]._M_key)
+                           && _M_losers[__pos]._M_source < __source))))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_sup, __sup);
+               std::swap(_M_losers[__pos]._M_source, __source);
+               swap(_M_losers[__pos]._M_key, __key);
+             }
+         }
+
+       _M_losers[0]._M_sup = __sup;
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_key = __key;
+      }
+    };
+
+    /**
+     * @brief Unstable _LoserTree variant.
+     *
+     * Stability (non-stable here) is selected with partial specialization.
+     */
+  template<typename _Tp, typename _Compare>
+    class _LoserTree</* __stable == */false, _Tp, _Compare>
+    : public _LoserTreeBase<_Tp, _Compare>
+    {
+      typedef _LoserTreeBase<_Tp, _Compare> _Base;
+      using _Base::_M_log_k;
+      using _Base::_M_k;
+      using _Base::_M_losers;
+      using _Base::_M_first_insert;
+
+    public:
+      _LoserTree(unsigned int __k, _Compare __comp)
+      : _Base::_LoserTreeBase(__k, __comp)
+      { }
+
+      /**
+       * Computes the winner of the competition at position "__root".
+       *
+       * Called recursively (starting at 0) to build the initial tree.
+       *
+       * @param __root __index of the "game" to start.
+       */
+      unsigned int
+      __init_winner(unsigned int __root)
+      {
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
+           if (_M_losers[__right]._M_sup
+               || (!_M_losers[__left]._M_sup
+                   && !_M_comp(_M_losers[__right]._M_key,
+                               _M_losers[__left]._M_key)))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
+      }
 
-    // Avoid default-constructing losers[].key
-    losers = static_cast<Loser*>(::operator new(2 * k * sizeof(Loser)));
-    for (unsigned int i = ik - 1; i < k; ++i)
-      losers[i + k].sup = true;
+      void
+      __init()
+      { _M_losers[0] = _M_losers[__init_winner(1)]; }
+
+      /**
+       * Delete the _M_key smallest element and insert the element __key
+       * instead.
+       *
+       * @param __key the _M_key to insert
+       * @param __sup true iff __key is an explicitly marked supremum
+       */
+      // Do not pass a const reference since __key will be used as local
+      // variable.
+      void
+      __delete_min_insert(_Tp __key, bool __sup)
+      {
+        using std::swap;
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
+#endif
 
-    first_insert = true;
-  }
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted.
+           if (__sup || (!_M_losers[__pos]._M_sup
+                         && _M_comp(_M_losers[__pos]._M_key, __key)))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_sup, __sup);
+               std::swap(_M_losers[__pos]._M_source, __source);
+               swap(_M_losers[__pos]._M_key, __key);
+             }
+         }
+
+       _M_losers[0]._M_sup = __sup;
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_key = __key;
+      }
+    };
 
   /**
-   * @brief The destructor.
+   * @brief Base class of _Loser Tree implementation using pointers.
    */
-  ~LoserTreeBase()
-  { ::operator delete(losers); }
+  template<typename _Tp, typename _Compare>
+    class _LoserTreePointerBase
+    {
+    protected:
+      /** @brief Internal representation of _LoserTree __elements. */
+      struct _Loser
+      {
+       bool _M_sup;
+       int _M_source;
+       const _Tp* _M_keyp;
+      };
+
+      unsigned int _M_ik, _M_k, _M_offset;
+      _Loser* _M_losers;
+      _Compare _M_comp;
+
+    public:
+      _LoserTreePointerBase(unsigned int __k,
+                           _Compare __comp = std::less<_Tp>())
+      : _M_comp(__comp)
+      {
+       _M_ik = __k;
+
+       // Next greater power of 2.
+       _M_k = 1 << (__rd_log2(_M_ik - 1) + 1);
+       _M_offset = _M_k;
+       _M_losers = new _Loser[_M_k * 2];
+       for (unsigned int __i = _M_ik - 1; __i < _M_k; __i++)
+         _M_losers[__i + _M_k]._M_sup = true;
+      }
+
+      ~_LoserTreePointerBase()
+      { delete[] _M_losers; }
+
+      int __get_min_source()
+      { return _M_losers[0]._M_source; }
+
+      void __insert_start(const _Tp& __key, int __source, bool __sup)
+      {
+       unsigned int __pos = _M_k + __source;
+
+       _M_losers[__pos]._M_sup = __sup;
+       _M_losers[__pos]._M_source = __source;
+       _M_losers[__pos]._M_keyp = &__key;
+      }
+    };
 
   /**
-   * @brief Initializes the sequence "source" with the element "key".
+   * @brief Stable _LoserTree implementation.
    *
-   * @param key the element to insert
-   * @param source index of the source sequence
-   * @param sup flag that determines whether the value to insert is an
-   *   explicit supremum.
+   * The unstable variant is implemented using partial instantiation below.
    */
-  inline void
-  insert_start(const T& key, int source, bool sup)
-  {
-    unsigned int pos = k + source;
+  template<bool __stable/* default == true */, typename _Tp, typename _Compare>
+    class _LoserTreePointer
+    : public _LoserTreePointerBase<_Tp, _Compare>
+    {
+      typedef _LoserTreePointerBase<_Tp, _Compare> _Base;
+      using _Base::_M_k;
+      using _Base::_M_losers;
+
+    public:
+      _LoserTreePointer(unsigned int __k, _Compare __comp = std::less<_Tp>())
+      : _Base::_LoserTreePointerBase(__k, __comp)
+      { }
 
-    if(first_insert)
+      unsigned int
+      __init_winner(unsigned int __root)
       {
-        // Construct all keys, so we can easily deconstruct them.
-        for (unsigned int i = 0; i < (2 * k); ++i)
-          new(&(losers[i].key)) T(key);
-        first_insert = false;
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
+           if (_M_losers[__right]._M_sup
+               || (!_M_losers[__left]._M_sup
+                   && !_M_comp(*_M_losers[__right]._M_keyp,
+                               *_M_losers[__left]._M_keyp)))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
       }
-    else
-      new(&(losers[pos].key)) T(key);
 
-    losers[pos].sup = sup;
-    losers[pos].source = source;
-  }
+      void __init()
+      { _M_losers[0] = _M_losers[__init_winner(1)]; }
 
-  /**
-   * @return the index of the sequence with the smallest element.
-   */
-  int get_min_source()
-  { return losers[0].source; }
-};
-
-/**
- * @brief Stable LoserTree variant.
- *
- * Provides the stable implementations of insert_start, init_winner,
- * init and delete_min_insert.
- *
- * Unstable variant is done using partial specialisation below.
- */
-template<bool stable/* default == true */, typename T, typename Comparator>
-class LoserTree : public LoserTreeBase<T, Comparator>
-{
-  typedef LoserTreeBase<T, Comparator> Base;
-  using Base::k;
-  using Base::losers;
-  using Base::first_insert;
-
-public:
-  LoserTree(unsigned int _k, Comparator _comp)
-  : Base::LoserTreeBase(_k, _comp)
-  {}
-
-  unsigned int
-  init_winner(unsigned int root)
-  {
-    if (root >= k)
-      {
-        return root;
-      }
-    else
-      {
-        unsigned int left = init_winner (2 * root);
-        unsigned int right = init_winner (2 * root + 1);
-        if (losers[right].sup
-            || (!losers[left].sup
-              && !comp(losers[right].key, losers[left].key)))
-          {
-            // Left one is less or equal.
-            losers[root] = losers[right];
-            return left;
-          }
-        else
-          {
-            // Right one is less.
-            losers[root] = losers[left];
-            return right;
-          }
-      }
-  }
-
-  void init()
-  { losers[0] = losers[init_winner(1)]; }
+      void __delete_min_insert(const _Tp& __key, bool __sup)
+      {
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
+#endif
+
+       const _Tp* __keyp = &__key;
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted, ties are broken by __source.
+           if ((__sup && (!_M_losers[__pos]._M_sup
+                          || _M_losers[__pos]._M_source < __source))
+               || (!__sup && !_M_losers[__pos]._M_sup &&
+                   ((_M_comp(*_M_losers[__pos]._M_keyp, *__keyp))
+                    || (!_M_comp(*__keyp, *_M_losers[__pos]._M_keyp)
+                        && _M_losers[__pos]._M_source < __source))))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_sup, __sup);
+               std::swap(_M_losers[__pos]._M_source, __source);
+               std::swap(_M_losers[__pos]._M_keyp, __keyp);
+             }
+         }
+
+       _M_losers[0]._M_sup = __sup;
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_keyp = __keyp;
+      }
+    };
 
   /**
-   * @brief Delete the smallest element and insert a new element from
-   *   the previously smallest element's sequence.
+   * @brief Unstable _LoserTree implementation.
    *
-   * This implementation is stable.
+   * The stable variant is above.
    */
-  // Do not pass a const reference since key will be used as local variable.
-  void delete_min_insert(T key, bool sup)
-  {
-    int source = losers[0].source;
-    for (unsigned int pos = (k + source) / 2; pos > 0; pos /= 2)
-      {
-        // The smaller one gets promoted, ties are broken by source.
-        if ((sup && (!losers[pos].sup || losers[pos].source < source))
-              || (!sup && !losers[pos].sup
-                && ((comp(losers[pos].key, key))
-                  || (!comp(key, losers[pos].key)
-                    && losers[pos].source < source))))
-          {
-            // The other one is smaller.
-            std::swap(losers[pos].sup, sup);
-            std::swap(losers[pos].source, source);
-            std::swap(losers[pos].key, key);
-          }
-      }
-
-    losers[0].sup = sup;
-    losers[0].source = source;
-    losers[0].key = key;
-  }
-};
-
-/**
- * @brief Unstable LoserTree variant.
- *
- * Stability (non-stable here) is selected with partial specialization.
- */
-template<typename T, typename Comparator>
-class LoserTree</* stable == */false, T, Comparator> :
-    public LoserTreeBase<T, Comparator>
-{
-  typedef LoserTreeBase<T, Comparator> Base;
-  using Base::_M_log_k;
-  using Base::k;
-  using Base::losers;
-  using Base::first_insert;
+  template<typename _Tp, typename _Compare>
+    class _LoserTreePointer</* __stable == */false, _Tp, _Compare>
+    : public _LoserTreePointerBase<_Tp, _Compare>
+    {
+      typedef _LoserTreePointerBase<_Tp, _Compare> _Base;
+      using _Base::_M_k;
+      using _Base::_M_losers;
 
-public:
-  LoserTree(unsigned int _k, Comparator _comp)
-  : Base::LoserTreeBase(_k, _comp)
-  {}
+    public:
+      _LoserTreePointer(unsigned int __k, _Compare __comp = std::less<_Tp>())
+      : _Base::_LoserTreePointerBase(__k, __comp)
+      { }
 
-  /**
-   * Computes the winner of the competition at position "root".
+      unsigned int
+      __init_winner(unsigned int __root)
+      {
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
+           if (_M_losers[__right]._M_sup
+               || (!_M_losers[__left]._M_sup
+                   && !_M_comp(*_M_losers[__right]._M_keyp,
+                               *_M_losers[__left]._M_keyp)))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
+      }
+
+      void __init()
+      { _M_losers[0] = _M_losers[__init_winner(1)]; }
+
+      void __delete_min_insert(const _Tp& __key, bool __sup)
+      {
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
+#endif
+
+       const _Tp* __keyp = &__key;
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted.
+           if (__sup || (!_M_losers[__pos]._M_sup
+                         && _M_comp(*_M_losers[__pos]._M_keyp, *__keyp)))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_sup, __sup);
+               std::swap(_M_losers[__pos]._M_source, __source);
+               std::swap(_M_losers[__pos]._M_keyp, __keyp);
+             }
+         }
+
+       _M_losers[0]._M_sup = __sup;
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_keyp = __keyp;
+      }
+    };
+
+  /** @brief Base class for unguarded _LoserTree implementation.
+   * 
+   * The whole element is copied into the tree structure.
    *
-   * Called recursively (starting at 0) to build the initial tree.
+   * No guarding is done, therefore not a single input sequence must
+   * run empty.  Unused __sequence heads are marked with a sentinel which
+   * is &gt; all elements that are to be merged.
    *
-   * @param root index of the "game" to start.
+   * This is a very fast variant.
    */
-  unsigned int
-  init_winner (unsigned int root)
-  {
-    if (root >= k)
-      {
-        return root;
-      }
-    else
-      {
-        unsigned int left = init_winner (2 * root);
-        unsigned int right = init_winner (2 * root + 1);
-        if (losers[right].sup ||
-            (!losers[left].sup
-              && !comp(losers[right].key, losers[left].key)))
-          {
-            // Left one is less or equal.
-            losers[root] = losers[right];
-            return left;
-          }
-        else
-          {
-            // Right one is less.
-            losers[root] = losers[left];
-            return right;
-          }
-      }
-  }
-
-  inline void
-  init()
-  { losers[0] = losers[init_winner(1)]; }
+  template<typename _Tp, typename _Compare>
+    class _LoserTreeUnguardedBase
+    {
+    protected:
+      struct _Loser
+      {
+       int _M_source;
+       _Tp _M_key;
+      };
+
+      unsigned int _M_ik, _M_k, _M_offset;
+      _Loser* _M_losers;
+      _Compare _M_comp;
+
+    public:
+      _LoserTreeUnguardedBase(unsigned int __k, const _Tp __sentinel,
+                             _Compare __comp = std::less<_Tp>())
+      : _M_comp(__comp)
+      {
+       _M_ik = __k;
+
+       // Next greater power of 2.
+       _M_k = 1 << (__rd_log2(_M_ik - 1) + 1);
+       _M_offset = _M_k;
+       // Avoid default-constructing _M_losers[]._M_key
+       _M_losers = static_cast<_Loser*>(::operator new(2 * _M_k
+                                                       * sizeof(_Loser)));
+
+       for (unsigned int __i = _M_k + _M_ik - 1; __i < (2 * _M_k); ++__i)
+         {
+           ::new(&(_M_losers[__i]._M_key)) _Tp(__sentinel);
+           _M_losers[__i]._M_source = -1;
+         }
+      }
 
-  /**
-   * Delete the key smallest element and insert the element key instead.
-   *
-   * @param key the key to insert
-   * @param sup true iff key is an explicitly marked supremum
-   */
-  // Do not pass a const reference since key will be used as local variable.
-  inline void
-  delete_min_insert(T key, bool sup)
-  {
+      ~_LoserTreeUnguardedBase()
+      {
+       for (unsigned int __i = 0; __i < (2 * _M_k); ++__i)
+         _M_losers[__i].~_Loser();
+       ::operator delete(_M_losers);
+      }
+
+      int
+      __get_min_source()
+      {
 #if _GLIBCXX_ASSERTIONS
-    // loser trees are only used for at least 2 sequences
-    _GLIBCXX_PARALLEL_ASSERT(_M_log_k > 1);
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
+       return _M_losers[0]._M_source;
+      }
 
-    int source = losers[0].source;
-    for (unsigned int pos = (k + source) / 2; pos > 0; pos /= 2)
-    {
-        // The smaller one gets promoted.
-      if (sup || (!losers[pos].sup && comp(losers[pos].key, key)))
+      void
+      __insert_start(const _Tp& __key, int __source, bool)
       {
-            // The other one is smaller.
-        std::swap(losers[pos].sup, sup);
-        std::swap(losers[pos].source, source);
-        std::swap(losers[pos].key, key);
+       unsigned int __pos = _M_k + __source;
+
+       ::new(&(_M_losers[__pos]._M_key)) _Tp(__key);
+       _M_losers[__pos]._M_source = __source;
       }
-    }
+    };
 
-    losers[0].sup = sup;
-    losers[0].source = source;
-    losers[0].key = key;
-  }
-};
+  /**
+   * @brief Stable implementation of unguarded _LoserTree.
+   *
+   * Unstable variant is selected below with partial specialization.
+   */
+  template<bool __stable/* default == true */, typename _Tp, typename _Compare>
+    class _LoserTreeUnguarded
+    : public _LoserTreeUnguardedBase<_Tp, _Compare>
+    {
+      typedef _LoserTreeUnguardedBase<_Tp, _Compare> _Base;
+      using _Base::_M_k;
+      using _Base::_M_losers;
+
+  public:
+      _LoserTreeUnguarded(unsigned int __k, const _Tp __sentinel,
+                         _Compare __comp = std::less<_Tp>())
+      : _Base::_LoserTreeUnguardedBase(__k, __sentinel, __comp)
+      { }
+
+      unsigned int
+      __init_winner(unsigned int __root)
+      {
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
+           if (!_M_comp(_M_losers[__right]._M_key,
+                        _M_losers[__left]._M_key))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
+      }
 
+      void
+      __init()
+      {
+       _M_losers[0] = _M_losers[__init_winner(1)];
 
-/**
- * @brief Base class of Loser Tree implementation using pointers.
- */
-template<typename T, typename Comparator>
-class LoserTreePointerBase
-{
-protected:
-  /** @brief Internal representation of LoserTree elements. */
-  struct Loser
-  {
-    bool sup;
-    int source;
-    const T* keyp;
-  };
-
-  unsigned int ik, k, offset;
-  Loser* losers;
-  Comparator comp;
-
-public:
-  LoserTreePointerBase(unsigned int _k, Comparator _comp = std::less<T>())
-    : comp(_comp)
-  {
-    ik = _k;
-
-    // Next greater power of 2.
-    k = 1 << (log2(ik - 1) + 1);
-    offset = k;
-    losers = new Loser[k * 2];
-    for (unsigned int i = ik - 1; i < k; i++)
-      losers[i + k].sup = true;
-  }
-
-  ~LoserTreePointerBase()
-  { ::operator delete(losers); }
-
-  int get_min_source()
-  { return losers[0].source; }
-
-  void insert_start(const T& key, int source, bool sup)
-  {
-    unsigned int pos = k + source;
-
-    losers[pos].sup = sup;
-    losers[pos].source = source;
-    losers[pos].keyp = &key;
-  }
-};
-
-/**
- * @brief Stable LoserTree implementation.
- *
- * The unstable variant is implemented using partial instantiation below.
- */
-template<bool stable/* default == true */, typename T, typename Comparator>
-class LoserTreePointer : public LoserTreePointerBase<T, Comparator>
-{
-  typedef LoserTreePointerBase<T, Comparator> Base;
-  using Base::k;
-  using Base::losers;
-
-public:
-  LoserTreePointer(unsigned int _k, Comparator _comp = std::less<T>())
-    : Base::LoserTreePointerBase(_k, _comp)
-  {}
-
-  unsigned int
-  init_winner(unsigned int root)
-  {
-    if (root >= k)
-      {
-        return root;
-      }
-    else
-      {
-        unsigned int left = init_winner (2 * root);
-        unsigned int right = init_winner (2 * root + 1);
-        if (losers[right].sup
-            || (!losers[left].sup && !comp(*losers[right].keyp,
-                                          *losers[left].keyp)))
-          {
-            // Left one is less or equal.
-            losers[root] = losers[right];
-            return left;
-          }
-        else
-          {
-            // Right one is less.
-            losers[root] = losers[left];
-            return right;
-          }
-      }
-  }
-
-  void init()
-  { losers[0] = losers[init_winner(1)]; }
-
-  void delete_min_insert(const T& key, bool sup)
-  {
-    const T* keyp = &key;
-    int source = losers[0].source;
-    for (unsigned int pos = (k + source) / 2; pos > 0; pos /= 2)
-      {
-        // The smaller one gets promoted, ties are broken by source.
-        if ((sup && (!losers[pos].sup || losers[pos].source < source)) ||
-              (!sup && !losers[pos].sup &&
-              ((comp(*losers[pos].keyp, *keyp)) ||
-                (!comp(*keyp, *losers[pos].keyp)
-                && losers[pos].source < source))))
-          {
-            // The other one is smaller.
-            std::swap(losers[pos].sup, sup);
-            std::swap(losers[pos].source, source);
-            std::swap(losers[pos].keyp, keyp);
-          }
-      }
-
-    losers[0].sup = sup;
-    losers[0].source = source;
-    losers[0].keyp = keyp;
-  }
-};
-
-/**
- * @brief Unstable LoserTree implementation.
- *
- * The stable variant is above.
- */
-template<typename T, typename Comparator>
-class LoserTreePointer</* stable == */false, T, Comparator> :
-    public LoserTreePointerBase<T, Comparator>
-{
-  typedef LoserTreePointerBase<T, Comparator> Base;
-  using Base::k;
-  using Base::losers;
-
-public:
-  LoserTreePointer(unsigned int _k, Comparator _comp = std::less<T>())
-    : Base::LoserTreePointerBase(_k, _comp)
-  {}
-
-  unsigned int
-  init_winner(unsigned int root)
-  {
-    if (root >= k)
-      {
-        return root;
-      }
-    else
-      {
-        unsigned int left = init_winner (2 * root);
-        unsigned int right = init_winner (2 * root + 1);
-        if (losers[right].sup
-              || (!losers[left].sup
-                && !comp(*losers[right].keyp, *losers[left].keyp)))
-          {
-            // Left one is less or equal.
-            losers[root] = losers[right];
-            return left;
-          }
-        else
-          {
-            // Right one is less.
-            losers[root] = losers[left];
-            return right;
-          }
-      }
-  }
-
-  void init()
-  { losers[0] = losers[init_winner(1)]; }
-
-  void delete_min_insert(const T& key, bool sup)
-  {
-    const T* keyp = &key;
-    int source = losers[0].source;
-    for (unsigned int pos = (k + source) / 2; pos > 0; pos /= 2)
-      {
-        // The smaller one gets promoted.
-        if (sup || (!losers[pos].sup && comp(*losers[pos].keyp, *keyp)))
-          {
-            // The other one is smaller.
-            std::swap(losers[pos].sup, sup);
-            std::swap(losers[pos].source, source);
-            std::swap(losers[pos].keyp, keyp);
-          }
-      }
-
-    losers[0].sup = sup;
-    losers[0].source = source;
-    losers[0].keyp = keyp;
-  }
-};
-
-/** @brief Base class for unguarded LoserTree implementation.
- * 
- * The whole element is copied into the tree structure.
- *
- * No guarding is done, therefore not a single input sequence must
- * run empty.  Unused sequence heads are marked with a sentinel which
- * is &gt; all elements that are to be merged.
- *
- * This is a very fast variant.
- */
-template<typename T, typename Comparator>
-class LoserTreeUnguardedBase
-{
-protected:
-  struct Loser
-  {
-    int source;
-    T key;
-  };
-
-  unsigned int ik, k, offset;
-  Loser* losers;
-  Comparator comp;
-
-public:
-  inline
-  LoserTreeUnguardedBase(unsigned int _k, const T _sentinel,
-                         Comparator _comp = std::less<T>())
-    : comp(_comp)
-  {
-    ik = _k;
-
-    // Next greater power of 2.
-    k = 1 << (log2(ik - 1) + 1);
-    offset = k;
-    // Avoid default-constructing losers[].key
-    losers = static_cast<Loser*>(::operator new(2 * k * sizeof(Loser)));
-
-    for (unsigned int i = /*k + ik - 1*/0; i < (2 * k); ++i)
-      {
-        losers[i].key = _sentinel;
-        losers[i].source = -1;
-      }
-  }
-
-  inline ~LoserTreeUnguardedBase()
-  { ::operator delete(losers); }
-
-  inline int
-  get_min_source()
-  {
-    // no dummy sequence can ever be at the top!
-#if _GLIBCXX_ASSERTIONS
-    _GLIBCXX_PARALLEL_ASSERT(losers[0].source != -1);
-#endif
-    return losers[0].source;
-  }
-
-  inline void
-  insert_start(const T& key, int source, bool)
-  {
-    unsigned int pos = k + source;
-
-    new(&(losers[pos].key)) T(key);
-    losers[pos].source = source;
-  }
-};
-
-/**
- * @brief Stable implementation of unguarded LoserTree.
- *
- * Unstable variant is selected below with partial specialization.
- */
-template<bool stable/* default == true */, typename T, typename Comparator>
-class LoserTreeUnguarded : public LoserTreeUnguardedBase<T, Comparator>
-{
-  typedef LoserTreeUnguardedBase<T, Comparator> Base;
-  using Base::k;
-  using Base::losers;
-
-public:
-  LoserTreeUnguarded(unsigned int _k, const T _sentinel,
-                     Comparator _comp = std::less<T>())
-    : Base::LoserTreeUnguardedBase(_k, _sentinel, _comp)
-  {}
-
-  unsigned int
-  init_winner(unsigned int root)
-  {
-    if (root >= k)
-      {
-        return root;
-      }
-    else
-      {
-        unsigned int left = init_winner (2 * root);
-        unsigned int right = init_winner (2 * root + 1);
-        if (!comp(losers[right].key, losers[left].key))
-          {
-            // Left one is less or equal.
-            losers[root] = losers[right];
-            return left;
-          }
-        else
-          {
-            // Right one is less.
-            losers[root] = losers[left];
-            return right;
-          }
-      }
-  }
-
-  inline void
-  init()
-  {
-    losers[0] = losers[init_winner(1)];
-
-    // no dummy sequence can ever be at the top at the beginning (0 sequences!)
 #if _GLIBCXX_ASSERTIONS
-    _GLIBCXX_PARALLEL_ASSERT(losers[0].source != -1);
+       // no dummy sequence can ever be at the top at the beginning
+       // (0 sequences!)
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
-  }
+      }
 
-  // Do not pass a const reference since key will be used as local variable.
-  inline void
-  delete_min_insert(T key, bool)
-  {
-    // No dummy sequence can ever be at the top and be retrieved!
+      // Do not pass a const reference since __key will be used as
+      // local variable.
+      void
+      __delete_min_insert(_Tp __key, bool)
+      {
+        using std::swap;
 #if _GLIBCXX_ASSERTIONS
-    _GLIBCXX_PARALLEL_ASSERT(losers[0].source != -1);
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
 
-    int source = losers[0].source;
-    printf("%d\n", source);
-    for (unsigned int pos = (k + source) / 2; pos > 0; pos /= 2)
-      {
-        // The smaller one gets promoted, ties are broken by source.
-        if (comp(losers[pos].key, key)
-              || (!comp(key, losers[pos].key) && losers[pos].source < source))
-          {
-            // The other one is smaller.
-            std::swap(losers[pos].source, source);
-            std::swap(losers[pos].key, key);
-          }
-      }
-
-    losers[0].source = source;
-    losers[0].key = key;
-  }
-};
-
-/**
- * @brief Non-Stable implementation of unguarded LoserTree.
- *
- * Stable implementation is above.
- */
-template<typename T, typename Comparator>
-class LoserTreeUnguarded</* stable == */false, T, Comparator> :
-    public LoserTreeUnguardedBase<T, Comparator>
-{
-  typedef LoserTreeUnguardedBase<T, Comparator> Base;
-  using Base::k;
-  using Base::losers;
-
-public:
-  LoserTreeUnguarded(unsigned int _k, const T _sentinel,
-                     Comparator _comp = std::less<T>())
-    : Base::LoserTreeUnguardedBase(_k, _sentinel, _comp)
-  {}
-
-  unsigned int
-  init_winner (unsigned int root)
-  {
-    if (root >= k)
-      {
-        return root;
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted, ties are broken by _M_source.
+           if (_M_comp(_M_losers[__pos]._M_key, __key)
+               || (!_M_comp(__key, _M_losers[__pos]._M_key)
+                    && _M_losers[__pos]._M_source < __source))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_source, __source);
+               swap(_M_losers[__pos]._M_key, __key);
+             }
+         }
+
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_key = __key;
       }
-    else
+    };
+
+  /**
+   * @brief Non-Stable implementation of unguarded _LoserTree.
+   *
+   * Stable implementation is above.
+   */
+  template<typename _Tp, typename _Compare>
+    class _LoserTreeUnguarded</* __stable == */false, _Tp, _Compare>
+    : public _LoserTreeUnguardedBase<_Tp, _Compare>
+    {
+      typedef _LoserTreeUnguardedBase<_Tp, _Compare> _Base;
+      using _Base::_M_k;
+      using _Base::_M_losers;
+
+    public:
+      _LoserTreeUnguarded(unsigned int __k, const _Tp __sentinel,
+                         _Compare __comp = std::less<_Tp>())
+      : _Base::_LoserTreeUnguardedBase(__k, __sentinel, __comp)
+      { }
+
+      unsigned int
+      __init_winner(unsigned int __root)
       {
-        unsigned int left = init_winner (2 * root);
-        unsigned int right = init_winner (2 * root + 1);
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
 
 #if _GLIBCXX_ASSERTIONS
-        // If left one is sentinel then right one must be, too.
-        if (losers[left].source == -1)
-          _GLIBCXX_PARALLEL_ASSERT(losers[right].source == -1);
+           // If __left one is sentinel then __right one must be, too.
+           if (_M_losers[__left]._M_source == -1)
+             _GLIBCXX_PARALLEL_ASSERT(_M_losers[__right]._M_source == -1);
 #endif
 
-        if (!comp(losers[right].key, losers[left].key))
-          {
-            // Left one is less or equal.
-            losers[root] = losers[right];
-            return left;
-          }
-        else
-          {
-            // Right one is less.
-            losers[root] = losers[left];
-            return right;
-          }
-      }
-  }
-
-  inline void
-  init()
-  {
-    losers[0] = losers[init_winner(1)];
-
-    // no dummy sequence can ever be at the top at the beginning (0 sequences!)
-#if _GLIBCXX_ASSERTIONS
-    _GLIBCXX_PARALLEL_ASSERT(losers[0].source != -1);
-#endif
-  }
-
-  // Do not pass a const reference since key will be used as local variable.
-  inline void
-  delete_min_insert(T key, bool)
-  {
-    printf("wrong\n");
-    int source = losers[0].source;
-    for (unsigned int pos = (k + source) / 2; pos > 0; pos /= 2)
-      {
-        // The smaller one gets promoted.
-        if (comp(losers[pos].key, key))
-          {
-            // The other one is smaller.
-            std::swap(losers[pos].source, source);
-            std::swap(losers[pos].key, key);
-          }
-      }
-
-    losers[0].source = source;
-    losers[0].key = key;
-  }
-};
-
-/** @brief Unguarded loser tree, keeping only pointers to the
-* elements in the tree structure.
-*
-*  No guarding is done, therefore not a single input sequence must
-*  run empty.  This is a very fast variant.
-*/
-template<typename T, typename Comparator>
-class LoserTreePointerUnguardedBase
-{
-protected:
-  struct Loser
-  {
-    int source;
-    const T* keyp;
-  };
-
-  unsigned int ik, k, offset;
-  Loser* losers;
-  const T sentinel;
-  Comparator comp;
-
-public:
-
-  inline
-  LoserTreePointerUnguardedBase(unsigned int _k, const T _sentinel,
-      Comparator _comp = std::less<T>())
-    : sentinel(_sentinel), comp(_comp)
-  {
-    ik = _k;
-
-    // Next greater power of 2.
-    k = 1 << (log2(ik - 1) + 1);
-    offset = k;
-    // Avoid default-constructing losers[].key
-    losers = new Loser[2 * k];
-
-    for (unsigned int i = /*k + ik - 1*/0; i < (2 * k); ++i)
-      {
-        losers[i].keyp = &sentinel;
-        losers[i].source = -1;
-      }
-  }
-
-  inline ~LoserTreePointerUnguardedBase()
-  { delete[] losers; }
-
-  inline int
-  get_min_source()
-  {
-    // no dummy sequence can ever be at the top!
+           if (!_M_comp(_M_losers[__right]._M_key,
+                        _M_losers[__left]._M_key))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
+      }
+
+      void
+      __init()
+      {
+       _M_losers[0] = _M_losers[__init_winner(1)];
+
 #if _GLIBCXX_ASSERTIONS
-    _GLIBCXX_PARALLEL_ASSERT(losers[0].source != -1);
+       // no dummy sequence can ever be at the top at the beginning
+       // (0 sequences!)
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
-    return losers[0].source;
-  }
-
-  inline void
-  insert_start(const T& key, int source, bool)
-  {
-    unsigned int pos = k + source;
-
-    losers[pos].keyp = &key;
-    losers[pos].source = source;
-  }
-};
-
-/**
- * @brief Stable unguarded LoserTree variant storing pointers.
- *
- * Unstable variant is implemented below using partial specialization.
- */
-template<bool stable/* default == true */, typename T, typename Comparator>
-class LoserTreePointerUnguarded :
-    public LoserTreePointerUnguardedBase<T, Comparator>
-{
-  typedef LoserTreePointerUnguardedBase<T, Comparator> Base;
-  using Base::k;
-  using Base::losers;
-
-public:
-  LoserTreePointerUnguarded(unsigned int _k, const T _sentinel,
-      Comparator _comp = std::less<T>())
-    : Base::LoserTreePointerUnguardedBase(_k, _sentinel, _comp)
-  {}
-
-  unsigned int
-  init_winner(unsigned int root)
-  {
-    if (root >= k)
-      {
-        return root;
-      }
-    else
-      {
-        unsigned int left = init_winner (2 * root);
-        unsigned int right = init_winner (2 * root + 1);
-        if (!comp(*losers[right].keyp, *losers[left].keyp))
-          {
-            // Left one is less or equal.
-            losers[root] = losers[right];
-            return left;
-          }
-        else
-          {
-            // Right one is less.
-            losers[root] = losers[left];
-            return right;
-          }
-      }
-  }
-
-  inline void
-  init()
-  {
-    losers[0] = losers[init_winner(1)];
-
-    // no dummy sequence can ever be at the top at the beginning (0 sequences!)
+      }
+
+      // Do not pass a const reference since __key will be used as
+      // local variable.
+      void
+      __delete_min_insert(_Tp __key, bool)
+      {
+        using std::swap;
 #if _GLIBCXX_ASSERTIONS
-    _GLIBCXX_PARALLEL_ASSERT(losers[0].source != -1);
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
-  }
 
-  inline void
-  delete_min_insert(const T& key, bool sup)
-  {
-    const T* keyp = &key;
-    int source = losers[0].source;
-    for (unsigned int pos = (k + source) / 2; pos > 0; pos /= 2)
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted.
+           if (_M_comp(_M_losers[__pos]._M_key, __key))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_source, __source);
+               swap(_M_losers[__pos]._M_key, __key);
+             }
+         }
+
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_key = __key;
+      }
+    };
+
+  /** @brief Unguarded loser tree, keeping only pointers to the
+  * elements in the tree structure.
+  *
+  *  No guarding is done, therefore not a single input sequence must
+  *  run empty.  This is a very fast variant.
+  */
+  template<typename _Tp, typename _Compare>
+    class _LoserTreePointerUnguardedBase
+    {
+    protected:
+      struct _Loser
+      {
+       int _M_source;
+       const _Tp* _M_keyp;
+      };
+
+      unsigned int _M_ik, _M_k, _M_offset;
+      _Loser* _M_losers;
+      _Compare _M_comp;
+
+    public:
+
+      _LoserTreePointerUnguardedBase(unsigned int __k, const _Tp& __sentinel,
+                                    _Compare __comp = std::less<_Tp>())
+      : _M_comp(__comp)
       {
-        // The smaller one gets promoted, ties are broken by source.
-        if (comp(*losers[pos].keyp, *keyp)
-          || (!comp(*keyp, *losers[pos].keyp) && losers[pos].source < source))
-          {
-            // The other one is smaller.
-            std::swap(losers[pos].source, source);
-            std::swap(losers[pos].keyp, keyp);
-          }
+       _M_ik = __k;
+
+       // Next greater power of 2.
+       _M_k = 1 << (__rd_log2(_M_ik - 1) + 1);
+       _M_offset = _M_k;
+       // Avoid default-constructing _M_losers[]._M_key
+       _M_losers = new _Loser[2 * _M_k];
+
+       for (unsigned int __i = _M_k + _M_ik - 1; __i < (2 * _M_k); ++__i)
+         {
+           _M_losers[__i]._M_keyp = &__sentinel;
+           _M_losers[__i]._M_source = -1;
+         }
       }
 
-    losers[0].source = source;
-    losers[0].keyp = keyp;
+      ~_LoserTreePointerUnguardedBase()
+      { delete[] _M_losers; }
 
-    // no dummy sequence can ever be at the top!
+      int
+      __get_min_source()
+      {
 #if _GLIBCXX_ASSERTIONS
-    _GLIBCXX_PARALLEL_ASSERT(losers[0].source != -1);
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
-  }
-};
-
-/**
- * @brief Unstable unguarded LoserTree variant storing pointers.
- *
- * Stable variant is above.
- */
-template<typename T, typename Comparator>
-class LoserTreePointerUnguarded</* stable == */false, T, Comparator> :
-    public LoserTreePointerUnguardedBase<T, Comparator>
-{
-  typedef LoserTreePointerUnguardedBase<T, Comparator> Base;
-  using Base::k;
-  using Base::losers;
+       return _M_losers[0]._M_source;
+      }
+
+      void
+      __insert_start(const _Tp& __key, int __source, bool)
+      {
+       unsigned int __pos = _M_k + __source;
 
-public:
-  LoserTreePointerUnguarded(unsigned int _k, const T _sentinel,
-      Comparator _comp = std::less<T>())
-    : Base::LoserTreePointerUnguardedBase(_k, _sentinel, _comp)
-  {}
+       _M_losers[__pos]._M_keyp = &__key;
+       _M_losers[__pos]._M_source = __source;
+      }
+    };
 
-  unsigned int
-  init_winner(unsigned int root)
-  {
-    if (root >= k)
+  /**
+   * @brief Stable unguarded _LoserTree variant storing pointers.
+   *
+   * Unstable variant is implemented below using partial specialization.
+   */
+  template<bool __stable/* default == true */, typename _Tp, typename _Compare>
+    class _LoserTreePointerUnguarded
+    : public _LoserTreePointerUnguardedBase<_Tp, _Compare>
+    {
+      typedef _LoserTreePointerUnguardedBase<_Tp, _Compare> _Base;
+      using _Base::_M_k;
+      using _Base::_M_losers;
+
+    public:
+      _LoserTreePointerUnguarded(unsigned int __k, const _Tp& __sentinel,
+                                _Compare __comp = std::less<_Tp>())
+      : _Base::_LoserTreePointerUnguardedBase(__k, __sentinel, __comp)
+      { }
+
+      unsigned int
+      __init_winner(unsigned int __root)
       {
-        return root;
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
+           if (!_M_comp(*_M_losers[__right]._M_keyp,
+                        *_M_losers[__left]._M_keyp))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
       }
-    else
+
+      void
+      __init()
       {
-        unsigned int left = init_winner (2 * root);
-        unsigned int right = init_winner (2 * root + 1);
+       _M_losers[0] = _M_losers[__init_winner(1)];
+
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top at the beginning
+       // (0 sequences!)
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
+#endif
+      }
 
+      void
+      __delete_min_insert(const _Tp& __key, bool __sup)
+      {
 #if _GLIBCXX_ASSERTIONS
-        // If left one is sentinel then right one must be, too.
-        if (losers[left].source == -1)
-          _GLIBCXX_PARALLEL_ASSERT(losers[right].source == -1);
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
 
-        if (!comp(*losers[right].keyp, *losers[left].keyp))
-          {
-            // Left one is less or equal.
-            losers[root] = losers[right];
-            return left;
-          }
-        else
-          {
-            // Right one is less.
-            losers[root] = losers[left];
-            return right;
-          }
-      }
-  }
-
-  inline void
-  init()
-  {
-    losers[0] = losers[init_winner(1)];
-
-    // no dummy sequence can ever be at the top at the beginning (0 sequences!)
+       const _Tp* __keyp = &__key;
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted, ties are broken by _M_source.
+           if (_M_comp(*_M_losers[__pos]._M_keyp, *__keyp)
+               || (!_M_comp(*__keyp, *_M_losers[__pos]._M_keyp)
+                   && _M_losers[__pos]._M_source < __source))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_source, __source);
+               std::swap(_M_losers[__pos]._M_keyp, __keyp);
+             }
+         }
+
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_keyp = __keyp;
+      }
+    };
+
+  /**
+   * @brief Unstable unguarded _LoserTree variant storing pointers.
+   *
+   * Stable variant is above.
+   */
+  template<typename _Tp, typename _Compare>
+    class _LoserTreePointerUnguarded</* __stable == */false, _Tp, _Compare>
+    : public _LoserTreePointerUnguardedBase<_Tp, _Compare>
+    {
+      typedef _LoserTreePointerUnguardedBase<_Tp, _Compare> _Base;
+      using _Base::_M_k;
+      using _Base::_M_losers;
+
+  public:
+      _LoserTreePointerUnguarded(unsigned int __k, const _Tp& __sentinel,
+                                _Compare __comp = std::less<_Tp>())
+      : _Base::_LoserTreePointerUnguardedBase(__k, __sentinel, __comp)
+      { }
+
+      unsigned int
+      __init_winner(unsigned int __root)
+      {
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
+
 #if _GLIBCXX_ASSERTIONS
-    _GLIBCXX_PARALLEL_ASSERT(losers[0].source != -1);
+           // If __left one is sentinel then __right one must be, too.
+           if (_M_losers[__left]._M_source == -1)
+             _GLIBCXX_PARALLEL_ASSERT(_M_losers[__right]._M_source == -1);
 #endif
-  }
 
-  inline void
-  delete_min_insert(const T& key, bool sup)
-  {
-    const T* keyp = &key;
-    int source = losers[0].source;
-    for (unsigned int pos = (k + source) / 2; pos > 0; pos /= 2)
+           if (!_M_comp(*_M_losers[__right]._M_keyp,
+                        *_M_losers[__left]._M_keyp))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
+      }
+
+      void
+      __init()
       {
-        // The smaller one gets promoted.
-        if (comp(*(losers[pos].keyp), *keyp))
-          {
-            // The other one is smaller.
-            std::swap(losers[pos].source, source);
-            std::swap(losers[pos].keyp, keyp);
-          }
+       _M_losers[0] = _M_losers[__init_winner(1)];
+
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top at the beginning
+       // (0 sequences!)
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
+#endif
       }
 
-    losers[0].source = source;
-    losers[0].keyp = keyp;
-  }
-};
+      void
+      __delete_min_insert(const _Tp& __key, bool __sup)
+      {
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
+#endif
 
+       const _Tp* __keyp = &__key;
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted.
+           if (_M_comp(*(_M_losers[__pos]._M_keyp), *__keyp))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_source, __source);
+               std::swap(_M_losers[__pos]._M_keyp, __keyp);
+             }
+         }
+
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_keyp = __keyp;
+      }
+    };
 } // namespace __gnu_parallel
 
-#endif
+#endif /* _GLIBCXX_PARALLEL_LOSERTREE_H */