Update error message prefix in libgcov profiling.
[gcc.git] / gcc / dce.c
index 63ea3806606aede778a8ee6ccb5ae262cfc86997..7fd9c37aa445651f17de1d5959ea10230cde0efa 100644 (file)
--- a/gcc/dce.c
+++ b/gcc/dce.c
@@ -1,5 +1,5 @@
 /* RTL dead code elimination.
-   Copyright (C) 2005, 2006, 2007, 2008 Free Software Foundation, Inc.
+   Copyright (C) 2005-2019 Free Software Foundation, Inc.
 
 This file is part of GCC.
 
@@ -20,23 +20,22 @@ along with GCC; see the file COPYING3.  If not see
 #include "config.h"
 #include "system.h"
 #include "coretypes.h"
-#include "hashtab.h"
-#include "tm.h"
+#include "backend.h"
 #include "rtl.h"
 #include "tree.h"
-#include "regs.h"
-#include "hard-reg-set.h"
-#include "flags.h"
+#include "predict.h"
 #include "df.h"
-#include "cselib.h"
+#include "memmodel.h"
+#include "tm_p.h"
+#include "emit-rtl.h"  /* FIXME: Can go away once crtl is moved to rtl.h.  */
+#include "cfgrtl.h"
+#include "cfgbuild.h"
+#include "cfgcleanup.h"
 #include "dce.h"
-#include "timevar.h"
+#include "valtrack.h"
 #include "tree-pass.h"
 #include "dbgcnt.h"
 
-DEF_VEC_I(int);
-DEF_VEC_ALLOC_I(int,heap);
-
 
 /* -------------------------------------------------------------------------
    Core mark/delete routines
@@ -46,9 +45,12 @@ DEF_VEC_ALLOC_I(int,heap);
    we don't want to reenter it.  */
 static bool df_in_progress = false;
 
+/* True if we are allowed to alter the CFG in this pass.  */
+static bool can_alter_cfg = false;
+
 /* Instructions that have been marked but whose dependencies have not
    yet been processed.  */
-static VEC(rtx,heap) *worklist;
+static vec<rtx_insn *> worklist;
 
 /* Bitmap of instructions marked as needed indexed by INSN_UID.  */
 static sbitmap marked;
@@ -57,6 +59,7 @@ static sbitmap marked;
 static bitmap_obstack dce_blocks_bitmap_obstack;
 static bitmap_obstack dce_tmp_bitmap_obstack;
 
+static bool find_call_stack_args (rtx_call_insn *, bool, bool, bitmap);
 
 /* A subroutine for which BODY is part of the instruction being tested;
    either the top-level pattern, or an element of a PARALLEL.  The
@@ -79,13 +82,7 @@ deletable_insn_p_1 (rtx body)
       return false;
 
     default:
-      if (volatile_refs_p (body))
-       return false;
-
-      if (flag_non_call_exceptions && may_trap_p (body))
-       return false;
-
-      return true;
+      return !volatile_refs_p (body);
     }
 }
 
@@ -94,10 +91,11 @@ deletable_insn_p_1 (rtx body)
    the DCE pass.  */
 
 static bool
-deletable_insn_p (rtx insn, bool fast)
+deletable_insn_p (rtx_insn *insn, bool fast, bitmap arg_stores)
 {
   rtx body, x;
   int i;
+  df_ref def;
 
   if (CALL_P (insn)
       /* We cannot delete calls inside of the recursive dce because
@@ -110,19 +108,47 @@ deletable_insn_p (rtx insn, bool fast)
       /* We can delete dead const or pure calls as long as they do not
          infinite loop.  */
       && (RTL_CONST_OR_PURE_CALL_P (insn)
-         && !RTL_LOOPING_CONST_OR_PURE_CALL_P (insn)))
-    return true;
-
+         && !RTL_LOOPING_CONST_OR_PURE_CALL_P (insn))
+      /* Don't delete calls that may throw if we cannot do so.  */
+      && ((cfun->can_delete_dead_exceptions && can_alter_cfg)
+         || insn_nothrow_p (insn)))
+    return find_call_stack_args (as_a <rtx_call_insn *> (insn), false,
+                                fast, arg_stores);
+
+  /* Don't delete jumps, notes and the like.  */
   if (!NONJUMP_INSN_P (insn))
     return false;
 
+  /* Don't delete insns that may throw if we cannot do so.  */
+  if (!(cfun->can_delete_dead_exceptions && can_alter_cfg)
+      && !insn_nothrow_p (insn))
+    return false;
+
+  /* If INSN sets a global_reg, leave it untouched.  */
+  FOR_EACH_INSN_DEF (def, insn)
+    if (HARD_REGISTER_NUM_P (DF_REF_REGNO (def))
+       && global_regs[DF_REF_REGNO (def)])
+      return false;
+    /* Initialization of pseudo PIC register should never be removed.  */
+    else if (DF_REF_REG (def) == pic_offset_table_rtx
+            && REGNO (pic_offset_table_rtx) >= FIRST_PSEUDO_REGISTER)
+      return false;
+
+  /* Callee-save restores are needed.  */
+  if (RTX_FRAME_RELATED_P (insn)
+      && crtl->shrink_wrapped_separate
+      && find_reg_note (insn, REG_CFA_RESTORE, NULL))
+    return false;
+
   body = PATTERN (insn);
   switch (GET_CODE (body))
     {
     case USE:
+    case VAR_LOCATION:
       return false;
 
     case CLOBBER:
+    case CLOBBER_HIGH:
       if (fast)
        {
          /* A CLOBBER of a dead pseudo register serves no purpose.
@@ -152,12 +178,12 @@ deletable_insn_p (rtx insn, bool fast)
 /* Return true if INSN has been marked as needed.  */
 
 static inline int
-marked_insn_p (rtx insn)
+marked_insn_p (rtx_insn *insn)
 {
   /* Artificial defs are always needed and they do not have an insn.
      We should never see them here.  */
   gcc_assert (insn);
-  return TEST_BIT (marked, INSN_UID (insn));
+  return bitmap_bit_p (marked, INSN_UID (insn));
 }
 
 
@@ -165,15 +191,23 @@ marked_insn_p (rtx insn)
    the worklist.  */
 
 static void
-mark_insn (rtx insn, bool fast)
+mark_insn (rtx_insn *insn, bool fast)
 {
   if (!marked_insn_p (insn))
     {
       if (!fast)
-       VEC_safe_push (rtx, heap, worklist, insn);
-      SET_BIT (marked, INSN_UID (insn));
+       worklist.safe_push (insn);
+      bitmap_set_bit (marked, INSN_UID (insn));
       if (dump_file)
        fprintf (dump_file, "  Adding insn %d to worklist\n", INSN_UID (insn));
+      if (CALL_P (insn)
+         && !df_in_progress
+         && !SIBLING_CALL_P (insn)
+         && (RTL_CONST_OR_PURE_CALL_P (insn)
+             && !RTL_LOOPING_CONST_OR_PURE_CALL_P (insn))
+         && ((cfun->can_delete_dead_exceptions && can_alter_cfg)
+             || insn_nothrow_p (insn)))
+       find_call_stack_args (as_a <rtx_call_insn *> (insn), true, fast, NULL);
     }
 }
 
@@ -185,7 +219,10 @@ static void
 mark_nonreg_stores_1 (rtx dest, const_rtx pattern, void *data)
 {
   if (GET_CODE (pattern) != CLOBBER && !REG_P (dest))
-    mark_insn ((rtx) data, true);
+    {
+      gcc_checking_assert (GET_CODE (pattern) != CLOBBER_HIGH);
+      mark_insn ((rtx_insn *) data, true);
+    }
 }
 
 
@@ -196,14 +233,17 @@ static void
 mark_nonreg_stores_2 (rtx dest, const_rtx pattern, void *data)
 {
   if (GET_CODE (pattern) != CLOBBER && !REG_P (dest))
-    mark_insn ((rtx) data, false);
+    {
+      gcc_checking_assert (GET_CODE (pattern) != CLOBBER_HIGH);
+      mark_insn ((rtx_insn *) data, false);
+    }
 }
 
 
 /* Mark INSN if BODY stores to a non-register destination.  */
 
 static void
-mark_nonreg_stores (rtx body, rtx insn, bool fast)
+mark_nonreg_stores (rtx body, rtx_insn *insn, bool fast)
 {
   if (fast)
     note_stores (body, mark_nonreg_stores_1, insn);
@@ -212,69 +252,380 @@ mark_nonreg_stores (rtx body, rtx insn, bool fast)
 }
 
 
-/* Delete all REG_EQUAL notes of the registers INSN writes, to prevent
-   bad dangling REG_EQUAL notes. */
+/* Return true if a store to SIZE bytes, starting OFF bytes from stack pointer,
+   is a call argument store, and clear corresponding bits from SP_BYTES
+   bitmap if it is.  */
 
-static void
-delete_corresponding_reg_eq_notes (rtx insn)
+static bool
+check_argument_store (HOST_WIDE_INT size, HOST_WIDE_INT off,
+                     HOST_WIDE_INT min_sp_off, HOST_WIDE_INT max_sp_off,
+                     bitmap sp_bytes)
 {
-  df_ref *def_rec;
-  for (def_rec = DF_INSN_DEFS (insn); *def_rec; def_rec++)
+  HOST_WIDE_INT byte;
+  for (byte = off; byte < off + size; byte++)
+    {
+      if (byte < min_sp_off
+         || byte >= max_sp_off
+         || !bitmap_clear_bit (sp_bytes, byte - min_sp_off))
+       return false;
+    }
+  return true;
+}
+
+
+/* Try to find all stack stores of CALL_INSN arguments if
+   ACCUMULATE_OUTGOING_ARGS.  If all stack stores have been found
+   and it is therefore safe to eliminate the call, return true,
+   otherwise return false.  This function should be first called
+   with DO_MARK false, and only when the CALL_INSN is actually
+   going to be marked called again with DO_MARK true.  */
+
+static bool
+find_call_stack_args (rtx_call_insn *call_insn, bool do_mark, bool fast,
+                     bitmap arg_stores)
+{
+  rtx p;
+  rtx_insn *insn, *prev_insn;
+  bool ret;
+  HOST_WIDE_INT min_sp_off, max_sp_off;
+  bitmap sp_bytes;
+
+  gcc_assert (CALL_P (call_insn));
+  if (!ACCUMULATE_OUTGOING_ARGS)
+    return true;
+
+  if (!do_mark)
+    {
+      gcc_assert (arg_stores);
+      bitmap_clear (arg_stores);
+    }
+
+  min_sp_off = INTTYPE_MAXIMUM (HOST_WIDE_INT);
+  max_sp_off = 0;
+
+  /* First determine the minimum and maximum offset from sp for
+     stored arguments.  */
+  for (p = CALL_INSN_FUNCTION_USAGE (call_insn); p; p = XEXP (p, 1))
+    if (GET_CODE (XEXP (p, 0)) == USE
+       && MEM_P (XEXP (XEXP (p, 0), 0)))
+      {
+       rtx mem = XEXP (XEXP (p, 0), 0), addr;
+       HOST_WIDE_INT off = 0, size;
+       if (!MEM_SIZE_KNOWN_P (mem) || !MEM_SIZE (mem).is_constant (&size))
+         return false;
+       addr = XEXP (mem, 0);
+       if (GET_CODE (addr) == PLUS
+           && REG_P (XEXP (addr, 0))
+           && CONST_INT_P (XEXP (addr, 1)))
+         {
+           off = INTVAL (XEXP (addr, 1));
+           addr = XEXP (addr, 0);
+         }
+       if (addr != stack_pointer_rtx)
+         {
+           if (!REG_P (addr))
+             return false;
+           /* If not fast, use chains to see if addr wasn't set to
+              sp + offset.  */
+           if (!fast)
+             {
+               df_ref use;
+               struct df_link *defs;
+               rtx set;
+
+               FOR_EACH_INSN_USE (use, call_insn)
+                 if (rtx_equal_p (addr, DF_REF_REG (use)))
+                   break;
+
+               if (use == NULL)
+                 return false;
+
+               for (defs = DF_REF_CHAIN (use); defs; defs = defs->next)
+                 if (! DF_REF_IS_ARTIFICIAL (defs->ref))
+                   break;
+
+               if (defs == NULL)
+                 return false;
+
+               set = single_set (DF_REF_INSN (defs->ref));
+               if (!set)
+                 return false;
+
+               if (GET_CODE (SET_SRC (set)) != PLUS
+                   || XEXP (SET_SRC (set), 0) != stack_pointer_rtx
+                   || !CONST_INT_P (XEXP (SET_SRC (set), 1)))
+                 return false;
+
+               off += INTVAL (XEXP (SET_SRC (set), 1));
+             }
+           else
+             return false;
+         }
+       min_sp_off = MIN (min_sp_off, off);
+       max_sp_off = MAX (max_sp_off, off + size);
+      }
+
+  if (min_sp_off >= max_sp_off)
+    return true;
+  sp_bytes = BITMAP_ALLOC (NULL);
+
+  /* Set bits in SP_BYTES bitmap for bytes relative to sp + min_sp_off
+     which contain arguments.  Checking has been done in the previous
+     loop.  */
+  for (p = CALL_INSN_FUNCTION_USAGE (call_insn); p; p = XEXP (p, 1))
+    if (GET_CODE (XEXP (p, 0)) == USE
+       && MEM_P (XEXP (XEXP (p, 0), 0)))
+      {
+       rtx mem = XEXP (XEXP (p, 0), 0), addr;
+       HOST_WIDE_INT off = 0, byte, size;
+       /* Checked in the previous iteration.  */
+       size = MEM_SIZE (mem).to_constant ();
+       addr = XEXP (mem, 0);
+       if (GET_CODE (addr) == PLUS
+           && REG_P (XEXP (addr, 0))
+           && CONST_INT_P (XEXP (addr, 1)))
+         {
+           off = INTVAL (XEXP (addr, 1));
+           addr = XEXP (addr, 0);
+         }
+       if (addr != stack_pointer_rtx)
+         {
+           df_ref use;
+           struct df_link *defs;
+           rtx set;
+
+           FOR_EACH_INSN_USE (use, call_insn)
+             if (rtx_equal_p (addr, DF_REF_REG (use)))
+               break;
+
+           for (defs = DF_REF_CHAIN (use); defs; defs = defs->next)
+             if (! DF_REF_IS_ARTIFICIAL (defs->ref))
+               break;
+
+           set = single_set (DF_REF_INSN (defs->ref));
+           off += INTVAL (XEXP (SET_SRC (set), 1));
+         }
+       for (byte = off; byte < off + size; byte++)
+         {
+           if (!bitmap_set_bit (sp_bytes, byte - min_sp_off))
+             gcc_unreachable ();
+         }
+      }
+
+  /* Walk backwards, looking for argument stores.  The search stops
+     when seeing another call, sp adjustment or memory store other than
+     argument store.  */
+  ret = false;
+  for (insn = PREV_INSN (call_insn); insn; insn = prev_insn)
     {
-      df_ref def = *def_rec;
-      unsigned int regno = DF_REF_REGNO (def);
-      /* This loop is a little tricky.  We cannot just go down the
-        chain because it is being modified by the actions in the
-        loop.  So we just get the head.  We plan to drain the list
-        anyway.  */
-      while (DF_REG_EQ_USE_CHAIN (regno))
+      rtx set, mem, addr;
+      HOST_WIDE_INT off;
+
+      if (insn == BB_HEAD (BLOCK_FOR_INSN (call_insn)))
+       prev_insn = NULL;
+      else
+       prev_insn = PREV_INSN (insn);
+
+      if (CALL_P (insn))
+       break;
+
+      if (!NONDEBUG_INSN_P (insn))
+       continue;
+
+      set = single_set (insn);
+      if (!set || SET_DEST (set) == stack_pointer_rtx)
+       break;
+
+      if (!MEM_P (SET_DEST (set)))
+       continue;
+
+      mem = SET_DEST (set);
+      addr = XEXP (mem, 0);
+      off = 0;
+      if (GET_CODE (addr) == PLUS
+         && REG_P (XEXP (addr, 0))
+         && CONST_INT_P (XEXP (addr, 1)))
        {
-         df_ref eq_use = DF_REG_EQ_USE_CHAIN (regno);
-         rtx noted_insn = DF_REF_INSN (eq_use);
-         rtx note = find_reg_note (noted_insn, REG_EQUAL, NULL_RTX);
-         if (!note)
-           note = find_reg_note (noted_insn, REG_EQUIV, NULL_RTX);
-
-         /* This assert is generally triggered when someone deletes a
-            REG_EQUAL or REG_EQUIV note by hacking the list manually
-            rather than calling remove_note.  */
-         gcc_assert (note);
-         remove_note (noted_insn, note);
+         off = INTVAL (XEXP (addr, 1));
+         addr = XEXP (addr, 0);
+       }
+      if (addr != stack_pointer_rtx)
+       {
+         if (!REG_P (addr))
+           break;
+         if (!fast)
+           {
+             df_ref use;
+             struct df_link *defs;
+             rtx set;
+
+             FOR_EACH_INSN_USE (use, insn)
+               if (rtx_equal_p (addr, DF_REF_REG (use)))
+                 break;
+
+             if (use == NULL)
+               break;
+
+             for (defs = DF_REF_CHAIN (use); defs; defs = defs->next)
+               if (! DF_REF_IS_ARTIFICIAL (defs->ref))
+                 break;
+
+             if (defs == NULL)
+               break;
+
+             set = single_set (DF_REF_INSN (defs->ref));
+             if (!set)
+               break;
+
+             if (GET_CODE (SET_SRC (set)) != PLUS
+                 || XEXP (SET_SRC (set), 0) != stack_pointer_rtx
+                 || !CONST_INT_P (XEXP (SET_SRC (set), 1)))
+               break;
+
+             off += INTVAL (XEXP (SET_SRC (set), 1));
+           }
+         else
+           break;
+       }
+
+      HOST_WIDE_INT size;
+      if (!MEM_SIZE_KNOWN_P (mem)
+         || !MEM_SIZE (mem).is_constant (&size)
+         || !check_argument_store (size, off, min_sp_off,
+                                   max_sp_off, sp_bytes))
+       break;
+
+      if (!deletable_insn_p (insn, fast, NULL))
+       break;
+
+      if (do_mark)
+       mark_insn (insn, fast);
+      else
+       bitmap_set_bit (arg_stores, INSN_UID (insn));
+
+      if (bitmap_empty_p (sp_bytes))
+       {
+         ret = true;
+         break;
        }
     }
+
+  BITMAP_FREE (sp_bytes);
+  if (!ret && arg_stores)
+    bitmap_clear (arg_stores);
+
+  return ret;
 }
 
 
+/* Remove all REG_EQUAL and REG_EQUIV notes referring to the registers INSN
+   writes to.  */
+
+static void
+remove_reg_equal_equiv_notes_for_defs (rtx_insn *insn)
+{
+  df_ref def;
+
+  FOR_EACH_INSN_DEF (def, insn)
+    remove_reg_equal_equiv_notes_for_regno (DF_REF_REGNO (def));
+}
+
+/* Scan all BBs for debug insns and reset those that reference values
+   defined in unmarked insns.  */
+
+static void
+reset_unmarked_insns_debug_uses (void)
+{
+  basic_block bb;
+  rtx_insn *insn, *next;
+
+  FOR_EACH_BB_REVERSE_FN (bb, cfun)
+    FOR_BB_INSNS_REVERSE_SAFE (bb, insn, next)
+      if (DEBUG_INSN_P (insn))
+       {
+         df_ref use;
+
+         FOR_EACH_INSN_USE (use, insn)
+           {
+             struct df_link *defs;
+             for (defs = DF_REF_CHAIN (use); defs; defs = defs->next)
+               {
+                 rtx_insn *ref_insn;
+                 if (DF_REF_IS_ARTIFICIAL (defs->ref))
+                   continue;
+                 ref_insn = DF_REF_INSN (defs->ref);
+                 if (!marked_insn_p (ref_insn))
+                   break;
+               }
+             if (!defs)
+               continue;
+             /* ??? FIXME could we propagate the values assigned to
+                each of the DEFs?  */
+             INSN_VAR_LOCATION_LOC (insn) = gen_rtx_UNKNOWN_VAR_LOC ();
+             df_insn_rescan_debug_internal (insn);
+             break;
+           }
+       }
+}
+
 /* Delete every instruction that hasn't been marked.  */
 
 static void
 delete_unmarked_insns (void)
 {
   basic_block bb;
-  rtx insn, next;
+  rtx_insn *insn, *next;
   bool must_clean = false;
 
-  FOR_EACH_BB (bb)
-    FOR_BB_INSNS_SAFE (bb, insn, next)
-      if (INSN_P (insn))
+  FOR_EACH_BB_REVERSE_FN (bb, cfun)
+    FOR_BB_INSNS_REVERSE_SAFE (bb, insn, next)
+      if (NONDEBUG_INSN_P (insn))
        {
+         rtx turn_into_use = NULL_RTX;
+
          /* Always delete no-op moves.  */
          if (noop_move_p (insn))
-           ;
+           {
+             if (RTX_FRAME_RELATED_P (insn))
+               turn_into_use
+                 = find_reg_note (insn, REG_CFA_RESTORE, NULL);
+             if (turn_into_use && REG_P (XEXP (turn_into_use, 0)))
+               turn_into_use = XEXP (turn_into_use, 0);
+             else
+               turn_into_use = NULL_RTX;
+           }
 
          /* Otherwise rely only on the DCE algorithm.  */
          else if (marked_insn_p (insn))
            continue;
 
+         /* Beware that reaching a dbg counter limit here can result
+            in miscompiled file.  This occurs when a group of insns
+            must be deleted together, typically because the kept insn
+            depends on the output from the deleted insn.  Deleting
+            this insns in reverse order (both at the bb level and
+            when looking at the blocks) minimizes this, but does not
+            eliminate it, since it is possible for the using insn to
+            be top of a block and the producer to be at the bottom of
+            the block.  However, in most cases this will only result
+            in an uninitialized use of an insn that is dead anyway.
+
+            However, there is one rare case that will cause a
+            miscompile: deletion of non-looping pure and constant
+            calls on a machine where ACCUMULATE_OUTGOING_ARGS is true.
+            In this case it is possible to remove the call, but leave
+            the argument pushes to the stack.  Because of the changes
+            to the stack pointer, this will almost always lead to a
+            miscompile.  */
          if (!dbg_cnt (dce))
            continue;
 
          if (dump_file)
            fprintf (dump_file, "DCE: Deleting insn %d\n", INSN_UID (insn));
 
-         /* Before we delete the insn we have to delete REG_EQUAL notes
+         /* Before we delete the insn we have to remove the REG_EQUAL notes
             for the destination regs in order to avoid dangling notes.  */
-         delete_corresponding_reg_eq_notes (insn);
+         remove_reg_equal_equiv_notes_for_defs (insn);
 
          /* If a pure or const call is deleted, this may make the cfg
             have unreachable blocks.  We rememeber this and call
@@ -282,8 +633,19 @@ delete_unmarked_insns (void)
          if (CALL_P (insn))
            must_clean = true;
 
-         /* Now delete the insn.  */
-         delete_insn_and_edges (insn);
+         if (turn_into_use)
+           {
+             /* Don't remove frame related noop moves if they cary
+                REG_CFA_RESTORE note, while we don't need to emit any code,
+                we need it to emit the CFI restore note.  */
+             PATTERN (insn)
+               = gen_rtx_USE (GET_MODE (turn_into_use), turn_into_use);
+             INSN_CODE (insn) = -1;
+             df_insn_rescan (insn);
+           }
+         else
+           /* Now delete the insn.  */
+           delete_insn_and_edges (insn);
        }
 
   /* Deleted a pure or const call.  */
@@ -300,20 +662,37 @@ static void
 prescan_insns_for_dce (bool fast)
 {
   basic_block bb;
-  rtx insn, next;
-  
+  rtx_insn *insn, *prev;
+  bitmap arg_stores = NULL;
+
   if (dump_file)
     fprintf (dump_file, "Finding needed instructions:\n");
-  
-  FOR_EACH_BB (bb)
-    FOR_BB_INSNS_SAFE (bb, insn, next)
-      if (INSN_P (insn))
-       {
-         if (deletable_insn_p (insn, fast))
-           mark_nonreg_stores (PATTERN (insn), insn, fast);
-         else
-           mark_insn (insn, fast);
-       }
+
+  if (!df_in_progress && ACCUMULATE_OUTGOING_ARGS)
+    arg_stores = BITMAP_ALLOC (NULL);
+
+  FOR_EACH_BB_FN (bb, cfun)
+    {
+      FOR_BB_INSNS_REVERSE_SAFE (bb, insn, prev)
+       if (NONDEBUG_INSN_P (insn))
+         {
+           /* Don't mark argument stores now.  They will be marked
+              if needed when the associated CALL is marked.  */
+           if (arg_stores && bitmap_bit_p (arg_stores, INSN_UID (insn)))
+             continue;
+           if (deletable_insn_p (insn, fast, arg_stores))
+             mark_nonreg_stores (PATTERN (insn), insn, fast);
+           else
+             mark_insn (insn, fast);
+         }
+      /* find_call_stack_args only looks at argument stores in the
+        same bb.  */
+      if (arg_stores)
+       bitmap_clear (arg_stores);
+    }
+
+  if (arg_stores)
+    BITMAP_FREE (arg_stores);
 
   if (dump_file)
     fprintf (dump_file, "Finished finding needed instructions:\n");
@@ -330,30 +709,29 @@ mark_artificial_uses (void)
 {
   basic_block bb;
   struct df_link *defs;
-  df_ref *use_rec;
+  df_ref use;
 
-  FOR_ALL_BB (bb)
-    {
-      for (use_rec = df_get_artificial_uses (bb->index); 
-          *use_rec; use_rec++)
-       for (defs = DF_REF_CHAIN (*use_rec); defs; defs = defs->next)
-         if (! DF_REF_IS_ARTIFICIAL (defs->ref))
-           mark_insn (DF_REF_INSN (defs->ref), false);
-    }
+  FOR_ALL_BB_FN (bb, cfun)
+    FOR_EACH_ARTIFICIAL_USE (use, bb->index)
+      for (defs = DF_REF_CHAIN (use); defs; defs = defs->next)
+       if (!DF_REF_IS_ARTIFICIAL (defs->ref))
+         mark_insn (DF_REF_INSN (defs->ref), false);
 }
 
 
 /* Mark every instruction that defines a register value that INSN uses.  */
 
 static void
-mark_reg_dependencies (rtx insn)
+mark_reg_dependencies (rtx_insn *insn)
 {
   struct df_link *defs;
-  df_ref *use_rec;
+  df_ref use;
 
-  for (use_rec = DF_INSN_USES (insn); *use_rec; use_rec++)
+  if (DEBUG_INSN_P (insn))
+    return;
+
+  FOR_EACH_INSN_USE (use, insn)
     {
-      df_ref use = *use_rec;
       if (dump_file)
        {
          fprintf (dump_file, "Processing use of ");
@@ -375,7 +753,10 @@ init_dce (bool fast)
   if (!df_in_progress)
     {
       if (!fast)
-       df_chain_add_problem (DF_UD_CHAIN);
+       {
+         df_set_flags (DF_RD_PRUNE_DEAD_DEFS);
+         df_chain_add_problem (DF_UD_CHAIN);
+       }
       df_analyze ();
     }
 
@@ -386,10 +767,13 @@ init_dce (bool fast)
     {
       bitmap_obstack_initialize (&dce_blocks_bitmap_obstack);
       bitmap_obstack_initialize (&dce_tmp_bitmap_obstack);
+      can_alter_cfg = false;
     }
+  else
+    can_alter_cfg = true;
 
   marked = sbitmap_alloc (get_max_uid () + 1);
-  sbitmap_zero (marked);
+  bitmap_clear (marked);
 }
 
 
@@ -413,18 +797,21 @@ fini_dce (bool fast)
 static unsigned int
 rest_of_handle_ud_dce (void)
 {
-  rtx insn;
+  rtx_insn *insn;
 
   init_dce (false);
 
   prescan_insns_for_dce (false);
   mark_artificial_uses ();
-  while (VEC_length (rtx, worklist) > 0)
+  while (worklist.length () > 0)
     {
-      insn = VEC_pop (rtx, worklist);
+      insn = worklist.pop ();
       mark_reg_dependencies (insn);
     }
-  VEC_free (rtx, heap, worklist);
+  worklist.release ();
+
+  if (MAY_HAVE_DEBUG_BIND_INSNS)
+    reset_unmarked_insns_debug_uses ();
 
   /* Before any insns are deleted, we must remove the chains since
      they are not bidirectional.  */
@@ -436,34 +823,49 @@ rest_of_handle_ud_dce (void)
 }
 
 
-static bool
-gate_ud_dce (void)
-{
-  return optimize > 1 && flag_dce
-    && dbg_cnt (dce_ud);
-}
+namespace {
 
-struct rtl_opt_pass pass_ud_rtl_dce =
+const pass_data pass_data_ud_rtl_dce =
 {
- {
-  RTL_PASS,
-  "dce",                                /* name */
-  gate_ud_dce,                        /* gate */
-  rest_of_handle_ud_dce,              /* execute */
-  NULL,                                 /* sub */
-  NULL,                                 /* next */
-  0,                                    /* static_pass_number */
-  TV_DCE,                               /* tv_id */
-  0,                                    /* properties_required */
-  0,                                    /* properties_provided */
-  0,                                    /* properties_destroyed */
-  0,                                    /* todo_flags_start */
-  TODO_dump_func |
-  TODO_df_finish | TODO_verify_rtl_sharing |
-  TODO_ggc_collect                     /* todo_flags_finish */
- }
+  RTL_PASS, /* type */
+  "ud_dce", /* name */
+  OPTGROUP_NONE, /* optinfo_flags */
+  TV_DCE, /* tv_id */
+  0, /* properties_required */
+  0, /* properties_provided */
+  0, /* properties_destroyed */
+  0, /* todo_flags_start */
+  TODO_df_finish, /* todo_flags_finish */
 };
 
+class pass_ud_rtl_dce : public rtl_opt_pass
+{
+public:
+  pass_ud_rtl_dce (gcc::context *ctxt)
+    : rtl_opt_pass (pass_data_ud_rtl_dce, ctxt)
+  {}
+
+  /* opt_pass methods: */
+  virtual bool gate (function *)
+    {
+      return optimize > 1 && flag_dce && dbg_cnt (dce_ud);
+    }
+
+  virtual unsigned int execute (function *)
+    {
+      return rest_of_handle_ud_dce ();
+    }
+
+}; // class pass_ud_rtl_dce
+
+} // anon namespace
+
+rtl_opt_pass *
+make_pass_ud_rtl_dce (gcc::context *ctxt)
+{
+  return new pass_ud_rtl_dce (ctxt);
+}
+
 
 /* -------------------------------------------------------------------------
    Fast DCE functions
@@ -472,15 +874,17 @@ struct rtl_opt_pass pass_ud_rtl_dce =
 /* Process basic block BB.  Return true if the live_in set has
    changed. REDO_OUT is true if the info at the bottom of the block
    needs to be recalculated before starting.  AU is the proper set of
-   artificial uses. */
+   artificial uses.  Track global substitution of uses of dead pseudos
+   in debug insns using GLOBAL_DEBUG.  */
 
 static bool
-byte_dce_process_block (basic_block bb, bool redo_out, bitmap au)
+word_dce_process_block (basic_block bb, bool redo_out,
+                       struct dead_debug_global *global_debug)
 {
   bitmap local_live = BITMAP_ALLOC (&dce_tmp_bitmap_obstack);
-  rtx insn;
+  rtx_insn *insn;
   bool block_changed;
-  df_ref *def_rec;
+  struct dead_debug_local debug;
 
   if (redo_out)
     {
@@ -489,8 +893,8 @@ byte_dce_process_block (basic_block bb, bool redo_out, bitmap au)
         set.  */
       edge e;
       edge_iterator ei;
-      df_confluence_function_n con_fun_n = df_byte_lr->problem->con_fun_n;
-      bitmap_clear (DF_BYTE_LR_OUT (bb));
+      df_confluence_function_n con_fun_n = df_word_lr->problem->con_fun_n;
+      bitmap_clear (DF_WORD_LR_OUT (bb));
       FOR_EACH_EDGE (e, ei, bb->succs)
        (*con_fun_n) (e);
     }
@@ -498,76 +902,68 @@ byte_dce_process_block (basic_block bb, bool redo_out, bitmap au)
   if (dump_file)
     {
       fprintf (dump_file, "processing block %d live out = ", bb->index);
-      df_print_byte_regset (dump_file, DF_BYTE_LR_OUT (bb));
+      df_print_word_regset (dump_file, DF_WORD_LR_OUT (bb));
     }
 
-  bitmap_copy (local_live, DF_BYTE_LR_OUT (bb));
-
-  df_byte_lr_simulate_artificial_refs_at_end (bb, local_live);
+  bitmap_copy (local_live, DF_WORD_LR_OUT (bb));
+  dead_debug_local_init (&debug, NULL, global_debug);
 
   FOR_BB_INSNS_REVERSE (bb, insn)
-    if (INSN_P (insn))
+    if (DEBUG_INSN_P (insn))
       {
-       /* The insn is needed if there is someone who uses the output.  */
-       for (def_rec = DF_INSN_DEFS (insn); *def_rec; def_rec++)
-         {
-           df_ref def = *def_rec;
-           unsigned int last;
-           unsigned int dregno = DF_REF_REGNO (def);
-           unsigned int start = df_byte_lr_get_regno_start (dregno);
-           unsigned int len = df_byte_lr_get_regno_len (dregno);
-
-           unsigned int sb;
-           unsigned int lb;
-           /* This is one of the only places where DF_MM_MAY should
-              be used for defs.  Need to make sure that we are
-              checking for all of the bits that may be used.  */
-
-           if (!df_compute_accessed_bytes (def, DF_MM_MAY, &sb, &lb))
-             {
-               start += sb;
-               len = lb - sb;
-             }
+       df_ref use;
+       FOR_EACH_INSN_USE (use, insn)
+         if (DF_REF_REGNO (use) >= FIRST_PSEUDO_REGISTER
+             && known_eq (GET_MODE_SIZE (GET_MODE (DF_REF_REAL_REG (use))),
+                          2 * UNITS_PER_WORD)
+             && !bitmap_bit_p (local_live, 2 * DF_REF_REGNO (use))
+             && !bitmap_bit_p (local_live, 2 * DF_REF_REGNO (use) + 1))
+           dead_debug_add (&debug, use, DF_REF_REGNO (use));
+      }
+    else if (INSN_P (insn))
+      {
+       bool any_changed;
 
-           if (bitmap_bit_p (au, dregno))
-             {
-               mark_insn (insn, true);
-               goto quickexit;
-             }
-           
-           last = start + len;
-           while (start < last)
-             if (bitmap_bit_p (local_live, start++))
-               {
-                 mark_insn (insn, true);
-                 goto quickexit;
-               }
-         }
-       
-      quickexit: 
-       
        /* No matter if the instruction is needed or not, we remove
           any regno in the defs from the live set.  */
-       df_byte_lr_simulate_defs (insn, local_live);
+       any_changed = df_word_lr_simulate_defs (insn, local_live);
+       if (any_changed)
+         mark_insn (insn, true);
 
        /* On the other hand, we do not allow the dead uses to set
           anything in local_live.  */
        if (marked_insn_p (insn))
-         df_byte_lr_simulate_uses (insn, local_live);
+         df_word_lr_simulate_uses (insn, local_live);
+
+       /* Insert debug temps for dead REGs used in subsequent debug
+          insns.  We may have to emit a debug temp even if the insn
+          was marked, in case the debug use was after the point of
+          death.  */
+       if (debug.used && !bitmap_empty_p (debug.used))
+         {
+           df_ref def;
+
+           FOR_EACH_INSN_DEF (def, insn)
+             dead_debug_insert_temp (&debug, DF_REF_REGNO (def), insn,
+                                     marked_insn_p (insn)
+                                     && !control_flow_insn_p (insn)
+                                     ? DEBUG_TEMP_AFTER_WITH_REG_FORCE
+                                     : DEBUG_TEMP_BEFORE_WITH_VALUE);
+         }
 
        if (dump_file)
          {
-           fprintf (dump_file, "finished processing insn %d live out = ", 
+           fprintf (dump_file, "finished processing insn %d live out = ",
                     INSN_UID (insn));
-           df_print_byte_regset (dump_file, local_live);
+           df_print_word_regset (dump_file, local_live);
          }
       }
-  
-  df_byte_lr_simulate_artificial_refs_at_top (bb, local_live);
 
-  block_changed = !bitmap_equal_p (local_live, DF_BYTE_LR_IN (bb));
+  block_changed = !bitmap_equal_p (local_live, DF_WORD_LR_IN (bb));
   if (block_changed)
-    bitmap_copy (DF_BYTE_LR_IN (bb), local_live);
+    bitmap_copy (DF_WORD_LR_IN (bb), local_live);
+
+  dead_debug_local_finish (&debug, NULL);
   BITMAP_FREE (local_live);
   return block_changed;
 }
@@ -576,15 +972,18 @@ byte_dce_process_block (basic_block bb, bool redo_out, bitmap au)
 /* Process basic block BB.  Return true if the live_in set has
    changed. REDO_OUT is true if the info at the bottom of the block
    needs to be recalculated before starting.  AU is the proper set of
-   artificial uses. */
+   artificial uses.  Track global substitution of uses of dead pseudos
+   in debug insns using GLOBAL_DEBUG.  */
 
 static bool
-dce_process_block (basic_block bb, bool redo_out, bitmap au)
+dce_process_block (basic_block bb, bool redo_out, bitmap au,
+                  struct dead_debug_global *global_debug)
 {
   bitmap local_live = BITMAP_ALLOC (&dce_tmp_bitmap_obstack);
-  rtx insn;
+  rtx_insn *insn;
   bool block_changed;
-  df_ref *def_rec;
+  df_ref def;
+  struct dead_debug_local debug;
 
   if (redo_out)
     {
@@ -601,42 +1000,62 @@ dce_process_block (basic_block bb, bool redo_out, bitmap au)
 
   if (dump_file)
     {
-      fprintf (dump_file, "processing block %d live out = ", bb->index);
+      fprintf (dump_file, "processing block %d lr out = ", bb->index);
       df_print_regset (dump_file, DF_LR_OUT (bb));
     }
 
   bitmap_copy (local_live, DF_LR_OUT (bb));
 
-  df_simulate_artificial_refs_at_end (bb, local_live);
+  df_simulate_initialize_backwards (bb, local_live);
+  dead_debug_local_init (&debug, NULL, global_debug);
 
   FOR_BB_INSNS_REVERSE (bb, insn)
-    if (INSN_P (insn))
+    if (DEBUG_INSN_P (insn))
       {
-       bool needed = false;
+       df_ref use;
+       FOR_EACH_INSN_USE (use, insn)
+         if (!bitmap_bit_p (local_live, DF_REF_REGNO (use))
+             && !bitmap_bit_p (au, DF_REF_REGNO (use)))
+           dead_debug_add (&debug, use, DF_REF_REGNO (use));
+      }
+    else if (INSN_P (insn))
+      {
+       bool needed = marked_insn_p (insn);
 
        /* The insn is needed if there is someone who uses the output.  */
-       for (def_rec = DF_INSN_DEFS (insn); *def_rec; def_rec++)
-         if (bitmap_bit_p (local_live, DF_REF_REGNO (*def_rec))
-             || bitmap_bit_p (au, DF_REF_REGNO (*def_rec)))
-           {
-             needed = true;
-             break;
-           }
-           
-       if (needed)
-         mark_insn (insn, true);
-       
+       if (!needed)
+         FOR_EACH_INSN_DEF (def, insn)
+           if (bitmap_bit_p (local_live, DF_REF_REGNO (def))
+               || bitmap_bit_p (au, DF_REF_REGNO (def)))
+             {
+               needed = true;
+               mark_insn (insn, true);
+               break;
+             }
+
        /* No matter if the instruction is needed or not, we remove
           any regno in the defs from the live set.  */
        df_simulate_defs (insn, local_live);
 
        /* On the other hand, we do not allow the dead uses to set
           anything in local_live.  */
-       if (marked_insn_p (insn))
+       if (needed)
          df_simulate_uses (insn, local_live);
+
+       /* Insert debug temps for dead REGs used in subsequent debug
+          insns.  We may have to emit a debug temp even if the insn
+          was marked, in case the debug use was after the point of
+          death.  */
+       if (debug.used && !bitmap_empty_p (debug.used))
+         FOR_EACH_INSN_DEF (def, insn)
+           dead_debug_insert_temp (&debug, DF_REF_REGNO (def), insn,
+                                   needed && !control_flow_insn_p (insn)
+                                   ? DEBUG_TEMP_AFTER_WITH_REG_FORCE
+                                   : DEBUG_TEMP_BEFORE_WITH_VALUE);
       }
-  
-  df_simulate_artificial_refs_at_top (bb, local_live);
+
+  dead_debug_local_finish (&debug, NULL);
+  df_simulate_finalize_backwards (bb, local_live);
 
   block_changed = !bitmap_equal_p (local_live, DF_LR_IN (bb));
   if (block_changed)
@@ -647,12 +1066,12 @@ dce_process_block (basic_block bb, bool redo_out, bitmap au)
 }
 
 
-/* Perform fast DCE once initialization is done.  If BYTE_LEVEL is
-   true, use the byte level dce, otherwise do it at the pseudo
+/* Perform fast DCE once initialization is done.  If WORD_LEVEL is
+   true, use the word level dce, otherwise do it at the pseudo
    level.  */
 
 static void
-fast_dce (bool byte_level)
+fast_dce (bool word_level)
 {
   int *postorder = df_get_postorder (DF_BACKWARD);
   int n_blocks = df_get_n_blocks (DF_BACKWARD);
@@ -669,15 +1088,18 @@ fast_dce (bool byte_level)
      df_simulate_fixup_sets has the disadvantage of calling
      bb_has_eh_pred once per insn, so we cache the information
      here.  */
-  bitmap au = df->regular_block_artificial_uses;
-  bitmap au_eh = df->eh_block_artificial_uses;
+  bitmap au = &df->regular_block_artificial_uses;
+  bitmap au_eh = &df->eh_block_artificial_uses;
   int i;
+  struct dead_debug_global global_debug;
 
   prescan_insns_for_dce (true);
 
   for (i = 0; i < n_blocks; i++)
     bitmap_set_bit (all_blocks, postorder[i]);
 
+  dead_debug_global_init (&global_debug, NULL);
+
   while (global_changed)
     {
       global_changed = false;
@@ -685,7 +1107,7 @@ fast_dce (bool byte_level)
       for (i = 0; i < n_blocks; i++)
        {
          int index = postorder[i];
-         basic_block bb = BASIC_BLOCK (index);
+         basic_block bb = BASIC_BLOCK_FOR_FN (cfun, index);
          bool local_changed;
 
          if (index < NUM_FIXED_BLOCKS)
@@ -694,16 +1116,17 @@ fast_dce (bool byte_level)
              continue;
            }
 
-         if (byte_level)
-           local_changed 
-             = byte_dce_process_block (bb, bitmap_bit_p (redo_out, index),
-                                         bb_has_eh_pred (bb) ? au_eh : au);
+         if (word_level)
+           local_changed
+             = word_dce_process_block (bb, bitmap_bit_p (redo_out, index),
+                                       &global_debug);
          else
-           local_changed 
+           local_changed
              = dce_process_block (bb, bitmap_bit_p (redo_out, index),
-                                  bb_has_eh_pred (bb) ? au_eh : au);
+                                  bb_has_eh_pred (bb) ? au_eh : au,
+                                  &global_debug);
          bitmap_set_bit (processed, index);
-         
+
          if (local_changed)
            {
              edge e;
@@ -719,7 +1142,7 @@ fast_dce (bool byte_level)
                  bitmap_set_bit (redo_out, e->src->index);
            }
        }
-      
+
       if (global_changed)
        {
          /* Turn off the RUN_DCE flag to prevent recursive calls to
@@ -729,16 +1152,16 @@ fast_dce (bool byte_level)
          /* So something was deleted that requires a redo.  Do it on
             the cheap.  */
          delete_unmarked_insns ();
-         sbitmap_zero (marked);
+         bitmap_clear (marked);
          bitmap_clear (processed);
          bitmap_clear (redo_out);
-         
+
          /* We do not need to rescan any instructions.  We only need
             to redo the dataflow equations for the blocks that had a
             change at the top of the block.  Then we need to redo the
-            iteration.  */ 
-         if (byte_level)
-           df_analyze_problem (df_byte_lr, all_blocks, postorder, n_blocks);
+            iteration.  */
+         if (word_level)
+           df_analyze_problem (df_word_lr, all_blocks, postorder, n_blocks);
          else
            df_analyze_problem (df_lr, all_blocks, postorder, n_blocks);
 
@@ -749,6 +1172,8 @@ fast_dce (bool byte_level)
        }
     }
 
+  dead_debug_global_finish (&global_debug, NULL);
+
   delete_unmarked_insns ();
 
   BITMAP_FREE (processed);
@@ -771,14 +1196,22 @@ rest_of_handle_fast_dce (void)
 
 /* Fast byte level DCE.  */
 
-static unsigned int
-rest_of_handle_fast_byte_dce (void)
+void
+run_word_dce (void)
 {
-  df_byte_lr_add_problem ();
+  int old_flags;
+
+  if (!flag_dce)
+    return;
+
+  timevar_push (TV_DCE);
+  old_flags = df_clear_flags (DF_DEFER_INSN_RESCAN + DF_NO_INSN_RESCAN);
+  df_word_lr_add_problem ();
   init_dce (true);
   fast_dce (true);
   fini_dce (true);
-  return 0;
+  df_set_flags (old_flags);
+  timevar_pop (TV_DCE);
 }
 
 
@@ -799,9 +1232,9 @@ run_fast_df_dce (void)
       /* If dce is able to delete something, it has to happen
         immediately.  Otherwise there will be problems handling the
         eq_notes.  */
-      enum df_changeable_flags old_flags 
-       df_clear_flags (DF_DEFER_INSN_RESCAN + DF_NO_INSN_RESCAN);
-      
+      int old_flags =
+       df_clear_flags (DF_DEFER_INSN_RESCAN + DF_NO_INSN_RESCAN);
+
       df_in_progress = true;
       rest_of_handle_fast_dce ();
       df_in_progress = false;
@@ -821,51 +1254,45 @@ run_fast_dce (void)
 }
 
 
-static bool
-gate_fast_dce (void)
-{
-  return optimize > 0 && flag_dce
-    && dbg_cnt (dce_fast);
-}
+namespace {
 
-struct rtl_opt_pass pass_fast_rtl_dce =
+const pass_data pass_data_fast_rtl_dce =
 {
- {
-  RTL_PASS,
-  "dce",                                /* name */
-  gate_fast_dce,                        /* gate */
-  rest_of_handle_fast_dce,              /* execute */
-  NULL,                                 /* sub */
-  NULL,                                 /* next */
-  0,                                    /* static_pass_number */
-  TV_DCE,                               /* tv_id */
-  0,                                    /* properties_required */
-  0,                                    /* properties_provided */
-  0,                                    /* properties_destroyed */
-  0,                                    /* todo_flags_start */
-  TODO_dump_func |
-  TODO_df_finish | TODO_verify_rtl_sharing |
-  TODO_ggc_collect                      /* todo_flags_finish */
- }
+  RTL_PASS, /* type */
+  "rtl_dce", /* name */
+  OPTGROUP_NONE, /* optinfo_flags */
+  TV_DCE, /* tv_id */
+  0, /* properties_required */
+  0, /* properties_provided */
+  0, /* properties_destroyed */
+  0, /* todo_flags_start */
+  TODO_df_finish, /* todo_flags_finish */
 };
 
-struct rtl_opt_pass pass_fast_rtl_byte_dce =
+class pass_fast_rtl_dce : public rtl_opt_pass
 {
- {
-  RTL_PASS,
-  "byte-dce",                           /* name */
-  gate_fast_dce,                        /* gate */
-  rest_of_handle_fast_byte_dce,         /* execute */
-  NULL,                                 /* sub */
-  NULL,                                 /* next */
-  0,                                    /* static_pass_number */
-  TV_DCE,                               /* tv_id */
-  0,                                    /* properties_required */
-  0,                                    /* properties_provided */
-  0,                                    /* properties_destroyed */
-  0,                                    /* todo_flags_start */
-  TODO_dump_func |
-  TODO_df_finish | TODO_verify_rtl_sharing |
-  TODO_ggc_collect                      /* todo_flags_finish */
- }
-};
+public:
+  pass_fast_rtl_dce (gcc::context *ctxt)
+    : rtl_opt_pass (pass_data_fast_rtl_dce, ctxt)
+  {}
+
+  /* opt_pass methods: */
+  virtual bool gate (function *)
+    {
+      return optimize > 0 && flag_dce && dbg_cnt (dce_fast);
+    }
+
+  virtual unsigned int execute (function *)
+    {
+      return rest_of_handle_fast_dce ();
+    }
+
+}; // class pass_fast_rtl_dce
+
+} // anon namespace
+
+rtl_opt_pass *
+make_pass_fast_rtl_dce (gcc::context *ctxt)
+{
+  return new pass_fast_rtl_dce (ctxt);
+}