ipa-cp.c (ipcp_cloning_candidate_p): Use opt_for_fn.
[gcc.git] / gcc / jump.c
index 595363b1adbc2556b7f72aa04918ab3925622aba..6a30a0cd86b44d4a0247a11dfd0beaa36e9cca51 100644 (file)
@@ -1,7 +1,5 @@
 /* Optimize jump instructions, for GNU compiler.
-   Copyright (C) 1987, 1988, 1989, 1991, 1992, 1993, 1994, 1995, 1996, 1997
-   1998, 1999, 2000, 2001, 2002, 2003, 2004, 2005, 2007
-   Free Software Foundation, Inc.
+   Copyright (C) 1987-2014 Free Software Foundation, Inc.
 
 This file is part of GCC.
 
@@ -29,7 +27,8 @@ along with GCC; see the file COPYING3.  If not see
    JUMP_LABEL internal field.  With this we can detect labels that
    become unused because of the deletion of all the jumps that
    formerly used them.  The JUMP_LABEL info is sometimes looked
-   at by later passes.
+   at by later passes.  For return insns, it contains either a
+   RETURN or a SIMPLE_RETURN rtx.
 
    The subroutines redirect_jump and invert_jump are used
    from other passes as well.  */
@@ -46,17 +45,24 @@ along with GCC; see the file COPYING3.  If not see
 #include "insn-config.h"
 #include "insn-attr.h"
 #include "recog.h"
+#include "hashtab.h"
+#include "hash-set.h"
+#include "vec.h"
+#include "machmode.h"
+#include "input.h"
 #include "function.h"
+#include "predict.h"
+#include "dominance.h"
+#include "cfg.h"
+#include "cfgrtl.h"
+#include "basic-block.h"
 #include "expr.h"
-#include "real.h"
 #include "except.h"
-#include "diagnostic.h"
-#include "toplev.h"
+#include "diagnostic-core.h"
 #include "reload.h"
-#include "predict.h"
-#include "timevar.h"
 #include "tree-pass.h"
 #include "target.h"
+#include "rtl-iter.h"
 
 /* Optimize jump y; x: ... y: jumpif... x?
    Don't know if it is worth bothering with.  */
@@ -65,21 +71,18 @@ along with GCC; see the file COPYING3.  If not see
    or even change what is live at any point.
    So perhaps let combiner do it.  */
 
-static void init_label_info (rtx);
-static void mark_all_labels (rtx);
-static void mark_jump_label_1 (rtx, rtx, bool, bool);
+static void init_label_info (rtx_insn *);
+static void mark_all_labels (rtx_insn *);
+static void mark_jump_label_1 (rtx, rtx_insn *, bool, bool);
+static void mark_jump_label_asm (rtx, rtx_insn *);
 static void redirect_exp_1 (rtx *, rtx, rtx, rtx);
 static int invert_exp_1 (rtx, rtx);
-static int returnjump_p_1 (rtx *, void *);
 \f
-/* This function rebuilds the JUMP_LABEL field and REG_LABEL_TARGET
-   notes in jumping insns and REG_LABEL_OPERAND notes in non-jumping
-   instructions and jumping insns that have labels as operands
-   (e.g. cbranchsi4).  */
-void
-rebuild_jump_labels (rtx f)
+/* Worker for rebuild_jump_labels and rebuild_jump_labels_chain.  */
+static void
+rebuild_jump_labels_1 (rtx_insn *f, bool count_forced)
 {
-  rtx insn;
+  rtx_insn_list *insn;
 
   timevar_push (TV_REBUILD_JUMP);
   init_label_info (f);
@@ -89,11 +92,31 @@ rebuild_jump_labels (rtx f)
      closely enough to delete them here, so make sure their reference
      count doesn't drop to zero.  */
 
-  for (insn = forced_labels; insn; insn = XEXP (insn, 1))
-    if (LABEL_P (XEXP (insn, 0)))
-      LABEL_NUSES (XEXP (insn, 0))++;
+  if (count_forced)
+    for (insn = forced_labels; insn; insn = insn->next ())
+      if (LABEL_P (insn->insn ()))
+       LABEL_NUSES (insn->insn ())++;
   timevar_pop (TV_REBUILD_JUMP);
 }
+
+/* This function rebuilds the JUMP_LABEL field and REG_LABEL_TARGET
+   notes in jumping insns and REG_LABEL_OPERAND notes in non-jumping
+   instructions and jumping insns that have labels as operands
+   (e.g. cbranchsi4).  */
+void
+rebuild_jump_labels (rtx_insn *f)
+{
+  rebuild_jump_labels_1 (f, true);
+}
+
+/* This function is like rebuild_jump_labels, but doesn't run over
+   forced_labels.  It can be used on insn chains that aren't the 
+   main function chain.  */
+void
+rebuild_jump_labels_chain (rtx_insn *chain)
+{
+  rebuild_jump_labels_1 (chain, false);
+}
 \f
 /* Some old code expects exactly one BARRIER as the NEXT_INSN of a
    non-fallthru insn.  This is not generally true, as multiple barriers
@@ -103,53 +126,82 @@ rebuild_jump_labels (rtx f)
    This simple pass moves barriers and removes duplicates so that the
    old code is happy.
  */
-unsigned int
+static unsigned int
 cleanup_barriers (void)
 {
-  rtx insn, next, prev;
-  for (insn = get_insns (); insn; insn = next)
+  rtx_insn *insn;
+  for (insn = get_insns (); insn; insn = NEXT_INSN (insn))
     {
-      next = NEXT_INSN (insn);
       if (BARRIER_P (insn))
        {
-         prev = prev_nonnote_insn (insn);
+         rtx_insn *prev = prev_nonnote_insn (insn);
+         if (!prev)
+           continue;
+
+         if (CALL_P (prev))
+           {
+             /* Make sure we do not split a call and its corresponding
+                CALL_ARG_LOCATION note.  */
+             rtx_insn *next = NEXT_INSN (prev);
+
+             if (NOTE_P (next)
+                 && NOTE_KIND (next) == NOTE_INSN_CALL_ARG_LOCATION)
+               prev = next;
+           }
+
          if (BARRIER_P (prev))
            delete_insn (insn);
          else if (prev != PREV_INSN (insn))
-           reorder_insns (insn, insn, prev);
+           reorder_insns_nobb (insn, insn, prev);
        }
     }
   return 0;
 }
 
-struct rtl_opt_pass pass_cleanup_barriers =
+namespace {
+
+const pass_data pass_data_cleanup_barriers =
 {
- {
-  RTL_PASS,
-  "barriers",                           /* name */
-  NULL,                                 /* gate */
-  cleanup_barriers,                     /* execute */
-  NULL,                                 /* sub */
-  NULL,                                 /* next */
-  0,                                    /* static_pass_number */
-  0,                                    /* tv_id */
-  0,                                    /* properties_required */
-  0,                                    /* properties_provided */
-  0,                                    /* properties_destroyed */
-  0,                                    /* todo_flags_start */
-  TODO_dump_func                        /* todo_flags_finish */
- }
+  RTL_PASS, /* type */
+  "barriers", /* name */
+  OPTGROUP_NONE, /* optinfo_flags */
+  TV_NONE, /* tv_id */
+  0, /* properties_required */
+  0, /* properties_provided */
+  0, /* properties_destroyed */
+  0, /* todo_flags_start */
+  0, /* todo_flags_finish */
 };
 
+class pass_cleanup_barriers : public rtl_opt_pass
+{
+public:
+  pass_cleanup_barriers (gcc::context *ctxt)
+    : rtl_opt_pass (pass_data_cleanup_barriers, ctxt)
+  {}
+
+  /* opt_pass methods: */
+  virtual unsigned int execute (function *) { return cleanup_barriers (); }
+
+}; // class pass_cleanup_barriers
+
+} // anon namespace
+
+rtl_opt_pass *
+make_pass_cleanup_barriers (gcc::context *ctxt)
+{
+  return new pass_cleanup_barriers (ctxt);
+}
+
 \f
 /* Initialize LABEL_NUSES and JUMP_LABEL fields, add REG_LABEL_TARGET
    for remaining targets for JUMP_P.  Delete any REG_LABEL_OPERAND
    notes whose labels don't occur in the insn any more.  */
 
 static void
-init_label_info (rtx f)
+init_label_info (rtx_insn *f)
 {
-  rtx insn;
+  rtx_insn *insn;
 
   for (insn = f; insn; insn = NEXT_INSN (insn))
     {
@@ -181,98 +233,110 @@ init_label_info (rtx f)
     }
 }
 
-/* Mark the label each jump jumps to.
-   Combine consecutive labels, and count uses of labels.  */
+/* A subroutine of mark_all_labels.  Trivially propagate a simple label
+   load into a jump_insn that uses it.  */
 
 static void
-mark_all_labels (rtx f)
+maybe_propagate_label_ref (rtx_insn *jump_insn, rtx_insn *prev_nonjump_insn)
 {
-  rtx insn;
-  rtx prev_nonjump_insn = NULL;
+  rtx label_note, pc, pc_src;
+
+  pc = pc_set (jump_insn);
+  pc_src = pc != NULL ? SET_SRC (pc) : NULL;
+  label_note = find_reg_note (prev_nonjump_insn, REG_LABEL_OPERAND, NULL);
+
+  /* If the previous non-jump insn sets something to a label,
+     something that this jump insn uses, make that label the primary
+     target of this insn if we don't yet have any.  That previous
+     insn must be a single_set and not refer to more than one label.
+     The jump insn must not refer to other labels as jump targets
+     and must be a plain (set (pc) ...), maybe in a parallel, and
+     may refer to the item being set only directly or as one of the
+     arms in an IF_THEN_ELSE.  */
+
+  if (label_note != NULL && pc_src != NULL)
+    {
+      rtx label_set = single_set (prev_nonjump_insn);
+      rtx label_dest = label_set != NULL ? SET_DEST (label_set) : NULL;
+
+      if (label_set != NULL
+         /* The source must be the direct LABEL_REF, not a
+            PLUS, UNSPEC, IF_THEN_ELSE etc.  */
+         && GET_CODE (SET_SRC (label_set)) == LABEL_REF
+         && (rtx_equal_p (label_dest, pc_src)
+             || (GET_CODE (pc_src) == IF_THEN_ELSE
+                 && (rtx_equal_p (label_dest, XEXP (pc_src, 1))
+                     || rtx_equal_p (label_dest, XEXP (pc_src, 2))))))
+       {
+         /* The CODE_LABEL referred to in the note must be the
+            CODE_LABEL in the LABEL_REF of the "set".  We can
+            conveniently use it for the marker function, which
+            requires a LABEL_REF wrapping.  */
+         gcc_assert (XEXP (label_note, 0) == LABEL_REF_LABEL (SET_SRC (label_set)));
 
-  for (insn = f; insn; insn = NEXT_INSN (insn))
-    if (INSN_P (insn))
-      {
-       mark_jump_label (PATTERN (insn), insn, 0);
-
-       /* If the previous non-jump insn sets something to a label,
-          something that this jump insn uses, make that label the primary
-          target of this insn if we don't yet have any.  That previous
-          insn must be a single_set and not refer to more than one label.
-          The jump insn must not refer to other labels as jump targets
-          and must be a plain (set (pc) ...), maybe in a parallel, and
-          may refer to the item being set only directly or as one of the
-          arms in an IF_THEN_ELSE.  */
-       if (! INSN_DELETED_P (insn)
-           && JUMP_P (insn)
-           && JUMP_LABEL (insn) == NULL)
-         {
-           rtx label_note = NULL;
-           rtx pc = pc_set (insn);
-           rtx pc_src = pc != NULL ? SET_SRC (pc) : NULL;
+         mark_jump_label_1 (label_set, jump_insn, false, true);
 
-           if (prev_nonjump_insn != NULL)
-             label_note
-               = find_reg_note (prev_nonjump_insn, REG_LABEL_OPERAND, NULL);
+         gcc_assert (JUMP_LABEL (jump_insn) == XEXP (label_note, 0));
+       }
+    }
+}
 
-           if (label_note != NULL && pc_src != NULL)
-             {
-               rtx label_set = single_set (prev_nonjump_insn);
-               rtx label_dest
-                 = label_set != NULL ? SET_DEST (label_set) : NULL;
-
-               if (label_set != NULL
-                   /* The source must be the direct LABEL_REF, not a
-                      PLUS, UNSPEC, IF_THEN_ELSE etc.  */
-                   && GET_CODE (SET_SRC (label_set)) == LABEL_REF
-                   && (rtx_equal_p (label_dest, pc_src)
-                       || (GET_CODE (pc_src) == IF_THEN_ELSE
-                           && (rtx_equal_p (label_dest, XEXP (pc_src, 1))
-                               || rtx_equal_p (label_dest,
-                                               XEXP (pc_src, 2))))))
-                               
-                 {
-                   /* The CODE_LABEL referred to in the note must be the
-                      CODE_LABEL in the LABEL_REF of the "set".  We can
-                      conveniently use it for the marker function, which
-                      requires a LABEL_REF wrapping.  */
-                   gcc_assert (XEXP (label_note, 0)
-                               == XEXP (SET_SRC (label_set), 0));
-
-                   mark_jump_label_1 (label_set, insn, false, true);
-                   gcc_assert (JUMP_LABEL (insn)
-                               == XEXP (SET_SRC (label_set), 0));
-                 }
-             }
-         }
-       else if (! INSN_DELETED_P (insn))
-         prev_nonjump_insn = insn;
-      }
-    else if (LABEL_P (insn))
-      prev_nonjump_insn = NULL;
+/* Mark the label each jump jumps to.
+   Combine consecutive labels, and count uses of labels.  */
+
+static void
+mark_all_labels (rtx_insn *f)
+{
+  rtx_insn *insn;
 
-  /* If we are in cfglayout mode, there may be non-insns between the
-     basic blocks.  If those non-insns represent tablejump data, they
-     contain label references that we must record.  */
   if (current_ir_type () == IR_RTL_CFGLAYOUT)
     {
       basic_block bb;
-      rtx insn;
-      FOR_EACH_BB (bb)
+      FOR_EACH_BB_FN (bb, cfun)
        {
-         for (insn = bb->il.rtl->header; insn; insn = NEXT_INSN (insn))
-           if (INSN_P (insn))
-             {
-               gcc_assert (JUMP_TABLE_DATA_P (insn));
-               mark_jump_label (PATTERN (insn), insn, 0);
-             }
+         /* In cfglayout mode, we don't bother with trivial next-insn
+            propagation of LABEL_REFs into JUMP_LABEL.  This will be
+            handled by other optimizers using better algorithms.  */
+         FOR_BB_INSNS (bb, insn)
+           {
+             gcc_assert (! insn->deleted ());
+             if (NONDEBUG_INSN_P (insn))
+               mark_jump_label (PATTERN (insn), insn, 0);
+           }
 
-         for (insn = bb->il.rtl->footer; insn; insn = NEXT_INSN (insn))
-           if (INSN_P (insn))
-             {
-               gcc_assert (JUMP_TABLE_DATA_P (insn));
-               mark_jump_label (PATTERN (insn), insn, 0);
-             }
+         /* In cfglayout mode, there may be non-insns between the
+            basic blocks.  If those non-insns represent tablejump data,
+            they contain label references that we must record.  */
+         for (insn = BB_HEADER (bb); insn; insn = NEXT_INSN (insn))
+           if (JUMP_TABLE_DATA_P (insn))
+             mark_jump_label (PATTERN (insn), insn, 0);
+         for (insn = BB_FOOTER (bb); insn; insn = NEXT_INSN (insn))
+           if (JUMP_TABLE_DATA_P (insn))
+             mark_jump_label (PATTERN (insn), insn, 0);
+       }
+    }
+  else
+    {
+      rtx_insn *prev_nonjump_insn = NULL;
+      for (insn = f; insn; insn = NEXT_INSN (insn))
+       {
+         if (insn->deleted ())
+           ;
+         else if (LABEL_P (insn))
+           prev_nonjump_insn = NULL;
+         else if (JUMP_TABLE_DATA_P (insn))
+           mark_jump_label (PATTERN (insn), insn, 0);
+         else if (NONDEBUG_INSN_P (insn))
+           {
+             mark_jump_label (PATTERN (insn), insn, 0);
+             if (JUMP_P (insn))
+               {
+                 if (JUMP_LABEL (insn) == NULL && prev_nonjump_insn != NULL)
+                   maybe_propagate_label_ref (insn, prev_nonjump_insn);
+               }
+             else
+               prev_nonjump_insn = insn;
+           }
        }
     }
 }
@@ -287,7 +351,7 @@ enum rtx_code
 reversed_comparison_code_parts (enum rtx_code code, const_rtx arg0,
                                const_rtx arg1, const_rtx insn)
 {
-  enum machine_mode mode;
+  machine_mode mode;
 
   /* If this is not actually a comparison, we can't reverse it.  */
   if (GET_RTX_CLASS (code) != RTX_COMPARE
@@ -306,8 +370,9 @@ reversed_comparison_code_parts (enum rtx_code code, const_rtx arg0,
     {
 #ifdef REVERSE_CONDITION
       return REVERSE_CONDITION (code, mode);
-#endif
+#else
       return reverse_condition (code);
+#endif
     }
 
   /* Try a few special cases based on the comparison code.  */
@@ -351,11 +416,11 @@ reversed_comparison_code_parts (enum rtx_code code, const_rtx arg0,
        return UNKNOWN;
 
       /* These CONST_CAST's are okay because prev_nonnote_insn just
-        returns it's argument and we assign it to a const_rtx
+        returns its argument and we assign it to a const_rtx
         variable.  */
-      for (prev = prev_nonnote_insn (CONST_CAST_RTX(insn));
+      for (prev = prev_nonnote_insn (CONST_CAST_RTX (insn));
           prev != 0 && !LABEL_P (prev);
-          prev = prev_nonnote_insn (CONST_CAST_RTX(prev)))
+          prev = prev_nonnote_insn (CONST_CAST_RTX (prev)))
        {
          const_rtx set = set_of (arg0, prev);
          if (set && GET_CODE (set) == SET
@@ -389,7 +454,7 @@ reversed_comparison_code_parts (enum rtx_code code, const_rtx arg0,
 
   /* Test for an integer condition, or a floating-point comparison
      in which NaNs can be ignored.  */
-  if (GET_CODE (arg0) == CONST_INT
+  if (CONST_INT_P (arg0)
       || (GET_MODE (arg0) != VOIDmode
          && GET_MODE_CLASS (mode) != MODE_CC
          && !HONOR_NANS (mode)))
@@ -413,7 +478,7 @@ reversed_comparison_code (const_rtx comparison, const_rtx insn)
 /* Return comparison with reversed code of EXP.
    Return NULL_RTX in case we fail to do the reversal.  */
 rtx
-reversed_comparison (const_rtx exp, enum machine_mode mode)
+reversed_comparison (const_rtx exp, machine_mode mode)
 {
   enum rtx_code reversed_code = reversed_comparison_code (exp, NULL_RTX);
   if (reversed_code == UNKNOWN)
@@ -709,7 +774,7 @@ comparison_dominates_p (enum rtx_code code1, enum rtx_code code2)
 /* Return 1 if INSN is an unconditional jump and nothing else.  */
 
 int
-simplejump_p (const_rtx insn)
+simplejump_p (const rtx_insn *insn)
 {
   return (JUMP_P (insn)
          && GET_CODE (PATTERN (insn)) == SET
@@ -724,7 +789,7 @@ simplejump_p (const_rtx insn)
    branch and compare insns.  Use any_condjump_p instead whenever possible.  */
 
 int
-condjump_p (const_rtx insn)
+condjump_p (const rtx_insn *insn)
 {
   const_rtx x = PATTERN (insn);
 
@@ -739,10 +804,10 @@ condjump_p (const_rtx insn)
     return (GET_CODE (x) == IF_THEN_ELSE
            && ((GET_CODE (XEXP (x, 2)) == PC
                 && (GET_CODE (XEXP (x, 1)) == LABEL_REF
-                    || GET_CODE (XEXP (x, 1)) == RETURN))
+                    || ANY_RETURN_P (XEXP (x, 1))))
                || (GET_CODE (XEXP (x, 1)) == PC
                    && (GET_CODE (XEXP (x, 2)) == LABEL_REF
-                       || GET_CODE (XEXP (x, 2)) == RETURN))));
+                       || ANY_RETURN_P (XEXP (x, 2))))));
 }
 
 /* Return nonzero if INSN is a (possibly) conditional jump inside a
@@ -752,7 +817,7 @@ condjump_p (const_rtx insn)
    branch and compare insns.  Use any_condjump_p instead whenever possible.  */
 
 int
-condjump_in_parallel_p (const_rtx insn)
+condjump_in_parallel_p (const rtx_insn *insn)
 {
   const_rtx x = PATTERN (insn);
 
@@ -771,11 +836,11 @@ condjump_in_parallel_p (const_rtx insn)
     return 0;
   if (XEXP (SET_SRC (x), 2) == pc_rtx
       && (GET_CODE (XEXP (SET_SRC (x), 1)) == LABEL_REF
-         || GET_CODE (XEXP (SET_SRC (x), 1)) == RETURN))
+         || ANY_RETURN_P (XEXP (SET_SRC (x), 1))))
     return 1;
   if (XEXP (SET_SRC (x), 1) == pc_rtx
       && (GET_CODE (XEXP (SET_SRC (x), 2)) == LABEL_REF
-         || GET_CODE (XEXP (SET_SRC (x), 2)) == RETURN))
+         || ANY_RETURN_P (XEXP (SET_SRC (x), 2))))
     return 1;
   return 0;
 }
@@ -783,7 +848,7 @@ condjump_in_parallel_p (const_rtx insn)
 /* Return set of PC, otherwise NULL.  */
 
 rtx
-pc_set (const_rtx insn)
+pc_set (const rtx_insn *insn)
 {
   rtx pat;
   if (!JUMP_P (insn))
@@ -804,7 +869,7 @@ pc_set (const_rtx insn)
    possibly bundled inside a PARALLEL.  */
 
 int
-any_uncondjump_p (const_rtx insn)
+any_uncondjump_p (const rtx_insn *insn)
 {
   const_rtx x = pc_set (insn);
   if (!x)
@@ -824,7 +889,7 @@ any_uncondjump_p (const_rtx insn)
    Note that unlike condjump_p it returns false for unconditional jumps.  */
 
 int
-any_condjump_p (const_rtx insn)
+any_condjump_p (const rtx_insn *insn)
 {
   const_rtx x = pc_set (insn);
   enum rtx_code a, b;
@@ -837,14 +902,15 @@ any_condjump_p (const_rtx insn)
   a = GET_CODE (XEXP (SET_SRC (x), 1));
   b = GET_CODE (XEXP (SET_SRC (x), 2));
 
-  return ((b == PC && (a == LABEL_REF || a == RETURN))
-         || (a == PC && (b == LABEL_REF || b == RETURN)));
+  return ((b == PC && (a == LABEL_REF || a == RETURN || a == SIMPLE_RETURN))
+         || (a == PC
+             && (b == LABEL_REF || b == RETURN || b == SIMPLE_RETURN)));
 }
 
 /* Return the label of a conditional jump.  */
 
 rtx
-condjump_label (const_rtx insn)
+condjump_label (const rtx_insn *insn)
 {
   rtx x = pc_set (insn);
 
@@ -862,30 +928,57 @@ condjump_label (const_rtx insn)
   return NULL_RTX;
 }
 
-/* Return true if INSN is a (possibly conditional) return insn.  */
+/* Return TRUE if INSN is a return jump.  */
 
-static int
-returnjump_p_1 (rtx *loc, void *data ATTRIBUTE_UNUSED)
+int
+returnjump_p (const rtx_insn *insn)
 {
-  rtx x = *loc;
-
-  return x && (GET_CODE (x) == RETURN
-              || (GET_CODE (x) == SET && SET_IS_RETURN_P (x)));
+  if (JUMP_P (insn))
+    {
+      subrtx_iterator::array_type array;
+      FOR_EACH_SUBRTX (iter, array, PATTERN (insn), NONCONST)
+       {
+         const_rtx x = *iter;
+         switch (GET_CODE (x))
+           {
+           case RETURN:
+           case SIMPLE_RETURN:
+           case EH_RETURN:
+             return true;
+
+           case SET:
+             if (SET_IS_RETURN_P (x))
+               return true;
+             break;
+
+           default:
+             break;
+           }
+       }
+    }
+  return false;
 }
 
+/* Return true if INSN is a (possibly conditional) return insn.  */
+
 int
-returnjump_p (rtx insn)
+eh_returnjump_p (rtx_insn *insn)
 {
-  if (!JUMP_P (insn))
-    return 0;
-  return for_each_rtx (&PATTERN (insn), returnjump_p_1, NULL);
+  if (JUMP_P (insn))
+    {
+      subrtx_iterator::array_type array;
+      FOR_EACH_SUBRTX (iter, array, PATTERN (insn), NONCONST)
+       if (GET_CODE (*iter) == EH_RETURN)
+         return true;
+    }
+  return false;
 }
 
 /* Return true if INSN is a jump that only transfers control and
    nothing more.  */
 
 int
-onlyjump_p (const_rtx insn)
+onlyjump_p (const rtx_insn *insn)
 {
   rtx set;
 
@@ -903,6 +996,15 @@ onlyjump_p (const_rtx insn)
   return 1;
 }
 
+/* Return true iff INSN is a jump and its JUMP_LABEL is a label, not
+   NULL or a return.  */
+bool
+jump_to_label_p (const rtx_insn *insn)
+{
+  return (JUMP_P (insn)
+         && JUMP_LABEL (insn) != NULL && !ANY_RETURN_P (JUMP_LABEL (insn)));
+}
+
 #ifdef HAVE_cc0
 
 /* Return nonzero if X is an RTX that only sets the condition codes
@@ -963,6 +1065,7 @@ sets_cc0_p (const_rtx x)
    notes.  If INSN is an INSN or a CALL_INSN or non-target operands of
    a JUMP_INSN, and there is at least one CODE_LABEL referenced in
    INSN, add a REG_LABEL_OPERAND note containing that label to INSN.
+   For returnjumps, the JUMP_LABEL will also be set as appropriate.
 
    Note that two labels separated by a loop-beginning note
    must be kept distinct if we have not yet done loop-optimization,
@@ -971,10 +1074,14 @@ sets_cc0_p (const_rtx x)
    that loop-optimization is done with.  */
 
 void
-mark_jump_label (rtx x, rtx insn, int in_mem)
+mark_jump_label (rtx x, rtx_insn *insn, int in_mem)
 {
-  mark_jump_label_1 (x, insn, in_mem != 0,
-                    (insn != NULL && x == PATTERN (insn) && JUMP_P (insn)));
+  rtx asmop = extract_asm_operands (x);
+  if (asmop)
+    mark_jump_label_asm (asmop, insn);
+  else
+    mark_jump_label_1 (x, insn, in_mem != 0,
+                      (insn != NULL && x == PATTERN (insn) && JUMP_P (insn)));
 }
 
 /* Worker function for mark_jump_label.  IN_MEM is TRUE when X occurs
@@ -984,7 +1091,7 @@ mark_jump_label (rtx x, rtx insn, int in_mem)
    note.  */
 
 static void
-mark_jump_label_1 (rtx x, rtx insn, bool in_mem, bool is_target)
+mark_jump_label_1 (rtx x, rtx_insn *insn, bool in_mem, bool is_target)
 {
   RTX_CODE code = GET_CODE (x);
   int i;
@@ -995,20 +1102,30 @@ mark_jump_label_1 (rtx x, rtx insn, bool in_mem, bool is_target)
     case PC:
     case CC0:
     case REG:
-    case CONST_INT:
-    case CONST_DOUBLE:
     case CLOBBER:
     case CALL:
       return;
 
+    case RETURN:
+    case SIMPLE_RETURN:
+      if (is_target)
+       {
+         gcc_assert (JUMP_LABEL (insn) == NULL || JUMP_LABEL (insn) == x);
+         JUMP_LABEL (insn) = x;
+       }
+      return;
+
     case MEM:
       in_mem = true;
       break;
 
     case SEQUENCE:
-      for (i = 0; i < XVECLEN (x, 0); i++)
-       mark_jump_label (PATTERN (XVECEXP (x, 0, i)),
-                        XVECEXP (x, 0, i), 0);
+      {
+       rtx_sequence *seq = as_a <rtx_sequence *> (x);
+       for (i = 0; i < seq->len (); i++)
+         mark_jump_label (PATTERN (seq->insn (i)),
+                          seq->insn (i), 0);
+      }
       return;
 
     case SYMBOL_REF:
@@ -1032,7 +1149,7 @@ mark_jump_label_1 (rtx x, rtx insn, bool in_mem, bool is_target)
 
     case LABEL_REF:
       {
-       rtx label = XEXP (x, 0);
+       rtx label = LABEL_REF_LABEL (x);
 
        /* Ignore remaining references to unreachable labels that
           have been deleted.  */
@@ -1046,8 +1163,8 @@ mark_jump_label_1 (rtx x, rtx insn, bool in_mem, bool is_target)
        if (LABEL_REF_NONLOCAL_P (x))
          break;
 
-       XEXP (x, 0) = label;
-       if (! insn || ! INSN_DELETED_P (insn))
+       LABEL_REF_LABEL (x) = label;
+       if (! insn || ! insn->deleted ())
          ++LABEL_NUSES (label);
 
        if (insn)
@@ -1074,16 +1191,16 @@ mark_jump_label_1 (rtx x, rtx insn, bool in_mem, bool is_target)
        return;
       }
 
-  /* Do walk the labels in a vector, but not the first operand of an
-     ADDR_DIFF_VEC.  Don't set the JUMP_LABEL of a vector.  */
+    /* Do walk the labels in a vector, but not the first operand of an
+       ADDR_DIFF_VEC.  Don't set the JUMP_LABEL of a vector.  */
     case ADDR_VEC:
     case ADDR_DIFF_VEC:
-      if (! INSN_DELETED_P (insn))
+      if (! insn->deleted ())
        {
          int eltnum = code == ADDR_DIFF_VEC ? 1 : 0;
 
          for (i = 0; i < XVECLEN (x, eltnum); i++)
-           mark_jump_label_1 (XVECEXP (x, eltnum, i), NULL_RTX, in_mem,
+           mark_jump_label_1 (XVECEXP (x, eltnum, i), NULL, in_mem,
                               is_target);
        }
       return;
@@ -1112,6 +1229,22 @@ mark_jump_label_1 (rtx x, rtx insn, bool in_mem, bool is_target)
     }
 }
 
+/* Worker function for mark_jump_label.  Handle asm insns specially.
+   In particular, output operands need not be considered so we can
+   avoid re-scanning the replicated asm_operand.  Also, the asm_labels
+   need to be considered targets.  */
+
+static void
+mark_jump_label_asm (rtx asmop, rtx_insn *insn)
+{
+  int i;
+
+  for (i = ASM_OPERANDS_INPUT_LENGTH (asmop) - 1; i >= 0; --i)
+    mark_jump_label_1 (ASM_OPERANDS_INPUT (asmop, i), insn, false, false);
+
+  for (i = ASM_OPERANDS_LABEL_LENGTH (asmop) - 1; i >= 0; --i)
+    mark_jump_label_1 (ASM_OPERANDS_LABEL (asmop, i), insn, false, true);
+}
 \f
 /* Delete insn INSN from the chain of insns and update label ref counts
    and delete insns now unreachable.
@@ -1121,18 +1254,19 @@ mark_jump_label_1 (rtx x, rtx insn, bool in_mem, bool is_target)
    Usage of this instruction is deprecated.  Use delete_insn instead and
    subsequent cfg_cleanup pass to delete unreachable code if needed.  */
 
-rtx
-delete_related_insns (rtx insn)
+rtx_insn *
+delete_related_insns (rtx uncast_insn)
 {
+  rtx_insn *insn = as_a <rtx_insn *> (uncast_insn);
   int was_code_label = (LABEL_P (insn));
   rtx note;
-  rtx next = NEXT_INSN (insn), prev = PREV_INSN (insn);
+  rtx_insn *next = NEXT_INSN (insn), *prev = PREV_INSN (insn);
 
-  while (next && INSN_DELETED_P (next))
+  while (next && next->deleted ())
     next = NEXT_INSN (next);
 
   /* This insn is already deleted => return first following nondeleted.  */
-  if (INSN_DELETED_P (insn))
+  if (insn->deleted ())
     return next;
 
   delete_insn (insn);
@@ -1143,12 +1277,33 @@ delete_related_insns (rtx insn)
   if (next != 0 && BARRIER_P (next))
     delete_insn (next);
 
+  /* If this is a call, then we have to remove the var tracking note
+     for the call arguments.  */
+
+  if (CALL_P (insn)
+      || (NONJUMP_INSN_P (insn)
+         && GET_CODE (PATTERN (insn)) == SEQUENCE
+         && CALL_P (XVECEXP (PATTERN (insn), 0, 0))))
+    {
+      rtx_insn *p;
+
+      for (p = next && next->deleted () ? NEXT_INSN (next) : next;
+          p && NOTE_P (p);
+          p = NEXT_INSN (p))
+       if (NOTE_KIND (p) == NOTE_INSN_CALL_ARG_LOCATION)
+         {
+           remove_insn (p);
+           break;
+         }
+    }
+
   /* If deleting a jump, decrement the count of the label,
      and delete the label if it is now unused.  */
 
-  if (JUMP_P (insn) && JUMP_LABEL (insn))
+  if (jump_to_label_p (insn))
     {
-      rtx lab = JUMP_LABEL (insn), lab_next;
+      rtx lab = JUMP_LABEL (insn);
+      rtx_jump_table_data *lab_next;
 
       if (LABEL_NUSES (lab) == 0)
        /* This can delete NEXT or PREV,
@@ -1167,18 +1322,16 @@ delete_related_insns (rtx insn)
 
   /* Likewise if we're deleting a dispatch table.  */
 
-  if (JUMP_P (insn)
-      && (GET_CODE (PATTERN (insn)) == ADDR_VEC
-         || GET_CODE (PATTERN (insn)) == ADDR_DIFF_VEC))
+  if (rtx_jump_table_data *table = dyn_cast <rtx_jump_table_data *> (insn))
     {
-      rtx pat = PATTERN (insn);
-      int i, diff_vec_p = GET_CODE (pat) == ADDR_DIFF_VEC;
-      int len = XVECLEN (pat, diff_vec_p);
+      rtvec labels = table->get_labels ();
+      int i;
+      int len = GET_NUM_ELEM (labels);
 
       for (i = 0; i < len; i++)
-       if (LABEL_NUSES (XEXP (XVECEXP (pat, diff_vec_p, i), 0)) == 0)
-         delete_related_insns (XEXP (XVECEXP (pat, diff_vec_p, i), 0));
-      while (next && INSN_DELETED_P (next))
+       if (LABEL_NUSES (XEXP (RTVEC_ELT (labels, i), 0)) == 0)
+         delete_related_insns (XEXP (RTVEC_ELT (labels, i), 0));
+      while (next && next->deleted ())
        next = NEXT_INSN (next);
       return next;
     }
@@ -1194,7 +1347,7 @@ delete_related_insns (rtx insn)
        if (LABEL_NUSES (XEXP (note, 0)) == 0)
          delete_related_insns (XEXP (note, 0));
 
-  while (prev && (INSN_DELETED_P (prev) || NOTE_P (prev)))
+  while (prev && (prev->deleted () || NOTE_P (prev)))
     prev = PREV_INSN (prev);
 
   /* If INSN was a label and a dispatch table follows it,
@@ -1203,9 +1356,7 @@ delete_related_insns (rtx insn)
 
   if (was_code_label
       && NEXT_INSN (insn) != 0
-      && JUMP_P (NEXT_INSN (insn))
-      && (GET_CODE (PATTERN (NEXT_INSN (insn))) == ADDR_VEC
-         || GET_CODE (PATTERN (NEXT_INSN (insn))) == ADDR_DIFF_VEC))
+      && JUMP_TABLE_DATA_P (NEXT_INSN (insn)))
     next = delete_related_insns (NEXT_INSN (insn));
 
   /* If INSN was a label, delete insns following it if now unreachable.  */
@@ -1219,7 +1370,14 @@ delete_related_insns (rtx insn)
          if (code == NOTE)
            next = NEXT_INSN (next);
          /* Keep going past other deleted labels to delete what follows.  */
-         else if (code == CODE_LABEL && INSN_DELETED_P (next))
+         else if (code == CODE_LABEL && next->deleted ())
+           next = NEXT_INSN (next);
+         /* Keep the (use (insn))s created by dbr_schedule, which needs
+            them in order to track liveness relative to a previous
+            barrier.  */
+         else if (INSN_P (next)
+                  && GET_CODE (PATTERN (next)) == USE
+                  && INSN_P (XEXP (PATTERN (next), 0)))
            next = NEXT_INSN (next);
          else if (code == BARRIER || INSN_P (next))
            /* Note: if this deletes a jump, it can cause more
@@ -1236,7 +1394,7 @@ delete_related_insns (rtx insn)
      but I see no clean and sure alternative way
      to find the first insn after INSN that is not now deleted.
      I hope this works.  */
-  while (next && INSN_DELETED_P (next))
+  while (next && next->deleted ())
     next = NEXT_INSN (next);
   return next;
 }
@@ -1247,27 +1405,27 @@ delete_related_insns (rtx insn)
    peephole insn that will replace them.  */
 
 void
-delete_for_peephole (rtx from, rtx to)
+delete_for_peephole (rtx_insn *from, rtx_insn *to)
 {
-  rtx insn = from;
+  rtx_insn *insn = from;
 
   while (1)
     {
-      rtx next = NEXT_INSN (insn);
-      rtx prev = PREV_INSN (insn);
+      rtx_insn *next = NEXT_INSN (insn);
+      rtx_insn *prev = PREV_INSN (insn);
 
       if (!NOTE_P (insn))
        {
-         INSN_DELETED_P (insn) = 1;
+         insn->set_deleted();
 
          /* Patch this insn out of the chain.  */
          /* We don't do this all at once, because we
             must preserve all NOTEs.  */
          if (prev)
-           NEXT_INSN (prev) = next;
+           SET_NEXT_INSN (prev) = next;
 
          if (next)
-           PREV_INSN (next) = prev;
+           SET_PREV_INSN (next) = prev;
        }
 
       if (insn == to)
@@ -1281,6 +1439,18 @@ delete_for_peephole (rtx from, rtx to)
      is also an unconditional jump in that case.  */
 }
 \f
+/* A helper function for redirect_exp_1; examines its input X and returns
+   either a LABEL_REF around a label, or a RETURN if X was NULL.  */
+static rtx
+redirect_target (rtx x)
+{
+  if (x == NULL_RTX)
+    return ret_rtx;
+  if (!ANY_RETURN_P (x))
+    return gen_rtx_LABEL_REF (Pmode, x);
+  return x;
+}
+
 /* Throughout LOC, redirect OLABEL to NLABEL.  Treat null OLABEL or
    NLABEL as a return.  Accrue modifications into the change group.  */
 
@@ -1292,37 +1462,22 @@ redirect_exp_1 (rtx *loc, rtx olabel, rtx nlabel, rtx insn)
   int i;
   const char *fmt;
 
-  if (code == LABEL_REF)
+  if ((code == LABEL_REF && LABEL_REF_LABEL (x) == olabel)
+      || x == olabel)
     {
-      if (XEXP (x, 0) == olabel)
-       {
-         rtx n;
-         if (nlabel)
-           n = gen_rtx_LABEL_REF (Pmode, nlabel);
-         else
-           n = gen_rtx_RETURN (VOIDmode);
-
-         validate_change (insn, loc, n, 1);
-         return;
-       }
-    }
-  else if (code == RETURN && olabel == 0)
-    {
-      if (nlabel)
-       x = gen_rtx_LABEL_REF (Pmode, nlabel);
-      else
-       x = gen_rtx_RETURN (VOIDmode);
-      if (loc == &PATTERN (insn))
-       x = gen_rtx_SET (VOIDmode, pc_rtx, x);
+      x = redirect_target (nlabel);
+      if (GET_CODE (x) == LABEL_REF && loc == &PATTERN (insn))
+       x = gen_rtx_SET (VOIDmode, pc_rtx, x);
       validate_change (insn, loc, x, 1);
       return;
     }
 
-  if (code == SET && nlabel == 0 && SET_DEST (x) == pc_rtx
+  if (code == SET && SET_DEST (x) == pc_rtx
+      && ANY_RETURN_P (nlabel)
       && GET_CODE (SET_SRC (x)) == LABEL_REF
-      && XEXP (SET_SRC (x), 0) == olabel)
+      && LABEL_REF_LABEL (SET_SRC (x)) == olabel)
     {
-      validate_change (insn, loc, gen_rtx_RETURN (VOIDmode), 1);
+      validate_change (insn, loc, nlabel, 1);
       return;
     }
 
@@ -1357,9 +1512,18 @@ int
 redirect_jump_1 (rtx jump, rtx nlabel)
 {
   int ochanges = num_validated_changes ();
-  rtx *loc;
+  rtx *loc, asmop;
 
-  if (GET_CODE (PATTERN (jump)) == PARALLEL)
+  gcc_assert (nlabel != NULL_RTX);
+  asmop = extract_asm_operands (PATTERN (jump));
+  if (asmop)
+    {
+      if (nlabel == NULL)
+       return 0;
+      gcc_assert (ASM_OPERANDS_LABEL_LENGTH (asmop) == 1);
+      loc = &ASM_OPERANDS_LABEL (asmop, 0);
+    }
+  else if (GET_CODE (PATTERN (jump)) == PARALLEL)
     loc = &XVECEXP (PATTERN (jump), 0, 0);
   else
     loc = &PATTERN (jump);
@@ -1372,17 +1536,31 @@ redirect_jump_1 (rtx jump, rtx nlabel)
    jump target label is unused as a result, it and the code following
    it may be deleted.
 
-   If NLABEL is zero, we are to turn the jump into a (possibly conditional)
-   RETURN insn.
+   Normally, NLABEL will be a label, but it may also be a RETURN rtx;
+   in that case we are to turn the jump into a (possibly conditional)
+   return insn.
 
    The return value will be 1 if the change was made, 0 if it wasn't
-   (this can only occur for NLABEL == 0).  */
+   (this can only occur when trying to produce return insns).  */
 
 int
 redirect_jump (rtx jump, rtx nlabel, int delete_unused)
 {
   rtx olabel = JUMP_LABEL (jump);
 
+  if (!nlabel)
+    {
+      /* If there is no label, we are asked to redirect to the EXIT block.
+        When before the epilogue is emitted, return/simple_return cannot be
+        created so we return 0 immediately.  After the epilogue is emitted,
+        we always expect a label, either a non-null label, or a
+        return/simple_return RTX.  */
+
+      if (!epilogue_completed)
+       return 0;
+      gcc_unreachable ();
+    }
+
   if (nlabel == olabel)
     return 1;
 
@@ -1394,7 +1572,7 @@ redirect_jump (rtx jump, rtx nlabel, int delete_unused)
 }
 
 /* Fix up JUMP_LABEL and label ref counts after OLABEL has been replaced with
-   NLABEL in JUMP.  
+   NLABEL in JUMP.
    If DELETE_UNUSED is positive, delete related insn to OLABEL if its ref
    count has dropped to zero.  */
 void
@@ -1410,13 +1588,14 @@ redirect_jump_2 (rtx jump, rtx olabel, rtx nlabel, int delete_unused,
      about this.  */
   gcc_assert (delete_unused >= 0);
   JUMP_LABEL (jump) = nlabel;
-  if (nlabel)
+  if (!ANY_RETURN_P (nlabel))
     ++LABEL_NUSES (nlabel);
 
   /* Update labels in any REG_EQUAL note.  */
   if ((note = find_reg_note (jump, REG_EQUAL, NULL_RTX)) != NULL_RTX)
     {
-      if (!nlabel || (invert && !invert_exp_1 (XEXP (note, 0), jump)))
+      if (ANY_RETURN_P (nlabel)
+         || (invert && !invert_exp_1 (XEXP (note, 0), jump)))
        remove_note (jump, note);
       else
        {
@@ -1425,7 +1604,14 @@ redirect_jump_2 (rtx jump, rtx olabel, rtx nlabel, int delete_unused,
        }
     }
 
-  if (olabel && --LABEL_NUSES (olabel) == 0 && delete_unused > 0
+  /* Handle the case where we had a conditional crossing jump to a return
+     label and are now changing it into a direct conditional return.
+     The jump is no longer crossing in that case.  */
+  if (ANY_RETURN_P (nlabel))
+    CROSSING_JUMP_P (jump) = 0;
+
+  if (!ANY_RETURN_P (olabel)
+      && --LABEL_NUSES (olabel) == 0 && delete_unused > 0
       /* Undefined labels will remain outside the insn stream.  */
       && INSN_UID (olabel))
     delete_related_insns (olabel);
@@ -1478,17 +1664,18 @@ invert_exp_1 (rtx x, rtx insn)
    inversion and redirection.  */
 
 int
-invert_jump_1 (rtx jump, rtx nlabel)
+invert_jump_1 (rtx_insn *jump, rtx nlabel)
 {
   rtx x = pc_set (jump);
   int ochanges;
   int ok;
 
   ochanges = num_validated_changes ();
-  gcc_assert (x);
+  if (x == NULL)
+    return 0;
   ok = invert_exp_1 (SET_SRC (x), jump);
   gcc_assert (ok);
-  
+
   if (num_validated_changes () == ochanges)
     return 0;
 
@@ -1501,7 +1688,7 @@ invert_jump_1 (rtx jump, rtx nlabel)
    NLABEL instead of where it jumps now.  Return true if successful.  */
 
 int
-invert_jump (rtx jump, rtx nlabel, int delete_unused)
+invert_jump (rtx_insn *jump, rtx nlabel, int delete_unused)
 {
   rtx olabel = JUMP_LABEL (jump);
 
@@ -1536,6 +1723,7 @@ rtx_renumbered_equal_p (const_rtx x, const_rtx y)
     {
       int reg_x = -1, reg_y = -1;
       int byte_x = 0, byte_y = 0;
+      struct subreg_info info;
 
       if (GET_MODE (x) != GET_MODE (y))
        return 0;
@@ -1552,10 +1740,12 @@ rtx_renumbered_equal_p (const_rtx x, const_rtx y)
 
          if (reg_renumber[reg_x] >= 0)
            {
-             reg_x = subreg_regno_offset (reg_renumber[reg_x],
-                                          GET_MODE (SUBREG_REG (x)),
-                                          byte_x,
-                                          GET_MODE (x));
+             subreg_get_info (reg_renumber[reg_x],
+                              GET_MODE (SUBREG_REG (x)), byte_x,
+                              GET_MODE (x), &info);
+             if (!info.representable_p)
+               return 0;
+             reg_x = info.offset;
              byte_x = 0;
            }
        }
@@ -1573,10 +1763,12 @@ rtx_renumbered_equal_p (const_rtx x, const_rtx y)
 
          if (reg_renumber[reg_y] >= 0)
            {
-             reg_y = subreg_regno_offset (reg_renumber[reg_y],
-                                          GET_MODE (SUBREG_REG (y)),
-                                          byte_y,
-                                          GET_MODE (y));
+             subreg_get_info (reg_renumber[reg_y],
+                              GET_MODE (SUBREG_REG (y)), byte_y,
+                              GET_MODE (y), &info);
+             if (!info.representable_p)
+               return 0;
+             reg_y = info.offset;
              byte_y = 0;
            }
        }
@@ -1601,19 +1793,18 @@ rtx_renumbered_equal_p (const_rtx x, const_rtx y)
     case CC0:
     case ADDR_VEC:
     case ADDR_DIFF_VEC:
-    case CONST_INT:
-    case CONST_DOUBLE:
+    CASE_CONST_UNIQUE:
       return 0;
 
     case LABEL_REF:
       /* We can't assume nonlocal labels have their following insns yet.  */
       if (LABEL_REF_NONLOCAL_P (x) || LABEL_REF_NONLOCAL_P (y))
-       return XEXP (x, 0) == XEXP (y, 0);
+       return LABEL_REF_LABEL (x) == LABEL_REF_LABEL (y);
 
       /* Two label-refs are equivalent if they point at labels
         in the same position in the instruction stream.  */
-      return (next_real_insn (XEXP (x, 0))
-             == next_real_insn (XEXP (y, 0)));
+      return (next_real_insn (LABEL_REF_LABEL (x))
+             == next_real_insn (LABEL_REF_LABEL (y)));
 
     case SYMBOL_REF:
       return XSTR (x, 0) == XSTR (y, 0);
@@ -1631,6 +1822,10 @@ rtx_renumbered_equal_p (const_rtx x, const_rtx y)
   if (GET_MODE (x) != GET_MODE (y))
     return 0;
 
+  /* MEMs referring to different address space are not equivalent.  */
+  if (code == MEM && MEM_ADDR_SPACE (x) != MEM_ADDR_SPACE (y))
+    return 0;
+
   /* For commutative operations, the RTX match if the operand match in any
      order.  Also handle the simple binary and unary cases without a loop.  */
   if (targetm.commutative_p (x, UNKNOWN))
@@ -1660,7 +1855,12 @@ rtx_renumbered_equal_p (const_rtx x, const_rtx y)
 
        case 'i':
          if (XINT (x, i) != XINT (y, i))
-           return 0;
+           {
+             if (((code == ASM_OPERANDS && i == 6)
+                  || (code == ASM_INPUT && i == 1)))
+               break;
+             return 0;
+           }
          break;
 
        case 't':
@@ -1710,7 +1910,8 @@ true_regnum (const_rtx x)
 {
   if (REG_P (x))
     {
-      if (REGNO (x) >= FIRST_PSEUDO_REGISTER && reg_renumber[REGNO (x)] >= 0)
+      if (REGNO (x) >= FIRST_PSEUDO_REGISTER
+         && (lra_in_progress || reg_renumber[REGNO (x)] >= 0))
        return reg_renumber[REGNO (x)];
       return REGNO (x);
     }
@@ -1718,13 +1919,18 @@ true_regnum (const_rtx x)
     {
       int base = true_regnum (SUBREG_REG (x));
       if (base >= 0
-         && base < FIRST_PSEUDO_REGISTER
-         && subreg_offset_representable_p (REGNO (SUBREG_REG (x)),
-                                           GET_MODE (SUBREG_REG (x)),
-                                           SUBREG_BYTE (x), GET_MODE (x)))
-       return base + subreg_regno_offset (REGNO (SUBREG_REG (x)),
-                                          GET_MODE (SUBREG_REG (x)),
-                                          SUBREG_BYTE (x), GET_MODE (x));
+         && base < FIRST_PSEUDO_REGISTER)
+       {
+         struct subreg_info info;
+
+         subreg_get_info (lra_in_progress
+                          ? (unsigned) base : REGNO (SUBREG_REG (x)),
+                          GET_MODE (SUBREG_REG (x)),
+                          SUBREG_BYTE (x), GET_MODE (x), &info);
+
+         if (info.representable_p)
+           return base + info.offset;
+       }
     }
   return -1;
 }