tree-optimization/95495 - use SLP_TREE_REPRESENTATIVE in assertion
[gcc.git] / gcc / dojump.c
index 3685ff513d00880d220e31732830e5e87a479708..28b47b7ab6d0ba0c88e58e08b1192fa73c620a62 100644 (file)
@@ -1,7 +1,5 @@
 /* Convert tree expression to rtl instructions, for GNU compiler.
-   Copyright (C) 1988, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999,
-   2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009
-   Free Software Foundation, Inc.
+   Copyright (C) 1988-2020 Free Software Foundation, Inc.
 
 This file is part of GCC.
 
@@ -22,25 +20,35 @@ along with GCC; see the file COPYING3.  If not see
 #include "config.h"
 #include "system.h"
 #include "coretypes.h"
-#include "tm.h"
+#include "backend.h"
+#include "target.h"
 #include "rtl.h"
 #include "tree.h"
-#include "flags.h"
-#include "function.h"
-#include "insn-config.h"
-#include "insn-attr.h"
+#include "predict.h"
+#include "memmodel.h"
+#include "tm_p.h"
+#include "optabs.h"
+#include "emit-rtl.h"
+#include "fold-const.h"
+#include "stor-layout.h"
 /* Include expr.h after insn-config.h so we get HAVE_conditional_move.  */
+#include "dojump.h"
+#include "explow.h"
 #include "expr.h"
-#include "optabs.h"
 #include "langhooks.h"
-#include "ggc.h"
-#include "basic-block.h"
 
-static bool prefer_and_bit_test (enum machine_mode, int);
-static void do_jump_by_parts_greater (tree, int, rtx, rtx);
-static void do_jump_by_parts_equality (tree, rtx, rtx);
-static void do_compare_and_jump        (tree, enum rtx_code, enum rtx_code, rtx,
-                                rtx);
+static bool prefer_and_bit_test (scalar_int_mode, int);
+static void do_jump (tree, rtx_code_label *, rtx_code_label *,
+                    profile_probability);
+static void do_jump_by_parts_greater (scalar_int_mode, tree, tree, int,
+                                     rtx_code_label *, rtx_code_label *,
+                                     profile_probability);
+static void do_jump_by_parts_equality (scalar_int_mode, tree, tree,
+                                      rtx_code_label *, rtx_code_label *,
+                                      profile_probability);
+static void do_compare_and_jump        (tree, tree, enum rtx_code, enum rtx_code,
+                                rtx_code_label *, rtx_code_label *,
+                                profile_probability);
 
 /* At the start of a function, record that we have no previously-pushed
    arguments waiting to be popped.  */
@@ -83,32 +91,35 @@ do_pending_stack_adjust (void)
 {
   if (inhibit_defer_pop == 0)
     {
-      if (pending_stack_adjust != 0)
-        adjust_stack (GEN_INT (pending_stack_adjust));
+      if (maybe_ne (pending_stack_adjust, 0))
+       adjust_stack (gen_int_mode (pending_stack_adjust, Pmode));
       pending_stack_adjust = 0;
     }
 }
-\f
-/* Expand conditional expressions.  */
 
-/* Generate code to evaluate EXP and jump to LABEL if the value is zero.
-   LABEL is an rtx of code CODE_LABEL, in this function and all the
-   functions here.  */
+/* Remember pending_stack_adjust/stack_pointer_delta.
+   To be used around code that may call do_pending_stack_adjust (),
+   but the generated code could be discarded e.g. using delete_insns_since.  */
 
 void
-jumpifnot (tree exp, rtx label)
+save_pending_stack_adjust (saved_pending_stack_adjust *save)
 {
-  do_jump (exp, label, NULL_RTX);
+  save->x_pending_stack_adjust = pending_stack_adjust;
+  save->x_stack_pointer_delta = stack_pointer_delta;
 }
 
-/* Generate code to evaluate EXP and jump to LABEL if the value is nonzero.  */
+/* Restore the saved pending_stack_adjust/stack_pointer_delta.  */
 
 void
-jumpif (tree exp, rtx label)
+restore_pending_stack_adjust (saved_pending_stack_adjust *save)
 {
-  do_jump (exp, NULL_RTX, label);
+  if (inhibit_defer_pop == 0)
+    {
+      pending_stack_adjust = save->x_pending_stack_adjust;
+      stack_pointer_delta = save->x_stack_pointer_delta;
+    }
 }
-
+\f
 /* Used internally by prefer_and_bit_test.  */
 
 static GTY(()) rtx and_reg;
@@ -120,13 +131,16 @@ static GTY(()) rtx shift_test;
    is preferred.  */
 
 static bool
-prefer_and_bit_test (enum machine_mode mode, int bitnum)
+prefer_and_bit_test (scalar_int_mode mode, int bitnum)
 {
+  bool speed_p;
+  wide_int mask = wi::set_bit_in_zero (bitnum, GET_MODE_PRECISION (mode));
+
   if (and_test == 0)
     {
       /* Set up rtxes for the two variations.  Use NULL as a placeholder
         for the BITNUM-based constants.  */
-      and_reg = gen_rtx_REG (mode, FIRST_PSEUDO_REGISTER);
+      and_reg = gen_rtx_REG (mode, LAST_VIRTUAL_REGISTER + 1);
       and_test = gen_rtx_AND (mode, and_reg, NULL);
       shift_test = gen_rtx_AND (mode, gen_rtx_ASHIFTRT (mode, and_reg, NULL),
                                const1_rtx);
@@ -141,12 +155,225 @@ prefer_and_bit_test (enum machine_mode mode, int bitnum)
     }
 
   /* Fill in the integers.  */
-  XEXP (and_test, 1)
-    = immed_double_const ((unsigned HOST_WIDE_INT) 1 << bitnum, 0, mode);
+  XEXP (and_test, 1) = immed_wide_int_const (mask, mode);
   XEXP (XEXP (shift_test, 0), 1) = GEN_INT (bitnum);
 
-  return (rtx_cost (and_test, IF_THEN_ELSE, optimize_insn_for_speed_p ())
-         <= rtx_cost (shift_test, IF_THEN_ELSE, optimize_insn_for_speed_p ()));
+  speed_p = optimize_insn_for_speed_p ();
+  return (rtx_cost (and_test, mode, IF_THEN_ELSE, 0, speed_p)
+         <= rtx_cost (shift_test, mode, IF_THEN_ELSE, 0, speed_p));
+}
+
+/* Subroutine of do_jump, dealing with exploded comparisons of the type
+   OP0 CODE OP1 .  IF_FALSE_LABEL and IF_TRUE_LABEL like in do_jump.
+   PROB is probability of jump to if_true_label.  */
+
+static void
+do_jump_1 (enum tree_code code, tree op0, tree op1,
+          rtx_code_label *if_false_label, rtx_code_label *if_true_label,
+          profile_probability prob)
+{
+  machine_mode mode;
+  rtx_code_label *drop_through_label = 0;
+  scalar_int_mode int_mode;
+
+  switch (code)
+    {
+    case EQ_EXPR:
+      {
+        tree inner_type = TREE_TYPE (op0);
+
+        gcc_assert (GET_MODE_CLASS (TYPE_MODE (inner_type))
+                   != MODE_COMPLEX_FLOAT);
+       gcc_assert (GET_MODE_CLASS (TYPE_MODE (inner_type))
+                   != MODE_COMPLEX_INT);
+
+        if (integer_zerop (op1))
+         do_jump (op0, if_true_label, if_false_label,
+                  prob.invert ());
+       else if (is_int_mode (TYPE_MODE (inner_type), &int_mode)
+                && !can_compare_p (EQ, int_mode, ccp_jump))
+         do_jump_by_parts_equality (int_mode, op0, op1, if_false_label,
+                                    if_true_label, prob);
+        else
+         do_compare_and_jump (op0, op1, EQ, EQ, if_false_label, if_true_label,
+                              prob);
+        break;
+      }
+
+    case NE_EXPR:
+      {
+        tree inner_type = TREE_TYPE (op0);
+
+        gcc_assert (GET_MODE_CLASS (TYPE_MODE (inner_type))
+                   != MODE_COMPLEX_FLOAT);
+       gcc_assert (GET_MODE_CLASS (TYPE_MODE (inner_type))
+                   != MODE_COMPLEX_INT);
+
+        if (integer_zerop (op1))
+         do_jump (op0, if_false_label, if_true_label, prob);
+       else if (is_int_mode (TYPE_MODE (inner_type), &int_mode)
+                && !can_compare_p (NE, int_mode, ccp_jump))
+         do_jump_by_parts_equality (int_mode, op0, op1, if_true_label,
+                                    if_false_label, prob.invert ());
+        else
+         do_compare_and_jump (op0, op1, NE, NE, if_false_label, if_true_label,
+                              prob);
+        break;
+      }
+
+    case LT_EXPR:
+      mode = TYPE_MODE (TREE_TYPE (op0));
+      if (is_int_mode (mode, &int_mode)
+         && ! can_compare_p (LT, int_mode, ccp_jump))
+       do_jump_by_parts_greater (int_mode, op0, op1, 1, if_false_label,
+                                 if_true_label, prob);
+      else
+       do_compare_and_jump (op0, op1, LT, LTU, if_false_label, if_true_label,
+                            prob);
+      break;
+
+    case LE_EXPR:
+      mode = TYPE_MODE (TREE_TYPE (op0));
+      if (is_int_mode (mode, &int_mode)
+         && ! can_compare_p (LE, int_mode, ccp_jump))
+       do_jump_by_parts_greater (int_mode, op0, op1, 0, if_true_label,
+                                 if_false_label, prob.invert ());
+      else
+       do_compare_and_jump (op0, op1, LE, LEU, if_false_label, if_true_label,
+                            prob);
+      break;
+
+    case GT_EXPR:
+      mode = TYPE_MODE (TREE_TYPE (op0));
+      if (is_int_mode (mode, &int_mode)
+         && ! can_compare_p (GT, int_mode, ccp_jump))
+       do_jump_by_parts_greater (int_mode, op0, op1, 0, if_false_label,
+                                 if_true_label, prob);
+      else
+       do_compare_and_jump (op0, op1, GT, GTU, if_false_label, if_true_label,
+                            prob);
+      break;
+
+    case GE_EXPR:
+      mode = TYPE_MODE (TREE_TYPE (op0));
+      if (is_int_mode (mode, &int_mode)
+         && ! can_compare_p (GE, int_mode, ccp_jump))
+       do_jump_by_parts_greater (int_mode, op0, op1, 1, if_true_label,
+                                 if_false_label, prob.invert ());
+      else
+       do_compare_and_jump (op0, op1, GE, GEU, if_false_label, if_true_label,
+                            prob);
+      break;
+
+    case ORDERED_EXPR:
+      do_compare_and_jump (op0, op1, ORDERED, ORDERED,
+                          if_false_label, if_true_label, prob);
+      break;
+
+    case UNORDERED_EXPR:
+      do_compare_and_jump (op0, op1, UNORDERED, UNORDERED,
+                          if_false_label, if_true_label, prob);
+      break;
+
+    case UNLT_EXPR:
+      do_compare_and_jump (op0, op1, UNLT, UNLT, if_false_label, if_true_label,
+                          prob);
+      break;
+
+    case UNLE_EXPR:
+      do_compare_and_jump (op0, op1, UNLE, UNLE, if_false_label, if_true_label,
+                          prob);
+      break;
+
+    case UNGT_EXPR:
+      do_compare_and_jump (op0, op1, UNGT, UNGT, if_false_label, if_true_label,
+                          prob);
+      break;
+
+    case UNGE_EXPR:
+      do_compare_and_jump (op0, op1, UNGE, UNGE, if_false_label, if_true_label,
+                          prob);
+      break;
+
+    case UNEQ_EXPR:
+      do_compare_and_jump (op0, op1, UNEQ, UNEQ, if_false_label, if_true_label,
+                          prob);
+      break;
+
+    case LTGT_EXPR:
+      do_compare_and_jump (op0, op1, LTGT, LTGT, if_false_label, if_true_label,
+                          prob);
+      break;
+
+    case TRUTH_ANDIF_EXPR:
+      {
+        /* Spread the probability that the expression is false evenly between
+           the two conditions. So the first condition is false half the total
+           probability of being false. The second condition is false the other
+           half of the total probability of being false, so its jump has a false
+           probability of half the total, relative to the probability we
+           reached it (i.e. the first condition was true).  */
+        profile_probability op0_prob = profile_probability::uninitialized ();
+        profile_probability op1_prob = profile_probability::uninitialized ();
+        if (prob.initialized_p ())
+          {
+           op1_prob = prob.invert ();
+           op0_prob = op1_prob.split (profile_probability::even ());
+            /* Get the probability that each jump below is true.  */
+           op0_prob = op0_prob.invert ();
+           op1_prob = op1_prob.invert ();
+          }
+       if (if_false_label == NULL)
+          {
+            drop_through_label = gen_label_rtx ();
+           do_jump (op0, drop_through_label, NULL, op0_prob);
+           do_jump (op1, NULL, if_true_label, op1_prob);
+          }
+        else
+          {
+           do_jump (op0, if_false_label, NULL, op0_prob);
+            do_jump (op1, if_false_label, if_true_label, op1_prob);
+          }
+        break;
+      }
+
+    case TRUTH_ORIF_EXPR:
+      {
+        /* Spread the probability evenly between the two conditions. So
+           the first condition has half the total probability of being true.
+           The second condition has the other half of the total probability,
+           so its jump has a probability of half the total, relative to
+           the probability we reached it (i.e. the first condition was false).  */
+        profile_probability op0_prob = profile_probability::uninitialized ();
+        profile_probability op1_prob = profile_probability::uninitialized ();
+        if (prob.initialized_p ())
+          {
+           op1_prob = prob;
+           op0_prob = op1_prob.split (profile_probability::even ());
+         }
+       if (if_true_label == NULL)
+         {
+           drop_through_label = gen_label_rtx ();
+           do_jump (op0, NULL, drop_through_label, op0_prob);
+           do_jump (op1, if_false_label, NULL, op1_prob);
+         }
+       else
+         {
+           do_jump (op0, NULL, if_true_label, op0_prob);
+           do_jump (op1, if_false_label, if_true_label, op1_prob);
+         }
+        break;
+      }
+
+    default:
+      gcc_unreachable ();
+    }
+
+  if (drop_through_label)
+    {
+      do_pending_stack_adjust ();
+      emit_label (drop_through_label);
+    }
 }
 
 /* Generate code to evaluate EXP and jump to IF_FALSE_LABEL if
@@ -156,17 +383,20 @@ prefer_and_bit_test (enum machine_mode mode, int bitnum)
 
    do_jump always does any pending stack adjust except when it does not
    actually perform a jump.  An example where there is no jump
-   is when EXP is `(foo (), 0)' and IF_FALSE_LABEL is null.  */
+   is when EXP is `(foo (), 0)' and IF_FALSE_LABEL is null.
 
-void
-do_jump (tree exp, rtx if_false_label, rtx if_true_label)
+   PROB is probability of jump to if_true_label.  */
+
+static void
+do_jump (tree exp, rtx_code_label *if_false_label,
+        rtx_code_label *if_true_label, profile_probability prob)
 {
   enum tree_code code = TREE_CODE (exp);
   rtx temp;
   int i;
   tree type;
-  enum machine_mode mode;
-  rtx drop_through_label = 0;
+  scalar_int_mode mode;
+  rtx_code_label *drop_through_label = NULL;
 
   switch (code)
     {
@@ -174,10 +404,13 @@ do_jump (tree exp, rtx if_false_label, rtx if_true_label)
       break;
 
     case INTEGER_CST:
-      temp = integer_zerop (exp) ? if_false_label : if_true_label;
-      if (temp)
-        emit_jump (temp);
-      break;
+      {
+       rtx_code_label *lab = integer_zerop (exp) ? if_false_label
+                                                 : if_true_label;
+       if (lab)
+         emit_jump (lab);
+       break;
+      }
 
 #if 0
       /* This is not true with #pragma weak  */
@@ -194,28 +427,32 @@ do_jump (tree exp, rtx if_false_label, rtx if_true_label)
           || TREE_CODE (TREE_OPERAND (exp, 0)) == ARRAY_REF
           || TREE_CODE (TREE_OPERAND (exp, 0)) == ARRAY_RANGE_REF)
         goto normal;
+      /* FALLTHRU */
     case CONVERT_EXPR:
       /* If we are narrowing the operand, we have to do the compare in the
          narrower mode.  */
       if ((TYPE_PRECISION (TREE_TYPE (exp))
            < TYPE_PRECISION (TREE_TYPE (TREE_OPERAND (exp, 0)))))
         goto normal;
+      /* FALLTHRU */
     case NON_LVALUE_EXPR:
     case ABS_EXPR:
+    case ABSU_EXPR:
     case NEGATE_EXPR:
     case LROTATE_EXPR:
     case RROTATE_EXPR:
       /* These cannot change zero->nonzero or vice versa.  */
-      do_jump (TREE_OPERAND (exp, 0), if_false_label, if_true_label);
+      do_jump (TREE_OPERAND (exp, 0), if_false_label, if_true_label, prob);
       break;
 
     case TRUTH_NOT_EXPR:
-      do_jump (TREE_OPERAND (exp, 0), if_true_label, if_false_label);
+      do_jump (TREE_OPERAND (exp, 0), if_true_label, if_false_label,
+              prob.invert ());
       break;
 
     case COND_EXPR:
       {
-       rtx label1 = gen_label_rtx ();
+       rtx_code_label *label1 = gen_label_rtx ();
        if (!if_true_label || !if_false_label)
          {
            drop_through_label = gen_label_rtx ();
@@ -226,10 +463,11 @@ do_jump (tree exp, rtx if_false_label, rtx if_true_label)
          }
 
         do_pending_stack_adjust ();
-        do_jump (TREE_OPERAND (exp, 0), label1, NULL_RTX);
-        do_jump (TREE_OPERAND (exp, 1), if_false_label, if_true_label);
+       do_jump (TREE_OPERAND (exp, 0), label1, NULL,
+                profile_probability::uninitialized ());
+       do_jump (TREE_OPERAND (exp, 1), if_false_label, if_true_label, prob);
         emit_label (label1);
-        do_jump (TREE_OPERAND (exp, 2), if_false_label, if_true_label);
+       do_jump (TREE_OPERAND (exp, 2), if_false_label, if_true_label, prob);
        break;
       }
 
@@ -237,147 +475,30 @@ do_jump (tree exp, rtx if_false_label, rtx if_true_label)
       /* Lowered by gimplify.c.  */
       gcc_unreachable ();
 
-    case COMPONENT_REF:
-    case BIT_FIELD_REF:
-    case ARRAY_REF:
-    case ARRAY_RANGE_REF:
-      {
-        HOST_WIDE_INT bitsize, bitpos;
-        int unsignedp;
-        enum machine_mode mode;
-        tree type;
-        tree offset;
-        int volatilep = 0;
-
-        /* Get description of this reference.  We don't actually care
-           about the underlying object here.  */
-        get_inner_reference (exp, &bitsize, &bitpos, &offset, &mode,
-                             &unsignedp, &volatilep, false);
-
-        type = lang_hooks.types.type_for_size (bitsize, unsignedp);
-        if (! SLOW_BYTE_ACCESS
-            && type != 0 && bitsize >= 0
-            && TYPE_PRECISION (type) < TYPE_PRECISION (TREE_TYPE (exp))
-            && have_insn_for (COMPARE, TYPE_MODE (type)))
-          {
-            do_jump (fold_convert (type, exp), if_false_label, if_true_label);
-            break;
-          }
-        goto normal;
-      }
-
-    case EQ_EXPR:
-      {
-        tree inner_type = TREE_TYPE (TREE_OPERAND (exp, 0));
-
-        gcc_assert (GET_MODE_CLASS (TYPE_MODE (inner_type))
-                   != MODE_COMPLEX_FLOAT);
-       gcc_assert (GET_MODE_CLASS (TYPE_MODE (inner_type))
-                   != MODE_COMPLEX_INT);
-       
-        if (integer_zerop (TREE_OPERAND (exp, 1)))
-          do_jump (TREE_OPERAND (exp, 0), if_true_label, if_false_label);
-        else if (GET_MODE_CLASS (TYPE_MODE (inner_type)) == MODE_INT
-                 && !can_compare_p (EQ, TYPE_MODE (inner_type), ccp_jump))
-          do_jump_by_parts_equality (exp, if_false_label, if_true_label);
-        else
-          do_compare_and_jump (exp, EQ, EQ, if_false_label, if_true_label);
-        break;
-      }
-
     case MINUS_EXPR:
       /* Nonzero iff operands of minus differ.  */
-      exp = build2 (NE_EXPR, TREE_TYPE (exp),
-                   TREE_OPERAND (exp, 0),
-                   TREE_OPERAND (exp, 1));
+      code = NE_EXPR;
+
       /* FALLTHRU */
+    case EQ_EXPR:
     case NE_EXPR:
-      {
-        tree inner_type = TREE_TYPE (TREE_OPERAND (exp, 0));
-
-        gcc_assert (GET_MODE_CLASS (TYPE_MODE (inner_type))
-                   != MODE_COMPLEX_FLOAT);
-       gcc_assert (GET_MODE_CLASS (TYPE_MODE (inner_type))
-                   != MODE_COMPLEX_INT);
-       
-        if (integer_zerop (TREE_OPERAND (exp, 1)))
-          do_jump (TREE_OPERAND (exp, 0), if_false_label, if_true_label);
-        else if (GET_MODE_CLASS (TYPE_MODE (inner_type)) == MODE_INT
-           && !can_compare_p (NE, TYPE_MODE (inner_type), ccp_jump))
-          do_jump_by_parts_equality (exp, if_true_label, if_false_label);
-        else
-          do_compare_and_jump (exp, NE, NE, if_false_label, if_true_label);
-        break;
-      }
-
     case LT_EXPR:
-      mode = TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)));
-      if (GET_MODE_CLASS (mode) == MODE_INT
-          && ! can_compare_p (LT, mode, ccp_jump))
-        do_jump_by_parts_greater (exp, 1, if_false_label, if_true_label);
-      else
-        do_compare_and_jump (exp, LT, LTU, if_false_label, if_true_label);
-      break;
-
     case LE_EXPR:
-      mode = TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)));
-      if (GET_MODE_CLASS (mode) == MODE_INT
-          && ! can_compare_p (LE, mode, ccp_jump))
-        do_jump_by_parts_greater (exp, 0, if_true_label, if_false_label);
-      else
-        do_compare_and_jump (exp, LE, LEU, if_false_label, if_true_label);
-      break;
-
     case GT_EXPR:
-      mode = TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)));
-      if (GET_MODE_CLASS (mode) == MODE_INT
-          && ! can_compare_p (GT, mode, ccp_jump))
-        do_jump_by_parts_greater (exp, 0, if_false_label, if_true_label);
-      else
-        do_compare_and_jump (exp, GT, GTU, if_false_label, if_true_label);
-      break;
-
     case GE_EXPR:
-      mode = TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)));
-      if (GET_MODE_CLASS (mode) == MODE_INT
-          && ! can_compare_p (GE, mode, ccp_jump))
-        do_jump_by_parts_greater (exp, 1, if_true_label, if_false_label);
-      else
-        do_compare_and_jump (exp, GE, GEU, if_false_label, if_true_label);
-      break;
-
     case ORDERED_EXPR:
-      do_compare_and_jump (exp, ORDERED, ORDERED,
-                          if_false_label, if_true_label);
-      break;
-
     case UNORDERED_EXPR:
-      do_compare_and_jump (exp, UNORDERED, UNORDERED,
-                          if_false_label, if_true_label);
-      break;
-
     case UNLT_EXPR:
-      do_compare_and_jump (exp, UNLT, UNLT, if_false_label, if_true_label);
-      break;
-
     case UNLE_EXPR:
-      do_compare_and_jump (exp, UNLE, UNLE, if_false_label, if_true_label);
-      break;
-
     case UNGT_EXPR:
-      do_compare_and_jump (exp, UNGT, UNGT, if_false_label, if_true_label);
-      break;
-
     case UNGE_EXPR:
-      do_compare_and_jump (exp, UNGE, UNGE, if_false_label, if_true_label);
-      break;
-
     case UNEQ_EXPR:
-      do_compare_and_jump (exp, UNEQ, UNEQ, if_false_label, if_true_label);
-      break;
-
     case LTGT_EXPR:
-      do_compare_and_jump (exp, LTGT, LTGT, if_false_label, if_true_label);
+    case TRUTH_ANDIF_EXPR:
+    case TRUTH_ORIF_EXPR:
+    other_code:
+      do_jump_1 (code, TREE_OPERAND (exp, 0), TREE_OPERAND (exp, 1),
+                if_false_label, if_true_label, prob);
       break;
 
     case BIT_AND_EXPR:
@@ -387,7 +508,8 @@ do_jump (tree exp, rtx if_false_label, rtx if_true_label)
       if (integer_onep (TREE_OPERAND (exp, 1)))
        {
          tree exp0 = TREE_OPERAND (exp, 0);
-         rtx set_label, clr_label;
+         rtx_code_label *set_label, *clr_label;
+         profile_probability setclr_prob = prob;
 
          /* Strip narrowing integral type conversions.  */
          while (CONVERT_EXPR_P (exp0)
@@ -403,6 +525,7 @@ do_jump (tree exp, rtx if_false_label, rtx if_true_label)
              exp0 = TREE_OPERAND (exp0, 0);
              clr_label = if_true_label;
              set_label = if_false_label;
+             setclr_prob = prob.invert ();
            }
          else
            {
@@ -418,14 +541,14 @@ do_jump (tree exp, rtx if_false_label, rtx if_true_label)
              if (TREE_CODE (shift) == INTEGER_CST
                  && compare_tree_int (shift, 0) >= 0
                  && compare_tree_int (shift, HOST_BITS_PER_WIDE_INT) < 0
-                 && prefer_and_bit_test (TYPE_MODE (argtype),
+                 && prefer_and_bit_test (SCALAR_INT_TYPE_MODE (argtype),
                                          TREE_INT_CST_LOW (shift)))
                {
                  unsigned HOST_WIDE_INT mask
-                   = (unsigned HOST_WIDE_INT) 1 << TREE_INT_CST_LOW (shift);
+                   = HOST_WIDE_INT_1U << TREE_INT_CST_LOW (shift);
                  do_jump (build2 (BIT_AND_EXPR, argtype, arg,
-                                  build_int_cst_wide_type (argtype, mask, 0)),
-                          clr_label, set_label);
+                                  build_int_cstu (argtype, mask)),
+                          clr_label, set_label, setclr_prob);
                  break;
                }
            }
@@ -442,12 +565,13 @@ do_jump (tree exp, rtx if_false_label, rtx if_true_label)
           && TREE_CODE (TREE_OPERAND (exp, 1)) == INTEGER_CST
           && TYPE_PRECISION (TREE_TYPE (exp)) <= HOST_BITS_PER_WIDE_INT
           && (i = tree_floor_log2 (TREE_OPERAND (exp, 1))) >= 0
-          && (mode = mode_for_size (i + 1, MODE_INT, 0)) != BLKmode
+         && int_mode_for_size (i + 1, 0).exists (&mode)
           && (type = lang_hooks.types.type_for_mode (mode, 1)) != 0
           && TYPE_PRECISION (type) < TYPE_PRECISION (TREE_TYPE (exp))
           && have_insn_for (COMPARE, TYPE_MODE (type)))
         {
-          do_jump (fold_convert (type, exp), if_false_label, if_true_label);
+         do_jump (fold_convert (type, exp), if_false_label, if_true_label,
+                  prob);
           break;
         }
 
@@ -456,6 +580,7 @@ do_jump (tree exp, rtx if_false_label, rtx if_true_label)
        goto normal;
 
       /* Boolean comparisons can be compiled as TRUTH_AND_EXPR.  */
+      /* FALLTHRU */
 
     case TRUTH_AND_EXPR:
       /* High branch cost, expand as the bitwise AND of the conditions.
@@ -465,43 +590,19 @@ do_jump (tree exp, rtx if_false_label, rtx if_true_label)
                       false) >= 4
          || TREE_SIDE_EFFECTS (TREE_OPERAND (exp, 1)))
        goto normal;
-
-    case TRUTH_ANDIF_EXPR:
-      if (if_false_label == NULL_RTX)
-        {
-         drop_through_label = gen_label_rtx ();
-          do_jump (TREE_OPERAND (exp, 0), drop_through_label, NULL_RTX);
-          do_jump (TREE_OPERAND (exp, 1), NULL_RTX, if_true_label);
-       }
-      else
-       {
-         do_jump (TREE_OPERAND (exp, 0), if_false_label, NULL_RTX);
-          do_jump (TREE_OPERAND (exp, 1), if_false_label, if_true_label);
-       }
-      break;
+      code = TRUTH_ANDIF_EXPR;
+      goto other_code;
 
     case BIT_IOR_EXPR:
     case TRUTH_OR_EXPR:
       /* High branch cost, expand as the bitwise OR of the conditions.
         Do the same if the RHS has side effects, because we're effectively
         turning a TRUTH_OR_EXPR into a TRUTH_ORIF_EXPR.  */
-      if (BRANCH_COST (optimize_insn_for_speed_p (), false)>= 4
+      if (BRANCH_COST (optimize_insn_for_speed_p (), false) >= 4
          || TREE_SIDE_EFFECTS (TREE_OPERAND (exp, 1)))
        goto normal;
-
-    case TRUTH_ORIF_EXPR:
-      if (if_true_label == NULL_RTX)
-       {
-          drop_through_label = gen_label_rtx ();
-          do_jump (TREE_OPERAND (exp, 0), NULL_RTX, drop_through_label);
-          do_jump (TREE_OPERAND (exp, 1), if_false_label, NULL_RTX);
-       }
-      else
-       {
-          do_jump (TREE_OPERAND (exp, 0), NULL_RTX, if_true_label);
-          do_jump (TREE_OPERAND (exp, 1), if_false_label, if_true_label);
-       }
-      break;
+      code = TRUTH_ORIF_EXPR;
+      goto other_code;
 
       /* Fall through and generate the normal code.  */
     default:
@@ -521,7 +622,7 @@ do_jump (tree exp, rtx if_false_label, rtx if_true_label)
       do_compare_rtx_and_jump (temp, CONST0_RTX (GET_MODE (temp)),
                               NE, TYPE_UNSIGNED (TREE_TYPE (exp)),
                               GET_MODE (temp), NULL_RTX,
-                              if_false_label, if_true_label);
+                              if_false_label, if_true_label, prob);
     }
 
   if (drop_through_label)
@@ -536,19 +637,39 @@ do_jump (tree exp, rtx if_false_label, rtx if_true_label)
    Jump to IF_TRUE_LABEL if OP0 is greater, IF_FALSE_LABEL otherwise.  */
 
 static void
-do_jump_by_parts_greater_rtx (enum machine_mode mode, int unsignedp, rtx op0,
-                             rtx op1, rtx if_false_label, rtx if_true_label)
+do_jump_by_parts_greater_rtx (scalar_int_mode mode, int unsignedp, rtx op0,
+                             rtx op1, rtx_code_label *if_false_label,
+                             rtx_code_label *if_true_label,
+                             profile_probability prob)
 {
   int nwords = (GET_MODE_SIZE (mode) / UNITS_PER_WORD);
-  rtx drop_through_label = 0;
+  rtx_code_label *drop_through_label = 0;
+  bool drop_through_if_true = false, drop_through_if_false = false;
+  enum rtx_code code = GT;
   int i;
 
   if (! if_true_label || ! if_false_label)
     drop_through_label = gen_label_rtx ();
   if (! if_true_label)
-    if_true_label = drop_through_label;
+    {
+      if_true_label = drop_through_label;
+      drop_through_if_true = true;
+    }
   if (! if_false_label)
-    if_false_label = drop_through_label;
+    {
+      if_false_label = drop_through_label;
+      drop_through_if_false = true;
+    }
+
+  /* Deal with the special case 0 > x: only one comparison is necessary and
+     we reverse it to avoid jumping to the drop-through label.  */
+  if (op0 == const0_rtx && drop_through_if_true && !drop_through_if_false)
+    {
+      code = LE;
+      if_true_label = if_false_label;
+      if_false_label = drop_through_label;
+      prob = prob.invert ();
+    }
 
   /* Compare a word at a time, high order first.  */
   for (i = 0; i < nwords; i++)
@@ -567,16 +688,21 @@ do_jump_by_parts_greater_rtx (enum machine_mode mode, int unsignedp, rtx op0,
         }
 
       /* All but high-order word must be compared as unsigned.  */
-      do_compare_rtx_and_jump (op0_word, op1_word, GT,
-                               (unsignedp || i > 0), word_mode, NULL_RTX,
-                               NULL_RTX, if_true_label);
+      do_compare_rtx_and_jump (op0_word, op1_word, code, (unsignedp || i > 0),
+                              word_mode, NULL_RTX, NULL, if_true_label,
+                              prob);
+
+      /* Emit only one comparison for 0.  Do not emit the last cond jump.  */
+      if (op0 == const0_rtx || i == nwords - 1)
+       break;
 
       /* Consider lower words only if these are equal.  */
       do_compare_rtx_and_jump (op0_word, op1_word, NE, unsignedp, word_mode,
-                               NULL_RTX, NULL_RTX, if_false_label);
+                              NULL_RTX, NULL, if_false_label,
+                              prob.invert ());
     }
 
-  if (if_false_label)
+  if (!drop_through_if_false)
     emit_jump (if_false_label);
   if (drop_through_label)
     emit_label (drop_through_label);
@@ -585,34 +711,37 @@ do_jump_by_parts_greater_rtx (enum machine_mode mode, int unsignedp, rtx op0,
 /* Given a comparison expression EXP for values too wide to be compared
    with one insn, test the comparison and jump to the appropriate label.
    The code of EXP is ignored; we always test GT if SWAP is 0,
-   and LT if SWAP is 1.  */
+   and LT if SWAP is 1.  MODE is the mode of the two operands.  */
 
 static void
-do_jump_by_parts_greater (tree exp, int swap, rtx if_false_label,
-                         rtx if_true_label)
+do_jump_by_parts_greater (scalar_int_mode mode, tree treeop0, tree treeop1,
+                         int swap, rtx_code_label *if_false_label,
+                         rtx_code_label *if_true_label,
+                         profile_probability prob)
 {
-  rtx op0 = expand_normal (TREE_OPERAND (exp, swap));
-  rtx op1 = expand_normal (TREE_OPERAND (exp, !swap));
-  enum machine_mode mode = TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)));
-  int unsignedp = TYPE_UNSIGNED (TREE_TYPE (TREE_OPERAND (exp, 0)));
+  rtx op0 = expand_normal (swap ? treeop1 : treeop0);
+  rtx op1 = expand_normal (swap ? treeop0 : treeop1);
+  int unsignedp = TYPE_UNSIGNED (TREE_TYPE (treeop0));
 
   do_jump_by_parts_greater_rtx (mode, unsignedp, op0, op1, if_false_label,
-                               if_true_label);
+                               if_true_label, prob);
 }
 \f
 /* Jump according to whether OP0 is 0.  We assume that OP0 has an integer
    mode, MODE, that is too wide for the available compare insns.  Either
-   Either (but not both) of IF_TRUE_LABEL and IF_FALSE_LABEL may be NULL_RTX
+   Either (but not both) of IF_TRUE_LABEL and IF_FALSE_LABEL may be NULL
    to indicate drop through.  */
 
 static void
-do_jump_by_parts_zero_rtx (enum machine_mode mode, rtx op0,
-                          rtx if_false_label, rtx if_true_label)
+do_jump_by_parts_zero_rtx (scalar_int_mode mode, rtx op0,
+                          rtx_code_label *if_false_label,
+                          rtx_code_label *if_true_label,
+                          profile_probability prob)
 {
   int nwords = GET_MODE_SIZE (mode) / UNITS_PER_WORD;
   rtx part;
   int i;
-  rtx drop_through_label = 0;
+  rtx_code_label *drop_through_label = NULL;
 
   /* The fastest way of doing this comparison on almost any machine is to
      "or" all the words and compare the result.  If all have to be loaded
@@ -629,19 +758,18 @@ do_jump_by_parts_zero_rtx (enum machine_mode mode, rtx op0,
   if (part != 0)
     {
       do_compare_rtx_and_jump (part, const0_rtx, EQ, 1, word_mode,
-                               NULL_RTX, if_false_label, if_true_label);
-
+                              NULL_RTX, if_false_label, if_true_label, prob);
       return;
     }
 
   /* If we couldn't do the "or" simply, do this with a series of compares.  */
   if (! if_false_label)
-    drop_through_label = if_false_label = gen_label_rtx ();
+    if_false_label = drop_through_label = gen_label_rtx ();
 
   for (i = 0; i < nwords; i++)
     do_compare_rtx_and_jump (operand_subword_force (op0, i, mode),
                              const0_rtx, EQ, 1, word_mode, NULL_RTX,
-                             if_false_label, NULL_RTX);
+                            if_false_label, NULL, prob);
 
   if (if_true_label)
     emit_jump (if_true_label);
@@ -656,21 +784,25 @@ do_jump_by_parts_zero_rtx (enum machine_mode mode, rtx op0,
    to indicate drop through.  */
 
 static void
-do_jump_by_parts_equality_rtx (enum machine_mode mode, rtx op0, rtx op1,
-                              rtx if_false_label, rtx if_true_label)
+do_jump_by_parts_equality_rtx (scalar_int_mode mode, rtx op0, rtx op1,
+                              rtx_code_label *if_false_label,
+                              rtx_code_label *if_true_label,
+                              profile_probability prob)
 {
   int nwords = (GET_MODE_SIZE (mode) / UNITS_PER_WORD);
-  rtx drop_through_label = 0;
+  rtx_code_label *drop_through_label = NULL;
   int i;
 
   if (op1 == const0_rtx)
     {
-      do_jump_by_parts_zero_rtx (mode, op0, if_false_label, if_true_label);
+      do_jump_by_parts_zero_rtx (mode, op0, if_false_label, if_true_label,
+                                prob);
       return;
     }
   else if (op0 == const0_rtx)
     {
-      do_jump_by_parts_zero_rtx (mode, op1, if_false_label, if_true_label);
+      do_jump_by_parts_zero_rtx (mode, op1, if_false_label, if_true_label,
+                                prob);
       return;
     }
 
@@ -681,7 +813,7 @@ do_jump_by_parts_equality_rtx (enum machine_mode mode, rtx op0, rtx op1,
     do_compare_rtx_and_jump (operand_subword_force (op0, i, mode),
                              operand_subword_force (op1, i, mode),
                              EQ, 0, word_mode, NULL_RTX,
-                            if_false_label, NULL_RTX);
+                            if_false_label, NULL, prob);
 
   if (if_true_label)
     emit_jump (if_true_label);
@@ -690,16 +822,19 @@ do_jump_by_parts_equality_rtx (enum machine_mode mode, rtx op0, rtx op1,
 }
 
 /* Given an EQ_EXPR expression EXP for values too wide to be compared
-   with one insn, test the comparison and jump to the appropriate label.  */
+   with one insn, test the comparison and jump to the appropriate label.
+   MODE is the mode of the two operands.  */
 
 static void
-do_jump_by_parts_equality (tree exp, rtx if_false_label, rtx if_true_label)
+do_jump_by_parts_equality (scalar_int_mode mode, tree treeop0, tree treeop1,
+                          rtx_code_label *if_false_label,
+                          rtx_code_label *if_true_label,
+                          profile_probability prob)
 {
-  rtx op0 = expand_normal (TREE_OPERAND (exp, 0));
-  rtx op1 = expand_normal (TREE_OPERAND (exp, 1));
-  enum machine_mode mode = TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)));
+  rtx op0 = expand_normal (treeop0);
+  rtx op1 = expand_normal (treeop1);
   do_jump_by_parts_equality_rtx (mode, op0, op1, if_false_label,
-                                if_true_label);
+                                if_true_label, prob);
 }
 \f
 /* Split a comparison into two others, the second of which has the other
@@ -711,7 +846,7 @@ do_jump_by_parts_equality (tree exp, rtx if_false_label, rtx if_true_label)
    the conditions must be ANDed, false if they must be ORed.  */
 
 bool
-split_comparison (enum rtx_code code, enum machine_mode mode,
+split_comparison (enum rtx_code code, machine_mode mode,
                  enum rtx_code *code1, enum rtx_code *code2)
 {
   switch (code)
@@ -762,7 +897,7 @@ split_comparison (enum rtx_code code, enum machine_mode mode,
       return false;
     case LTGT:
       /* Do not turn a trapping comparison into a non-trapping one.  */
-      if (HONOR_SNANS (mode))
+      if (HONOR_NANS (mode))
        {
           *code1 = LT;
           *code2 = GT;
@@ -779,6 +914,43 @@ split_comparison (enum rtx_code code, enum machine_mode mode,
     }
 }
 
+/* Generate code to evaluate EXP and jump to LABEL if the value is nonzero.
+   PROB is probability of jump to LABEL.  */
+
+void
+jumpif (tree exp, rtx_code_label *label, profile_probability prob)
+{
+  do_jump (exp, NULL, label, prob);
+}
+
+/* Similar to jumpif but dealing with exploded comparisons of the type
+   OP0 CODE OP1 .  LABEL and PROB are like in jumpif.  */
+
+void
+jumpif_1 (enum tree_code code, tree op0, tree op1, rtx_code_label *label,
+         profile_probability prob)
+{
+  do_jump_1 (code, op0, op1, NULL, label, prob);
+}
+
+/* Generate code to evaluate EXP and jump to LABEL if the value is zero.
+   PROB is probability of jump to LABEL.  */
+
+void
+jumpifnot (tree exp, rtx_code_label *label, profile_probability prob)
+{
+  do_jump (exp, label, NULL, prob.invert ());
+}
+
+/* Similar to jumpifnot but dealing with exploded comparisons of the type
+   OP0 CODE OP1 .  LABEL and PROB are like in jumpifnot.  */
+
+void
+jumpifnot_1 (enum tree_code code, tree op0, tree op1, rtx_code_label *label,
+            profile_probability prob)
+{
+  do_jump_1 (code, op0, op1, label, NULL, prob.invert ());
+}
 
 /* Like do_compare_and_jump but expects the values to compare as two rtx's.
    The decision as to signed or unsigned comparison must be made by the caller.
@@ -788,11 +960,13 @@ split_comparison (enum rtx_code code, enum machine_mode mode,
 
 void
 do_compare_rtx_and_jump (rtx op0, rtx op1, enum rtx_code code, int unsignedp,
-                        enum machine_mode mode, rtx size, rtx if_false_label,
-                        rtx if_true_label)
+                        machine_mode mode, rtx size,
+                        rtx_code_label *if_false_label,
+                        rtx_code_label *if_true_label,
+                        profile_probability prob)
 {
   rtx tem;
-  rtx dummy_label = NULL_RTX;
+  rtx_code_label *dummy_label = NULL;
 
   /* Reverse the comparison if that is safe and we want to jump if it is
      false.  Also convert to the reverse comparison if the target can
@@ -814,10 +988,9 @@ do_compare_rtx_and_jump (rtx op0, rtx op1, enum rtx_code code, int unsignedp,
       if (can_compare_p (rcode, mode, ccp_jump)
          || (code == ORDERED && ! can_compare_p (ORDERED, mode, ccp_jump)))
        {
-          tem = if_true_label;
-          if_true_label = if_false_label;
-          if_false_label = tem;
+         std::swap (if_true_label, if_false_label);
          code = rcode;
+         prob = prob.invert ();
        }
     }
 
@@ -826,22 +999,21 @@ do_compare_rtx_and_jump (rtx op0, rtx op1, enum rtx_code code, int unsignedp,
 
   if (swap_commutative_operands_p (op0, op1))
     {
-      tem = op0;
-      op0 = op1;
-      op1 = tem;
+      std::swap (op0, op1);
       code = swap_condition (code);
     }
 
   do_pending_stack_adjust ();
 
   code = unsignedp ? unsigned_condition (code) : code;
-  if (0 != (tem = simplify_relational_operation (code, mode, VOIDmode,
-                                                op0, op1)))
+  if ((tem = simplify_relational_operation (code, mode, VOIDmode,
+                                           op0, op1)) != 0)
     {
       if (CONSTANT_P (tem))
        {
-         rtx label = (tem == const0_rtx || tem == CONST0_RTX (mode))
-                     ? if_false_label : if_true_label;
+         rtx_code_label *label = (tem == const0_rtx
+                                  || tem == CONST0_RTX (mode))
+                                       ? if_false_label : if_true_label;
          if (label)
            emit_jump (label);
          return;
@@ -857,59 +1029,65 @@ do_compare_rtx_and_jump (rtx op0, rtx op1, enum rtx_code code, int unsignedp,
   if (! if_true_label)
     dummy_label = if_true_label = gen_label_rtx ();
 
-  if (GET_MODE_CLASS (mode) == MODE_INT
-      && ! can_compare_p (code, mode, ccp_jump))
+  scalar_int_mode int_mode;
+  if (is_int_mode (mode, &int_mode)
+      && ! can_compare_p (code, int_mode, ccp_jump))
     {
       switch (code)
        {
        case LTU:
-         do_jump_by_parts_greater_rtx (mode, 1, op1, op0,
-                                       if_false_label, if_true_label);
+         do_jump_by_parts_greater_rtx (int_mode, 1, op1, op0,
+                                       if_false_label, if_true_label, prob);
          break;
 
        case LEU:
-         do_jump_by_parts_greater_rtx (mode, 1, op0, op1,
-                                       if_true_label, if_false_label);
+         do_jump_by_parts_greater_rtx (int_mode, 1, op0, op1,
+                                       if_true_label, if_false_label,
+                                       prob.invert ());
          break;
 
        case GTU:
-         do_jump_by_parts_greater_rtx (mode, 1, op0, op1,
-                                       if_false_label, if_true_label);
+         do_jump_by_parts_greater_rtx (int_mode, 1, op0, op1,
+                                       if_false_label, if_true_label, prob);
          break;
 
        case GEU:
-         do_jump_by_parts_greater_rtx (mode, 1, op1, op0,
-                                       if_true_label, if_false_label);
+         do_jump_by_parts_greater_rtx (int_mode, 1, op1, op0,
+                                       if_true_label, if_false_label,
+                                       prob.invert ());
          break;
 
        case LT:
-         do_jump_by_parts_greater_rtx (mode, 0, op1, op0,
-                                       if_false_label, if_true_label);
+         do_jump_by_parts_greater_rtx (int_mode, 0, op1, op0,
+                                       if_false_label, if_true_label, prob);
          break;
 
        case LE:
-         do_jump_by_parts_greater_rtx (mode, 0, op0, op1,
-                                       if_true_label, if_false_label);
+         do_jump_by_parts_greater_rtx (int_mode, 0, op0, op1,
+                                       if_true_label, if_false_label,
+                                       prob.invert ());
          break;
 
        case GT:
-         do_jump_by_parts_greater_rtx (mode, 0, op0, op1,
-                                       if_false_label, if_true_label);
+         do_jump_by_parts_greater_rtx (int_mode, 0, op0, op1,
+                                       if_false_label, if_true_label, prob);
          break;
 
        case GE:
-         do_jump_by_parts_greater_rtx (mode, 0, op1, op0,
-                                       if_true_label, if_false_label);
+         do_jump_by_parts_greater_rtx (int_mode, 0, op1, op0,
+                                       if_true_label, if_false_label,
+                                       prob.invert ());
          break;
 
        case EQ:
-         do_jump_by_parts_equality_rtx (mode, op0, op1, if_false_label,
-                                        if_true_label);
+         do_jump_by_parts_equality_rtx (int_mode, op0, op1, if_false_label,
+                                        if_true_label, prob);
          break;
 
        case NE:
-         do_jump_by_parts_equality_rtx (mode, op0, op1, if_true_label,
-                                        if_false_label);
+         do_jump_by_parts_equality_rtx (int_mode, op0, op1, if_true_label,
+                                        if_false_label,
+                                        prob.invert ());
          break;
 
        default:
@@ -918,29 +1096,23 @@ do_compare_rtx_and_jump (rtx op0, rtx op1, enum rtx_code code, int unsignedp,
     }
   else
     {
-      if (GET_MODE_CLASS (mode) == MODE_FLOAT
+      if (SCALAR_FLOAT_MODE_P (mode)
          && ! can_compare_p (code, mode, ccp_jump)
          && can_compare_p (swap_condition (code), mode, ccp_jump))
        {
-         rtx tmp;
          code = swap_condition (code);
-         tmp = op0;
-         op0 = op1;
-         op1 = tmp;
+         std::swap (op0, op1);
        }
-
-      else if (GET_MODE_CLASS (mode) == MODE_FLOAT
+      else if (SCALAR_FLOAT_MODE_P (mode)
               && ! can_compare_p (code, mode, ccp_jump)
-
-              /* Never split ORDERED and UNORDERED.  These must be implemented.  */
+              /* Never split ORDERED and UNORDERED.
+                 These must be implemented.  */
               && (code != ORDERED && code != UNORDERED)
-
-               /* Split a floating-point comparison if we can jump on other
-                 conditions...  */
+               /* Split a floating-point comparison if
+                 we can jump on other conditions...  */
               && (have_insn_for (COMPARE, mode)
-
                   /* ... or if there is no libcall for it.  */
-                  || code_to_optab[code] == NULL))
+                  || code_to_optab (code) == unknown_optab))
         {
          enum rtx_code first_code;
          bool and_them = split_comparison (code, mode, &first_code, &code);
@@ -952,9 +1124,27 @@ do_compare_rtx_and_jump (rtx op0, rtx op1, enum rtx_code code, int unsignedp,
 
          else
            {
+             profile_probability cprob
+               = profile_probability::guessed_always ();
+             if (first_code == UNORDERED)
+               cprob = cprob.apply_scale (1, 100);
+             else if (first_code == ORDERED)
+               cprob = cprob.apply_scale (99, 100);
+             else
+               cprob = profile_probability::even ();
+             /* We want to split:
+                if (x) goto t; // prob;
+                into
+                if (a) goto t; // first_prob;
+                if (b) goto t; // prob;
+                such that the overall probability of jumping to t
+                remains the same and first_prob is prob * cprob.  */
              if (and_them)
                {
-                 rtx dest_label;
+                 rtx_code_label *dest_label;
+                 prob = prob.invert ();
+                 profile_probability first_prob = prob.split (cprob).invert ();
+                 prob = prob.invert ();
                  /* If we only jump if true, just bypass the second jump.  */
                  if (! if_false_label)
                    {
@@ -965,16 +1155,19 @@ do_compare_rtx_and_jump (rtx op0, rtx op1, enum rtx_code code, int unsignedp,
                  else
                    dest_label = if_false_label;
                   do_compare_rtx_and_jump (op0, op1, first_code, unsignedp, mode,
-                                          size, dest_label, NULL_RTX);
+                                          size, dest_label, NULL, first_prob);
                }
               else
-                do_compare_rtx_and_jump (op0, op1, first_code, unsignedp, mode,
-                                        size, NULL_RTX, if_true_label);
+               {
+                 profile_probability first_prob = prob.split (cprob);
+                 do_compare_rtx_and_jump (op0, op1, first_code, unsignedp, mode,
+                                          size, NULL, if_true_label, first_prob);
+               }
            }
        }
 
       emit_cmp_and_jump_insns (op0, op1, code, size, mode, unsignedp,
-                              if_true_label);
+                              if_true_label, prob);
     }
 
   if (if_false_label)
@@ -994,70 +1187,63 @@ do_compare_rtx_and_jump (rtx op0, rtx op1, enum rtx_code code, int unsignedp,
    things pushed on the stack that aren't yet used.  */
 
 static void
-do_compare_and_jump (tree exp, enum rtx_code signed_code,
-                    enum rtx_code unsigned_code, rtx if_false_label,
-                    rtx if_true_label)
+do_compare_and_jump (tree treeop0, tree treeop1, enum rtx_code signed_code,
+                    enum rtx_code unsigned_code,
+                    rtx_code_label *if_false_label,
+                    rtx_code_label *if_true_label, profile_probability prob)
 {
   rtx op0, op1;
   tree type;
-  enum machine_mode mode;
+  machine_mode mode;
   int unsignedp;
   enum rtx_code code;
 
   /* Don't crash if the comparison was erroneous.  */
-  op0 = expand_normal (TREE_OPERAND (exp, 0));
-  if (TREE_CODE (TREE_OPERAND (exp, 0)) == ERROR_MARK)
+  op0 = expand_normal (treeop0);
+  if (TREE_CODE (treeop0) == ERROR_MARK)
     return;
 
-  op1 = expand_normal (TREE_OPERAND (exp, 1));
-  if (TREE_CODE (TREE_OPERAND (exp, 1)) == ERROR_MARK)
+  op1 = expand_normal (treeop1);
+  if (TREE_CODE (treeop1) == ERROR_MARK)
     return;
 
-  type = TREE_TYPE (TREE_OPERAND (exp, 0));
+  type = TREE_TYPE (treeop0);
+  if (TREE_CODE (treeop0) == INTEGER_CST
+      && (TREE_CODE (treeop1) != INTEGER_CST
+         || (GET_MODE_BITSIZE (SCALAR_INT_TYPE_MODE (type))
+             > GET_MODE_BITSIZE (SCALAR_INT_TYPE_MODE (TREE_TYPE (treeop1))))))
+    /* op0 might have been replaced by promoted constant, in which
+       case the type of second argument should be used.  */
+    type = TREE_TYPE (treeop1);
   mode = TYPE_MODE (type);
-  if (TREE_CODE (TREE_OPERAND (exp, 0)) == INTEGER_CST
-      && (TREE_CODE (TREE_OPERAND (exp, 1)) != INTEGER_CST
-          || (GET_MODE_BITSIZE (mode)
-              > GET_MODE_BITSIZE (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp,
-                                                                      1)))))))
-    {
-      /* op0 might have been replaced by promoted constant, in which
-         case the type of second argument should be used.  */
-      type = TREE_TYPE (TREE_OPERAND (exp, 1));
-      mode = TYPE_MODE (type);
-    }
   unsignedp = TYPE_UNSIGNED (type);
   code = unsignedp ? unsigned_code : signed_code;
 
-#ifdef HAVE_canonicalize_funcptr_for_compare
   /* If function pointers need to be "canonicalized" before they can
-     be reliably compared, then canonicalize them.
-     Only do this if *both* sides of the comparison are function pointers.
-     If one side isn't, we want a noncanonicalized comparison.  See PR
-     middle-end/17564.  */
-  if (HAVE_canonicalize_funcptr_for_compare
-      && TREE_CODE (TREE_TYPE (TREE_OPERAND (exp, 0))) == POINTER_TYPE
-      && TREE_CODE (TREE_TYPE (TREE_TYPE (TREE_OPERAND (exp, 0))))
-          == FUNCTION_TYPE
-      && TREE_CODE (TREE_TYPE (TREE_OPERAND (exp, 1))) == POINTER_TYPE
-      && TREE_CODE (TREE_TYPE (TREE_TYPE (TREE_OPERAND (exp, 1))))
-          == FUNCTION_TYPE)
+     be reliably compared, then canonicalize them.  Canonicalize the
+     expression when one of the operands is a function pointer.  This
+     handles the case where the other operand is a void pointer.  See
+     PR middle-end/17564.  */
+  if (targetm.have_canonicalize_funcptr_for_compare ()
+      && ((POINTER_TYPE_P (TREE_TYPE (treeop0))
+          && FUNC_OR_METHOD_TYPE_P (TREE_TYPE (TREE_TYPE (treeop0))))
+         || (POINTER_TYPE_P (TREE_TYPE (treeop1))
+             && FUNC_OR_METHOD_TYPE_P (TREE_TYPE (TREE_TYPE (treeop1))))))
     {
       rtx new_op0 = gen_reg_rtx (mode);
       rtx new_op1 = gen_reg_rtx (mode);
 
-      emit_insn (gen_canonicalize_funcptr_for_compare (new_op0, op0));
+      emit_insn (targetm.gen_canonicalize_funcptr_for_compare (new_op0, op0));
       op0 = new_op0;
 
-      emit_insn (gen_canonicalize_funcptr_for_compare (new_op1, op1));
+      emit_insn (targetm.gen_canonicalize_funcptr_for_compare (new_op1, op1));
       op1 = new_op1;
     }
-#endif
 
   do_compare_rtx_and_jump (op0, op1, code, unsignedp, mode,
                            ((mode == BLKmode)
-                            ? expr_size (TREE_OPERAND (exp, 0)) : NULL_RTX),
-                           if_false_label, if_true_label);
+                            ? expr_size (treeop0) : NULL_RTX),
+                          if_false_label, if_true_label, prob);
 }
 
 #include "gt-dojump.h"