re PR debug/66691 (ICE on valid code at -O3 with -g enabled in simplify_subreg, at...
[gcc.git] / gcc / value-prof.c
index ffdee650f7eb398968c6d0639ee6fe6ab694da94..0424149471bca8956bc3e282a9dac9a8f4c1b6fd 100644 (file)
@@ -1,5 +1,5 @@
 /* Transformations based on profile information for values.
-   Copyright (C) 2003-2014 Free Software Foundation, Inc.
+   Copyright (C) 2003-2015 Free Software Foundation, Inc.
 
 This file is part of GCC.
 
@@ -21,24 +21,37 @@ along with GCC; see the file COPYING3.  If not see
 #include "system.h"
 #include "coretypes.h"
 #include "tm.h"
+#include "alias.h"
+#include "symtab.h"
 #include "tree.h"
+#include "fold-const.h"
 #include "tree-nested.h"
 #include "calls.h"
 #include "rtl.h"
-#include "expr.h"
 #include "hard-reg-set.h"
-#include "basic-block.h"
-#include "value-prof.h"
+#include "function.h"
 #include "flags.h"
 #include "insn-config.h"
+#include "expmed.h"
+#include "dojump.h"
+#include "explow.h"
+#include "emit-rtl.h"
+#include "varasm.h"
+#include "stmt.h"
+#include "expr.h"
+#include "predict.h"
+#include "dominance.h"
+#include "cfg.h"
+#include "basic-block.h"
+#include "value-prof.h"
 #include "recog.h"
+#include "insn-codes.h"
 #include "optabs.h"
 #include "regs.h"
 #include "tree-ssa-alias.h"
 #include "internal-fn.h"
 #include "tree-eh.h"
 #include "gimple-expr.h"
-#include "is-a.h"
 #include "gimple.h"
 #include "gimplify.h"
 #include "gimple-iterator.h"
@@ -51,15 +64,15 @@ along with GCC; see the file COPYING3.  If not see
 #include "diagnostic.h"
 #include "gimple-pretty-print.h"
 #include "coverage.h"
-#include "tree.h"
 #include "gcov-io.h"
 #include "timevar.h"
 #include "dumpfile.h"
 #include "profile.h"
+#include "cgraph.h"
 #include "data-streamer.h"
 #include "builtins.h"
-#include "tree-nested.h"
-#include "hash-set.h"
+#include "params.h"
+#include "tree-chkp.h"
 
 /* In this file value profile based optimizations are placed.  Currently the
    following optimizations are implemented (for more detailed descriptions
@@ -126,10 +139,11 @@ along with GCC; see the file COPYING3.  If not see
      and gimple_value_profile_transformations table-driven, perhaps...
 */
 
-static tree gimple_divmod_fixed_value (gimple, tree, int, gcov_type, gcov_type);
-static tree gimple_mod_pow2 (gimple, int, gcov_type, gcov_type);
-static tree gimple_mod_subtract (gimple, int, int, int, gcov_type, gcov_type,
-                                gcov_type);
+static tree gimple_divmod_fixed_value (gassign *, tree, int, gcov_type,
+                                      gcov_type);
+static tree gimple_mod_pow2 (gassign *, int, gcov_type, gcov_type);
+static tree gimple_mod_subtract (gassign *, int, int, int, gcov_type,
+                                gcov_type, gcov_type);
 static bool gimple_divmod_fixed_value_transform (gimple_stmt_iterator *);
 static bool gimple_mod_pow2_value_transform (gimple_stmt_iterator *);
 static bool gimple_mod_subtract_transform (gimple_stmt_iterator *);
@@ -138,7 +152,7 @@ static bool gimple_ic_transform (gimple_stmt_iterator *);
 
 /* Allocate histogram value.  */
 
-static histogram_value
+histogram_value
 gimple_alloc_histogram_value (struct function *fun ATTRIBUTE_UNUSED,
                              enum hist_type type, gimple stmt, tree value)
 {
@@ -267,10 +281,10 @@ dump_histogram_value (FILE *dump_file, histogram_value hist)
           unsigned int i;
           fprintf (dump_file, " [");
            for (i = 0; i < hist->hdata.intvl.steps; i++)
-            fprintf (dump_file, " %d:%"PRId64,
+            fprintf (dump_file, " %d:%" PRId64,
                      hist->hdata.intvl.int_start + i,
                      (int64_t) hist->hvalue.counters[i]);
-          fprintf (dump_file, " ] outside range:%"PRId64,
+          fprintf (dump_file, " ] outside range:%" PRId64,
                    (int64_t) hist->hvalue.counters[i]);
        }
       fprintf (dump_file, ".\n");
@@ -280,8 +294,8 @@ dump_histogram_value (FILE *dump_file, histogram_value hist)
       fprintf (dump_file, "Pow2 counter ");
       if (hist->hvalue.counters)
        {
-          fprintf (dump_file, "pow2:%"PRId64
-                   " nonpow2:%"PRId64,
+          fprintf (dump_file, "pow2:%" PRId64
+                   " nonpow2:%" PRId64,
                    (int64_t) hist->hvalue.counters[0],
                    (int64_t) hist->hvalue.counters[1]);
        }
@@ -292,9 +306,9 @@ dump_histogram_value (FILE *dump_file, histogram_value hist)
       fprintf (dump_file, "Single value ");
       if (hist->hvalue.counters)
        {
-          fprintf (dump_file, "value:%"PRId64
-                   " match:%"PRId64
-                   " wrong:%"PRId64,
+          fprintf (dump_file, "value:%" PRId64
+                   " match:%" PRId64
+                   " wrong:%" PRId64,
                    (int64_t) hist->hvalue.counters[0],
                    (int64_t) hist->hvalue.counters[1],
                    (int64_t) hist->hvalue.counters[2]);
@@ -306,8 +320,8 @@ dump_histogram_value (FILE *dump_file, histogram_value hist)
       fprintf (dump_file, "Average value ");
       if (hist->hvalue.counters)
        {
-          fprintf (dump_file, "sum:%"PRId64
-                   " times:%"PRId64,
+          fprintf (dump_file, "sum:%" PRId64
+                   " times:%" PRId64,
                    (int64_t) hist->hvalue.counters[0],
                    (int64_t) hist->hvalue.counters[1]);
        }
@@ -318,7 +332,7 @@ dump_histogram_value (FILE *dump_file, histogram_value hist)
       fprintf (dump_file, "IOR value ");
       if (hist->hvalue.counters)
        {
-          fprintf (dump_file, "ior:%"PRId64,
+          fprintf (dump_file, "ior:%" PRId64,
                    (int64_t) hist->hvalue.counters[0]);
        }
       fprintf (dump_file, ".\n");
@@ -328,9 +342,9 @@ dump_histogram_value (FILE *dump_file, histogram_value hist)
       fprintf (dump_file, "Constant delta ");
       if (hist->hvalue.counters)
        {
-          fprintf (dump_file, "value:%"PRId64
-                   " match:%"PRId64
-                   " wrong:%"PRId64,
+          fprintf (dump_file, "value:%" PRId64
+                   " match:%" PRId64
+                   " wrong:%" PRId64,
                    (int64_t) hist->hvalue.counters[0],
                    (int64_t) hist->hvalue.counters[1],
                    (int64_t) hist->hvalue.counters[2]);
@@ -341,9 +355,9 @@ dump_histogram_value (FILE *dump_file, histogram_value hist)
       fprintf (dump_file, "Indirect call ");
       if (hist->hvalue.counters)
        {
-          fprintf (dump_file, "value:%"PRId64
-                   " match:%"PRId64
-                   " all:%"PRId64,
+          fprintf (dump_file, "value:%" PRId64
+                   " match:%" PRId64
+                   " all:%" PRId64,
                    (int64_t) hist->hvalue.counters[0],
                    (int64_t) hist->hvalue.counters[1],
                    (int64_t) hist->hvalue.counters[2]);
@@ -354,11 +368,27 @@ dump_histogram_value (FILE *dump_file, histogram_value hist)
       fprintf (dump_file, "Time profile ");
       if (hist->hvalue.counters)
       {
-        fprintf (dump_file, "time:%"PRId64,
+        fprintf (dump_file, "time:%" PRId64,
                  (int64_t) hist->hvalue.counters[0]);
       }
       fprintf (dump_file, ".\n");
       break;
+    case HIST_TYPE_INDIR_CALL_TOPN:
+      fprintf (dump_file, "Indirect call topn ");
+      if (hist->hvalue.counters)
+       {
+           int i;
+
+           fprintf (dump_file, "accu:%" PRId64, hist->hvalue.counters[0]);
+           for (i = 1; i < (GCOV_ICALL_TOPN_VAL << 2); i += 2)
+             {
+               fprintf (dump_file, " target:%" PRId64 " value:%" PRId64,
+                       (int64_t) hist->hvalue.counters[i],
+                       (int64_t) hist->hvalue.counters[i+1]);
+             }
+        }
+      fprintf (dump_file, ".\n");
+      break;
     case HIST_TYPE_MAX:
       gcc_unreachable ();
    }
@@ -432,9 +462,14 @@ stream_in_histogram_value (struct lto_input_block *ib, gimple stmt)
          break;
 
        case HIST_TYPE_IOR:
-  case HIST_TYPE_TIME_PROFILE:
+        case HIST_TYPE_TIME_PROFILE:
          ncounters = 1;
          break;
+
+        case HIST_TYPE_INDIR_CALL_TOPN:
+          ncounters = (GCOV_ICALL_TOPN_VAL << 2) + 1;
+          break;
+
        case HIST_TYPE_MAX:
          gcc_unreachable ();
        }
@@ -704,10 +739,11 @@ gimple_value_profile_transformations (void)
    alter the original STMT.  */
 
 static tree
-gimple_divmod_fixed_value (gimple stmt, tree value, int prob, gcov_type count,
-                          gcov_type all)
+gimple_divmod_fixed_value (gassign *stmt, tree value, int prob,
+                          gcov_type count, gcov_type all)
 {
-  gimple stmt1, stmt2, stmt3;
+  gassign *stmt1, *stmt2;
+  gcond *stmt3;
   tree tmp0, tmp1, tmp2;
   gimple bb1end, bb2end, bb3end;
   basic_block bb, bb2, bb3, bb4;
@@ -737,13 +773,11 @@ gimple_divmod_fixed_value (gimple stmt, tree value, int prob, gcov_type count,
   bb1end = stmt3;
 
   tmp2 = create_tmp_reg (optype, "PROF");
-  stmt1 = gimple_build_assign_with_ops (gimple_assign_rhs_code (stmt), tmp2,
-                                       op1, tmp0);
+  stmt1 = gimple_build_assign (tmp2, gimple_assign_rhs_code (stmt), op1, tmp0);
   gsi_insert_before (&gsi, stmt1, GSI_SAME_STMT);
   bb2end = stmt1;
 
-  stmt1 = gimple_build_assign_with_ops (gimple_assign_rhs_code (stmt), tmp2,
-                                       op1, op2);
+  stmt1 = gimple_build_assign (tmp2, gimple_assign_rhs_code (stmt), op1, op2);
   gsi_insert_before (&gsi, stmt1, GSI_SAME_STMT);
   bb3end = stmt1;
 
@@ -791,10 +825,10 @@ gimple_divmod_fixed_value_transform (gimple_stmt_iterator *si)
   gcov_type val, count, all;
   tree result, value, tree_val;
   gcov_type prob;
-  gimple stmt;
+  gassign *stmt;
 
-  stmt = gsi_stmt (*si);
-  if (gimple_code (stmt) != GIMPLE_ASSIGN)
+  stmt = dyn_cast <gassign *> (gsi_stmt (*si));
+  if (!stmt)
     return false;
 
   if (!INTEGRAL_TYPE_P (TREE_TYPE (gimple_assign_lhs (stmt))))
@@ -867,9 +901,10 @@ gimple_divmod_fixed_value_transform (gimple_stmt_iterator *si)
    within roundoff error).  This generates the result into a temp and returns
    the temp; it does not replace or alter the original STMT.  */
 static tree
-gimple_mod_pow2 (gimple stmt, int prob, gcov_type count, gcov_type all)
+gimple_mod_pow2 (gassign *stmt, int prob, gcov_type count, gcov_type all)
 {
-  gimple stmt1, stmt2, stmt3, stmt4;
+  gassign *stmt1, *stmt2, *stmt3;
+  gcond *stmt4;
   tree tmp2, tmp3;
   gimple bb1end, bb2end, bb3end;
   basic_block bb, bb2, bb3, bb4;
@@ -891,9 +926,9 @@ gimple_mod_pow2 (gimple stmt, int prob, gcov_type count, gcov_type all)
   result = create_tmp_reg (optype, "PROF");
   tmp2 = make_temp_ssa_name (optype, NULL, "PROF");
   tmp3 = make_temp_ssa_name (optype, NULL, "PROF");
-  stmt2 = gimple_build_assign_with_ops (PLUS_EXPR, tmp2, op2,
-                                       build_int_cst (optype, -1));
-  stmt3 = gimple_build_assign_with_ops (BIT_AND_EXPR, tmp3, tmp2, op2);
+  stmt2 = gimple_build_assign (tmp2, PLUS_EXPR, op2,
+                              build_int_cst (optype, -1));
+  stmt3 = gimple_build_assign (tmp3, BIT_AND_EXPR, tmp2, op2);
   stmt4 = gimple_build_cond (NE_EXPR, tmp3, build_int_cst (optype, 0),
                             NULL_TREE, NULL_TREE);
   gsi_insert_before (&gsi, stmt2, GSI_SAME_STMT);
@@ -902,12 +937,12 @@ gimple_mod_pow2 (gimple stmt, int prob, gcov_type count, gcov_type all)
   bb1end = stmt4;
 
   /* tmp2 == op2-1 inherited from previous block.  */
-  stmt1 = gimple_build_assign_with_ops (BIT_AND_EXPR, result, op1, tmp2);
+  stmt1 = gimple_build_assign (result, BIT_AND_EXPR, op1, tmp2);
   gsi_insert_before (&gsi, stmt1, GSI_SAME_STMT);
   bb2end = stmt1;
 
-  stmt1 = gimple_build_assign_with_ops (gimple_assign_rhs_code (stmt), result,
-                                       op1, op2);
+  stmt1 = gimple_build_assign (result, gimple_assign_rhs_code (stmt),
+                              op1, op2);
   gsi_insert_before (&gsi, stmt1, GSI_SAME_STMT);
   bb3end = stmt1;
 
@@ -953,10 +988,10 @@ gimple_mod_pow2_value_transform (gimple_stmt_iterator *si)
   gcov_type count, wrong_values, all;
   tree lhs_type, result, value;
   gcov_type prob;
-  gimple stmt;
+  gassign *stmt;
 
-  stmt = gsi_stmt (*si);
-  if (gimple_code (stmt) != GIMPLE_ASSIGN)
+  stmt = dyn_cast <gassign *> (gsi_stmt (*si));
+  if (!stmt)
     return false;
 
   lhs_type = TREE_TYPE (gimple_assign_lhs (stmt));
@@ -1019,10 +1054,12 @@ gimple_mod_pow2_value_transform (gimple_stmt_iterator *si)
 /* FIXME: Generalize the interface to handle NCOUNTS > 1.  */
 
 static tree
-gimple_mod_subtract (gimple stmt, int prob1, int prob2, int ncounts,
+gimple_mod_subtract (gassign *stmt, int prob1, int prob2, int ncounts,
                     gcov_type count1, gcov_type count2, gcov_type all)
 {
-  gimple stmt1, stmt2, stmt3;
+  gassign *stmt1;
+  gimple stmt2;
+  gcond *stmt3;
   tree tmp1;
   gimple bb1end, bb2end = NULL, bb3end;
   basic_block bb, bb2, bb3, bb4;
@@ -1053,7 +1090,7 @@ gimple_mod_subtract (gimple stmt, int prob1, int prob2, int ncounts,
 
   if (ncounts) /* Assumed to be 0 or 1 */
     {
-      stmt1 = gimple_build_assign_with_ops (MINUS_EXPR, result, result, tmp1);
+      stmt1 = gimple_build_assign (result, MINUS_EXPR, result, tmp1);
       stmt2 = gimple_build_cond (LT_EXPR, result, tmp1, NULL_TREE, NULL_TREE);
       gsi_insert_before (&gsi, stmt1, GSI_SAME_STMT);
       gsi_insert_before (&gsi, stmt2, GSI_SAME_STMT);
@@ -1061,8 +1098,8 @@ gimple_mod_subtract (gimple stmt, int prob1, int prob2, int ncounts,
     }
 
   /* Fallback case. */
-  stmt1 = gimple_build_assign_with_ops (gimple_assign_rhs_code (stmt), result,
-                                       result, tmp1);
+  stmt1 = gimple_build_assign (result, gimple_assign_rhs_code (stmt),
+                              result, tmp1);
   gsi_insert_before (&gsi, stmt1, GSI_SAME_STMT);
   bb3end = stmt1;
 
@@ -1125,10 +1162,10 @@ gimple_mod_subtract_transform (gimple_stmt_iterator *si)
   gcov_type prob1, prob2;
   unsigned int i, steps;
   gcov_type count1, count2;
-  gimple stmt;
+  gassign *stmt;
 
-  stmt = gsi_stmt (*si);
-  if (gimple_code (stmt) != GIMPLE_ASSIGN)
+  stmt = dyn_cast <gassign *> (gsi_stmt (*si));
+  if (!stmt)
     return false;
 
   lhs_type = TREE_TYPE (gimple_assign_lhs (stmt));
@@ -1209,7 +1246,9 @@ gimple_mod_subtract_transform (gimple_stmt_iterator *si)
   return true;
 }
 
-static pointer_map_t *cgraph_node_map = 0;
+typedef int_hash <unsigned int, 0, UINT_MAX> profile_id_hash;
+
+static hash_map<profile_id_hash, cgraph_node *> *cgraph_node_map = 0;
 
 /* Returns true if node graph is initialized. This
    is used to test if profile_id has been created
@@ -1229,17 +1268,16 @@ void
 init_node_map (bool local)
 {
   struct cgraph_node *n;
-  cgraph_node_map = pointer_map_create ();
+  cgraph_node_map = new hash_map<profile_id_hash, cgraph_node *>;
 
   FOR_EACH_DEFINED_FUNCTION (n)
     if (n->has_gimple_body_p ())
       {
-       void **val;
+       cgraph_node **val;
        if (local)
          {
            n->profile_id = coverage_compute_profile_id (n);
-           while ((val = pointer_map_contains (cgraph_node_map,
-                                               (void *)(size_t)n->profile_id))
+           while ((val = cgraph_node_map->get (n->profile_id))
                   || !n->profile_id)
              {
                if (dump_file)
@@ -1248,8 +1286,8 @@ init_node_map (bool local)
                           n->profile_id,
                           n->name (),
                           n->order,
-                          (*(symtab_node **)val)->name (),
-                          (*(symtab_node **)val)->order);
+                          (*val)->name (),
+                          (*val)->order);
                n->profile_id = (n->profile_id + 1) & 0x7fffffff;
              }
          }
@@ -1263,8 +1301,7 @@ init_node_map (bool local)
                       n->order);
            continue;
          }
-       else if ((val = pointer_map_contains (cgraph_node_map,
-                                             (void *)(size_t)n->profile_id)))
+       else if ((val = cgraph_node_map->get (n->profile_id)))
          {
            if (dump_file)
              fprintf (dump_file,
@@ -1276,8 +1313,7 @@ init_node_map (bool local)
            *val = NULL;
            continue;
          }
-       *pointer_map_insert (cgraph_node_map,
-                            (void *)(size_t)n->profile_id) = (void *)n;
+       cgraph_node_map->put (n->profile_id, n);
       }
 }
 
@@ -1286,7 +1322,7 @@ init_node_map (bool local)
 void
 del_node_map (void)
 {
-  pointer_map_destroy (cgraph_node_map);
+  delete cgraph_node_map;
 }
 
 /* Return cgraph node for function with pid */
@@ -1294,10 +1330,9 @@ del_node_map (void)
 struct cgraph_node*
 find_func_by_profile_id (int profile_id)
 {
-  void **val = pointer_map_contains (cgraph_node_map,
-                                    (void *)(size_t)profile_id);
+  cgraph_node **val = cgraph_node_map->get (profile_id);
   if (val)
-    return (struct cgraph_node *)*val;
+    return *val;
   else
     return NULL;
 }
@@ -1308,8 +1343,8 @@ find_func_by_profile_id (int profile_id)
    may ICE. Here we only do very minimal sanity check just to make compiler happy.
    Returns true if TARGET is considered ok for call CALL_STMT.  */
 
-static bool
-check_ic_target (gimple call_stmt, struct cgraph_node *target)
+bool
+check_ic_target (gcall *call_stmt, struct cgraph_node *target)
 {
    location_t locus;
    if (gimple_check_call_matching_types (call_stmt, target->decl, true))
@@ -1331,11 +1366,14 @@ check_ic_target (gimple call_stmt, struct cgraph_node *target)
     old call
  */
 
-gimple
-gimple_ic (gimple icall_stmt, struct cgraph_node *direct_call,
+gcall *
+gimple_ic (gcall *icall_stmt, struct cgraph_node *direct_call,
           int prob, gcov_type count, gcov_type all)
 {
-  gimple dcall_stmt, load_stmt, cond_stmt;
+  gcall *dcall_stmt;
+  gassign *load_stmt;
+  gcond *cond_stmt;
+  gcall *iretbnd_stmt = NULL;
   tree tmp0, tmp1, tmp;
   basic_block cond_bb, dcall_bb, icall_bb, join_bb = NULL;
   tree optype = build_pointer_type (void_type_node);
@@ -1349,6 +1387,9 @@ gimple_ic (gimple icall_stmt, struct cgraph_node *direct_call,
   cond_bb = gimple_bb (icall_stmt);
   gsi = gsi_for_stmt (icall_stmt);
 
+  if (gimple_call_with_bounds_p (icall_stmt) && gimple_call_lhs (icall_stmt))
+    iretbnd_stmt = chkp_retbnd_call_by_val (gimple_call_lhs (icall_stmt));
+
   tmp0 = make_temp_ssa_name (optype, NULL, "PROF");
   tmp1 = make_temp_ssa_name (optype, NULL, "PROF");
   tmp = unshare_expr (gimple_call_fn (icall_stmt));
@@ -1366,7 +1407,7 @@ gimple_ic (gimple icall_stmt, struct cgraph_node *direct_call,
   gimple_set_vdef (icall_stmt, NULL_TREE);
   gimple_set_vuse (icall_stmt, NULL_TREE);
   update_stmt (icall_stmt);
-  dcall_stmt = gimple_copy (icall_stmt);
+  dcall_stmt = as_a <gcall *> (gimple_copy (icall_stmt));
   gimple_call_set_fndecl (dcall_stmt, direct_call->decl);
   dflags = flags_from_decl_or_type (direct_call->decl);
   if ((dflags & ECF_NORETURN) != 0)
@@ -1434,13 +1475,57 @@ gimple_ic (gimple icall_stmt, struct cgraph_node *direct_call,
       && (dflags & ECF_NORETURN) == 0)
     {
       tree result = gimple_call_lhs (icall_stmt);
-      gimple phi = create_phi_node (result, join_bb);
+      gphi *phi = create_phi_node (result, join_bb);
       gimple_call_set_lhs (icall_stmt,
                           duplicate_ssa_name (result, icall_stmt));
       add_phi_arg (phi, gimple_call_lhs (icall_stmt), e_ij, UNKNOWN_LOCATION);
       gimple_call_set_lhs (dcall_stmt,
                           duplicate_ssa_name (result, dcall_stmt));
       add_phi_arg (phi, gimple_call_lhs (dcall_stmt), e_dj, UNKNOWN_LOCATION);
+
+      /* If indirect call has following BUILT_IN_CHKP_BNDRET
+        call then we need to make it's copy for the direct
+        call.  */
+      if (iretbnd_stmt)
+       {
+         if (gimple_call_lhs (iretbnd_stmt))
+           {
+             gimple copy;
+
+             gimple_set_vdef (iretbnd_stmt, NULL_TREE);
+             gimple_set_vuse (iretbnd_stmt, NULL_TREE);
+             update_stmt (iretbnd_stmt);
+
+             result = gimple_call_lhs (iretbnd_stmt);
+             phi = create_phi_node (result, join_bb);
+
+             copy = gimple_copy (iretbnd_stmt);
+             gimple_call_set_arg (copy, 0,
+                                  gimple_call_lhs (dcall_stmt));
+             gimple_call_set_lhs (copy, duplicate_ssa_name (result, copy));
+             gsi_insert_on_edge (e_dj, copy);
+             add_phi_arg (phi, gimple_call_lhs (copy),
+                          e_dj, UNKNOWN_LOCATION);
+
+             gimple_call_set_arg (iretbnd_stmt, 0,
+                                  gimple_call_lhs (icall_stmt));
+             gimple_call_set_lhs (iretbnd_stmt,
+                                  duplicate_ssa_name (result, iretbnd_stmt));
+             psi = gsi_for_stmt (iretbnd_stmt);
+             gsi_remove (&psi, false);
+             gsi_insert_on_edge (e_ij, iretbnd_stmt);
+             add_phi_arg (phi, gimple_call_lhs (iretbnd_stmt),
+                          e_ij, UNKNOWN_LOCATION);
+
+             gsi_commit_one_edge_insert (e_dj, NULL);
+             gsi_commit_one_edge_insert (e_ij, NULL);
+           }
+         else
+           {
+             psi = gsi_for_stmt (iretbnd_stmt);
+             gsi_remove (&psi, true);
+           }
+       }
     }
 
   /* Build an EH edge for the direct call if necessary.  */
@@ -1454,14 +1539,16 @@ gimple_ic (gimple icall_stmt, struct cgraph_node *direct_call,
     if (e_eh->flags & (EDGE_EH | EDGE_ABNORMAL))
       {
        e = make_edge (dcall_bb, e_eh->dest, e_eh->flags);
-       for (psi = gsi_start_phis (e_eh->dest);
+       for (gphi_iterator psi = gsi_start_phis (e_eh->dest);
             !gsi_end_p (psi); gsi_next (&psi))
          {
-           gimple phi = gsi_stmt (psi);
+           gphi *phi = psi.phi ();
            SET_USE (PHI_ARG_DEF_PTR_FROM_EDGE (phi, e),
                     PHI_ARG_DEF_FROM_EDGE (phi, e_eh));
          }
        }
+  if (!stmt_could_throw_p (dcall_stmt))
+    gimple_purge_dead_eh_edges (dcall_bb);
   return dcall_stmt;
 }
 
@@ -1474,12 +1561,13 @@ gimple_ic (gimple icall_stmt, struct cgraph_node *direct_call,
 static bool
 gimple_ic_transform (gimple_stmt_iterator *gsi)
 {
-  gimple stmt = gsi_stmt (*gsi);
+  gcall *stmt;
   histogram_value histogram;
   gcov_type val, count, all, bb_all;
   struct cgraph_node *direct_call;
 
-  if (gimple_code (stmt) != GIMPLE_CALL)
+  stmt = dyn_cast <gcall *> (gsi_stmt (*gsi));
+  if (!stmt)
     return false;
 
   if (gimple_call_fndecl (stmt) != NULL_TREE)
@@ -1549,8 +1637,8 @@ gimple_ic_transform (gimple_stmt_iterator *gsi)
       print_generic_expr (dump_file, direct_call->decl, TDF_SLIM);
       fprintf (dump_file, " transformation on insn postponned to ipa-profile");
       print_gimple_stmt (dump_file, stmt, 0, TDF_SLIM);
-      fprintf (dump_file, "hist->count %"PRId64
-              " hist->all %"PRId64"\n", count, all);
+      fprintf (dump_file, "hist->count %" PRId64
+              " hist->all %" PRId64"\n", count, all);
     }
 
   return true;
@@ -1561,7 +1649,7 @@ gimple_ic_transform (gimple_stmt_iterator *gsi)
    operation.
 */
 static bool
-interesting_stringop_to_profile_p (tree fndecl, gimple call, int *size_arg)
+interesting_stringop_to_profile_p (tree fndecl, gcall *call, int *size_arg)
 {
   enum built_in_function fcode = DECL_FUNCTION_CODE (fndecl);
 
@@ -1598,10 +1686,12 @@ interesting_stringop_to_profile_p (tree fndecl, gimple call, int *size_arg)
    assuming we'll propagate a true constant into ICALL_SIZE later.  */
 
 static void
-gimple_stringop_fixed_value (gimple vcall_stmt, tree icall_size, int prob,
+gimple_stringop_fixed_value (gcall *vcall_stmt, tree icall_size, int prob,
                             gcov_type count, gcov_type all)
 {
-  gimple tmp_stmt, cond_stmt, icall_stmt;
+  gassign *tmp_stmt;
+  gcond *cond_stmt;
+  gcall *icall_stmt;
   tree tmp0, tmp1, vcall_size, optype;
   basic_block cond_bb, icall_bb, vcall_bb, join_bb;
   edge e_ci, e_cv, e_iv, e_ij, e_vj;
@@ -1633,7 +1723,7 @@ gimple_stringop_fixed_value (gimple vcall_stmt, tree icall_size, int prob,
   gimple_set_vdef (vcall_stmt, NULL);
   gimple_set_vuse (vcall_stmt, NULL);
   update_stmt (vcall_stmt);
-  icall_stmt = gimple_copy (vcall_stmt);
+  icall_stmt = as_a <gcall *> (gimple_copy (vcall_stmt));
   gimple_call_set_arg (icall_stmt, size_arg, icall_size);
   gsi_insert_before (&gsi, icall_stmt, GSI_SAME_STMT);
 
@@ -1673,7 +1763,7 @@ gimple_stringop_fixed_value (gimple vcall_stmt, tree icall_size, int prob,
       && TREE_CODE (gimple_call_lhs (vcall_stmt)) == SSA_NAME)
     {
       tree result = gimple_call_lhs (vcall_stmt);
-      gimple phi = create_phi_node (result, join_bb);
+      gphi *phi = create_phi_node (result, join_bb);
       gimple_call_set_lhs (vcall_stmt,
                           duplicate_ssa_name (result, vcall_stmt));
       add_phi_arg (phi, gimple_call_lhs (vcall_stmt), e_vj, UNKNOWN_LOCATION);
@@ -1692,7 +1782,7 @@ gimple_stringop_fixed_value (gimple vcall_stmt, tree icall_size, int prob,
 static bool
 gimple_stringops_transform (gimple_stmt_iterator *gsi)
 {
-  gimple stmt = gsi_stmt (*gsi);
+  gcall *stmt;
   tree fndecl;
   tree blck_size;
   enum built_in_function fcode;
@@ -1704,7 +1794,8 @@ gimple_stringops_transform (gimple_stmt_iterator *gsi)
   tree tree_val;
   int size_arg;
 
-  if (gimple_code (stmt) != GIMPLE_CALL)
+  stmt = dyn_cast <gcall *> (gsi_stmt (*gsi));
+  if (!stmt)
     return false;
   fndecl = gimple_call_fndecl (stmt);
   if (!fndecl)
@@ -1908,8 +1999,12 @@ gimple_indirect_call_to_profile (gimple stmt, histogram_values *values)
 
   values->reserve (3);
 
-  values->quick_push (gimple_alloc_histogram_value (cfun, HIST_TYPE_INDIR_CALL,
-                                                   stmt, callee));
+  values->quick_push (gimple_alloc_histogram_value (
+                        cfun,
+                        PARAM_VALUE (PARAM_INDIR_CALL_TOPN_PROFILE) ?
+                          HIST_TYPE_INDIR_CALL_TOPN :
+                          HIST_TYPE_INDIR_CALL,
+                       stmt, callee));
 
   return;
 }
@@ -1917,14 +2012,16 @@ gimple_indirect_call_to_profile (gimple stmt, histogram_values *values)
 /* Find values inside STMT for that we want to measure histograms for
    string operations.  */
 static void
-gimple_stringops_values_to_profile (gimple stmt, histogram_values *values)
+gimple_stringops_values_to_profile (gimple gs, histogram_values *values)
 {
+  gcall *stmt;
   tree fndecl;
   tree blck_size;
   tree dest;
   int size_arg;
 
-  if (gimple_code (stmt) != GIMPLE_CALL)
+  stmt = dyn_cast <gcall *> (gs);
+  if (!stmt)
     return;
   fndecl = gimple_call_fndecl (stmt);
   if (!fndecl)
@@ -1999,9 +2096,9 @@ gimple_find_values_to_profile (histogram_values *values)
          hist->n_counters = 3;
          break;
 
-  case HIST_TYPE_TIME_PROFILE:
-    hist->n_counters = 1;
-    break;
+        case HIST_TYPE_TIME_PROFILE:
+          hist->n_counters = 1;
+          break;
 
        case HIST_TYPE_AVERAGE:
          hist->n_counters = 2;
@@ -2011,6 +2108,10 @@ gimple_find_values_to_profile (histogram_values *values)
          hist->n_counters = 1;
          break;
 
+        case HIST_TYPE_INDIR_CALL_TOPN:
+          hist->n_counters = GCOV_ICALL_TOPN_NCOUNTS;
+          break;
+
        default:
          gcc_unreachable ();
        }