amdfam10
[gcc.git] / gcc / config / i386 / i386.md
index 4caeda664d6d9289e2fefdc0e53ad19698ad180d..92fcde91025b17489d611f95bac0bee5d222b5b6 100644 (file)
@@ -1,6 +1,6 @@
 ;; GCC machine description for IA-32 and x86-64.
 ;; Copyright (C) 1988, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
-;; 2001, 2002, 2003, 2004, 2005, 2006
+;; 2001, 2002, 2003, 2004, 2005, 2006, 2007
 ;; Free Software Foundation, Inc.
 ;; Mostly by William Schelter.
 ;; x86_64 support added by Jan Hubicka
    (UNSPEC_FRNDINT             65)
    (UNSPEC_FIST                        66)
    (UNSPEC_F2XM1               67)
+   (UNSPEC_TAN                 68)
+   (UNSPEC_FXAM                        69)
 
    ; x87 Rounding
    (UNSPEC_FRNDINT_FLOOR       70)
    ; x87 Double output FP
    (UNSPEC_SINCOS_COS          80)
    (UNSPEC_SINCOS_SIN          81)
-   (UNSPEC_TAN_ONE             82)
-   (UNSPEC_TAN_TAN             83)
    (UNSPEC_XTRACT_FRACT                84)
    (UNSPEC_XTRACT_EXP          85)
    (UNSPEC_FSCALE_FRACT                86)
    (UNSPEC_PSHUFB              120)
    (UNSPEC_PSIGN               121)
    (UNSPEC_PALIGNR             122)
+
+   ; For SSE4A support
+   (UNSPEC_EXTRQI               130)
+   (UNSPEC_EXTRQ                131)   
+   (UNSPEC_INSERTQI             132)
+   (UNSPEC_INSERTQ              133)
   ])
 
 (define_constants
    (FLAGS_REG                  17)
    (FPSR_REG                   18)
    (FPCR_REG                   19)
-   (DIRFLAG_REG                        20)
-   (R11_REG                    41)
+   (R10_REG                    39)
+   (R11_REG                    40)
   ])
 
 ;; Insns whose names begin with "x86_" are emitted by gen_FOO calls
 \f
 ;; Processor type.  This attribute must exactly match the processor_type
 ;; enumeration in i386.h.
-(define_attr "cpu" "i386,i486,pentium,pentiumpro,geode,k6,athlon,pentium4,k8,nocona,core2,generic32,generic64"
+(define_attr "cpu" "i386,i486,pentium,pentiumpro,geode,k6,athlon,pentium4,k8,
+                    nocona,core2,generic32,generic64,amdfam10"
   (const (symbol_ref "ix86_tune")))
 
 ;; A basic instruction type.  Refinements due to arguments to be
    incdec,ishift,ishift1,rotate,rotate1,imul,idiv,
    icmp,test,ibr,setcc,icmov,
    push,pop,call,callv,leave,
-   str,cld,
+   str,bitmanip,
    fmov,fop,fsgn,fmul,fdiv,fpspc,fcmov,fcmp,fxch,fistp,fisttp,frndint,
    sselog,sselog1,sseiadd,sseishft,sseimul,
-   sse,ssemov,sseadd,ssemul,ssecmp,ssecomi,ssecvt,sseicvt,ssediv,
+   sse,ssemov,sseadd,ssemul,ssecmp,ssecomi,ssecvt,sseicvt,ssediv,sseins,
    mmx,mmxmov,mmxadd,mmxmul,mmxcmp,mmxcvt,mmxshft"
   (const_string "other"))
 
   (cond [(eq_attr "type" "fmov,fop,fsgn,fmul,fdiv,fpspc,fcmov,fcmp,fxch,fistp,fisttp,frndint")
           (const_string "i387")
         (eq_attr "type" "sselog,sselog1,sseiadd,sseishft,sseimul,
-                         sse,ssemov,sseadd,ssemul,ssecmp,ssecomi,ssecvt,sseicvt,ssediv")
+                         sse,ssemov,sseadd,ssemul,ssecmp,ssecomi,ssecvt,sseicvt,ssediv,sseins")
           (const_string "sse")
         (eq_attr "type" "mmx,mmxmov,mmxadd,mmxmul,mmxcmp,mmxcvt,mmxshft")
           (const_string "mmx")
 
 ;; The (bounding maximum) length of an instruction immediate.
 (define_attr "length_immediate" ""
-  (cond [(eq_attr "type" "incdec,setcc,icmov,str,cld,lea,other,multi,idiv,leave")
+  (cond [(eq_attr "type" "incdec,setcc,icmov,str,lea,other,multi,idiv,leave,
+                          bitmanip")
           (const_int 0)
         (eq_attr "unit" "i387,sse,mmx")
           (const_int 0)
 
 ;; The (bounding maximum) length of an instruction address.
 (define_attr "length_address" ""
-  (cond [(eq_attr "type" "str,cld,other,multi,fxch")
+  (cond [(eq_attr "type" "str,other,multi,fxch")
           (const_int 0)
         (and (eq_attr "type" "call")
              (match_operand 0 "constant_call_address_operand" ""))
 ;; Set when 0f opcode prefix is used.
 (define_attr "prefix_0f" ""
   (if_then_else
-    (ior (eq_attr "type" "imovx,setcc,icmov")
+    (ior (eq_attr "type" "imovx,setcc,icmov,bitmanip")
         (eq_attr "unit" "sse,mmx"))
     (const_int 1)
     (const_int 0)))
 
 ;; Set when modrm byte is used.
 (define_attr "modrm" ""
-  (cond [(eq_attr "type" "str,cld,leave")
+  (cond [(eq_attr "type" "str,leave")
           (const_int 0)
         (eq_attr "unit" "i387")
           (const_int 0)
 (define_attr "memory" "none,load,store,both,unknown"
   (cond [(eq_attr "type" "other,multi,str")
           (const_string "unknown")
-        (eq_attr "type" "lea,fcmov,fpspc,cld")
+        (eq_attr "type" "lea,fcmov,fpspc")
           (const_string "none")
         (eq_attr "type" "fistp,leave")
           (const_string "both")
           (const_string "load")
         (and (eq_attr "type"
                 "!alu1,negnot,ishift1,
-                  imov,imovx,icmp,test,
+                  imov,imovx,icmp,test,bitmanip,
                   fmov,fcmp,fsgn,
                   sse,ssemov,ssecmp,ssecomi,ssecvt,sseicvt,sselog1,
                   mmx,mmxmov,mmxcmp,mmxcvt")
                    (match_operand:TI 1 "x86_64_general_operand" "")))]
   "TARGET_64BIT"
 {
-  if (GET_CODE (operands[0]) == MEM && GET_CODE (operands[1]) == MEM)
+  if (MEM_P (operands[0]) && MEM_P (operands[1]))
     operands[0] = force_reg (TImode, operands[0]);
   ix86_compare_op0 = operands[0];
   ix86_compare_op1 = operands[1];
                    (match_operand:DI 1 "x86_64_general_operand" "")))]
   ""
 {
-  if (GET_CODE (operands[0]) == MEM && GET_CODE (operands[1]) == MEM)
+  if (MEM_P (operands[0]) && MEM_P (operands[1]))
     operands[0] = force_reg (DImode, operands[0]);
   ix86_compare_op0 = operands[0];
   ix86_compare_op1 = operands[1];
                    (match_operand:SI 1 "general_operand" "")))]
   ""
 {
-  if (GET_CODE (operands[0]) == MEM && GET_CODE (operands[1]) == MEM)
+  if (MEM_P (operands[0]) && MEM_P (operands[1]))
     operands[0] = force_reg (SImode, operands[0]);
   ix86_compare_op0 = operands[0];
   ix86_compare_op1 = operands[1];
                    (match_operand:HI 1 "general_operand" "")))]
   ""
 {
-  if (GET_CODE (operands[0]) == MEM && GET_CODE (operands[1]) == MEM)
+  if (MEM_P (operands[0]) && MEM_P (operands[1]))
     operands[0] = force_reg (HImode, operands[0]);
   ix86_compare_op0 = operands[0];
   ix86_compare_op1 = operands[1];
                    (match_operand:QI 1 "general_operand" "")))]
   "TARGET_QIMODE_MATH"
 {
-  if (GET_CODE (operands[0]) == MEM && GET_CODE (operands[1]) == MEM)
+  if (MEM_P (operands[0]) && MEM_P (operands[1]))
     operands[0] = force_reg (QImode, operands[0]);
   ix86_compare_op0 = operands[0];
   ix86_compare_op1 = operands[1];
   [(set (reg FLAGS_REG)
        (compare (match_operand:SI 0 "nonimmediate_operand" "rm,r")
                 (match_operand:SI 1 "general_operand" "ri,mr")))]
-  "(GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)
+  "!(MEM_P (operands[0]) && MEM_P (operands[1]))
     && ix86_match_ccmode (insn, CCmode)"
   "cmp{l}\t{%1, %0|%0, %1}"
   [(set_attr "type" "icmp")
   [(set (reg FLAGS_REG)
        (compare (match_operand:HI 0 "nonimmediate_operand" "rm,r")
                 (match_operand:HI 1 "general_operand" "ri,mr")))]
-  "(GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)
+  "!(MEM_P (operands[0]) && MEM_P (operands[1]))
    && ix86_match_ccmode (insn, CCmode)"
   "cmp{w}\t{%1, %0|%0, %1}"
   [(set_attr "type" "icmp")
   [(set (reg FLAGS_REG)
        (compare (match_operand:QI 0 "nonimmediate_operand" "qm,q")
                 (match_operand:QI 1 "general_operand" "qi,mq")))]
-  "(GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)
+  "!(MEM_P (operands[0]) && MEM_P (operands[1]))
     && ix86_match_ccmode (insn, CCmode)"
   "cmp{b}\t{%1, %0|%0, %1}"
   [(set_attr "type" "icmp")
   "sahf"
   [(set_attr "length" "1")
    (set_attr "athlon_decode" "vector")
+   (set_attr "amdfam10_decode" "direct")
    (set_attr "mode" "SI")])
 
 ;; Pentium Pro can do steps 1 through 3 in one go.
-
+;; comi*, ucomi*, fcomi*, ficomi*,fucomi* (i387 instructions set condition codes) 
 (define_insn "*cmpfp_i_mixed"
   [(set (reg:CCFP FLAGS_REG)
        (compare:CCFP (match_operand 0 "register_operand" "f,x")
      (if_then_else (match_operand:SF 1 "" "")
         (const_string "SF")
         (const_string "DF")))
-   (set_attr "athlon_decode" "vector")])
+   (set_attr "athlon_decode" "vector")
+   (set_attr "amdfam10_decode" "direct")])
 
 (define_insn "*cmpfp_i_sse"
   [(set (reg:CCFP FLAGS_REG)
      (if_then_else (match_operand:SF 1 "" "")
         (const_string "SF")
         (const_string "DF")))
-   (set_attr "athlon_decode" "vector")])
+   (set_attr "athlon_decode" "vector")
+   (set_attr "amdfam10_decode" "direct")])
 
 (define_insn "*cmpfp_i_i387"
   [(set (reg:CCFP FLAGS_REG)
              (const_string "DF")
           ]
           (const_string "XF")))
-   (set_attr "athlon_decode" "vector")])
+   (set_attr "athlon_decode" "vector")
+   (set_attr "amdfam10_decode" "direct")])
 
 (define_insn "*cmpfp_iu_mixed"
   [(set (reg:CCFPU FLAGS_REG)
      (if_then_else (match_operand:SF 1 "" "")
         (const_string "SF")
         (const_string "DF")))
-   (set_attr "athlon_decode" "vector")])
+   (set_attr "athlon_decode" "vector")
+   (set_attr "amdfam10_decode" "direct")])
 
 (define_insn "*cmpfp_iu_sse"
   [(set (reg:CCFPU FLAGS_REG)
      (if_then_else (match_operand:SF 1 "" "")
         (const_string "SF")
         (const_string "DF")))
-   (set_attr "athlon_decode" "vector")])
+   (set_attr "athlon_decode" "vector")
+   (set_attr "amdfam10_decode" "direct")])
 
 (define_insn "*cmpfp_iu_387"
   [(set (reg:CCFPU FLAGS_REG)
              (const_string "DF")
           ]
           (const_string "XF")))
-   (set_attr "athlon_decode" "vector")])
+   (set_attr "athlon_decode" "vector")
+   (set_attr "amdfam10_decode" "direct")])
 \f
 ;; Move instructions.
 
   [(set_attr "type" "imov")
    (set_attr "mode" "SI")
    (set_attr "pent_pair" "np")
-   (set_attr "athlon_decode" "vector")])
+   (set_attr "athlon_decode" "vector")
+   (set_attr "amdfam10_decode" "double")])   
 
 (define_expand "movhi"
   [(set (match_operand:HI 0 "nonimmediate_operand" "")
 (define_insn "*movhi_1"
   [(set (match_operand:HI 0 "nonimmediate_operand" "=r,r,r,m")
        (match_operand:HI 1 "general_operand" "r,rn,rm,rn"))]
-  "GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM"
+  "!(MEM_P (operands[0]) && MEM_P (operands[1]))"
 {
   switch (get_attr_type (insn))
     {
   [(set_attr "type" "imov")
    (set_attr "mode" "SI")
    (set_attr "pent_pair" "np")
-   (set_attr "athlon_decode" "vector")])
+   (set_attr "athlon_decode" "vector")
+   (set_attr "amdfam10_decode" "double")])   
 
+;; Not added amdfam10_decode since TARGET_PARTIAL_REG_STALL is disabled for AMDFAM10
 (define_insn "*swaphi_2"
   [(set (match_operand:HI 0 "register_operand" "+r")
        (match_operand:HI 1 "register_operand" "+r"))
   "! TARGET_PARTIAL_REG_STALL || optimize_size"
 {
   /* Don't generate memory->memory moves, go through a register */
-  if (GET_CODE (operands[0]) == MEM && GET_CODE (operands[1]) == MEM)
+  if (MEM_P (operands[0]) && MEM_P (operands[1]))
     operands[1] = force_reg (HImode, operands[1]);
 })
 
   [(set (strict_low_part (match_operand:HI 0 "nonimmediate_operand" "+rm,r"))
        (match_operand:HI 1 "general_operand" "rn,m"))]
   "(! TARGET_PARTIAL_REG_STALL || optimize_size)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "mov{w}\t{%1, %0|%0, %1}"
   [(set_attr "type" "imov")
    (set_attr "mode" "HI")])
 (define_insn "*movqi_1"
   [(set (match_operand:QI 0 "nonimmediate_operand" "=q,q ,q ,r,r ,?r,m")
        (match_operand:QI 1 "general_operand"      " q,qn,qm,q,rn,qm,qn"))]
-  "GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM"
+  "!(MEM_P (operands[0]) && MEM_P (operands[1]))"
 {
   switch (get_attr_type (insn))
     {
     case TYPE_IMOVX:
-      gcc_assert (ANY_QI_REG_P (operands[1]) || GET_CODE (operands[1]) == MEM);
+      gcc_assert (ANY_QI_REG_P (operands[1]) || MEM_P (operands[1]));
       return "movz{bl|x}\t{%1, %k0|%k0, %1}";
     default:
       if (get_attr_mode (insn) == MODE_SI)
   [(set_attr "type" "imov")
    (set_attr "mode" "SI")
    (set_attr "pent_pair" "np")
-   (set_attr "athlon_decode" "vector")])
+   (set_attr "athlon_decode" "vector")
+   (set_attr "amdfam10_decode" "vector")])   
 
+;; Not added amdfam10_decode since TARGET_PARTIAL_REG_STALL is disabled for AMDFAM10
 (define_insn "*swapqi_2"
   [(set (match_operand:QI 0 "register_operand" "+q")
        (match_operand:QI 1 "register_operand" "+q"))
   "! TARGET_PARTIAL_REG_STALL || optimize_size"
 {
   /* Don't generate memory->memory moves, go through a register.  */
-  if (GET_CODE (operands[0]) == MEM && GET_CODE (operands[1]) == MEM)
+  if (MEM_P (operands[0]) && MEM_P (operands[1]))
     operands[1] = force_reg (QImode, operands[1]);
 })
 
   [(set (strict_low_part (match_operand:QI 0 "nonimmediate_operand" "+qm,q"))
        (match_operand:QI 1 "general_operand" "*qn,m"))]
   "(! TARGET_PARTIAL_REG_STALL || optimize_size)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "mov{b}\t{%1, %0|%0, %1}"
   [(set_attr "type" "imov")
    (set_attr "mode" "QI")])
   [(set_attr "type" "imov")
    (set_attr "mode" "QI")])
 
+(define_insn "*movsi_insv_1_rex64"
+  [(set (zero_extract:SI (match_operand 0 "ext_register_operand" "+Q")
+                        (const_int 8)
+                        (const_int 8))
+       (match_operand:SI 1 "nonmemory_operand" "Qn"))]
+  "TARGET_64BIT"
+  "mov{b}\t{%b1, %h0|%h0, %b1}"
+  [(set_attr "type" "imov")
+   (set_attr "mode" "QI")])
+
 (define_insn "movdi_insv_1_rex64"
   [(set (zero_extract:DI (match_operand 0 "ext_register_operand" "+Q")
                         (const_int 8)
   [(set_attr "type" "imov")
    (set_attr "mode" "DI")
    (set_attr "pent_pair" "np")
-   (set_attr "athlon_decode" "vector")])
+   (set_attr "athlon_decode" "vector")
+   (set_attr "amdfam10_decode" "double")])   
 
 (define_expand "movti"
   [(set (match_operand:TI 0 "nonimmediate_operand" "")
   [(set (match_operand:TI 0 "nonimmediate_operand" "=x,x,m")
        (match_operand:TI 1 "vector_move_operand" "C,xm,x"))]
   "TARGET_SSE && !TARGET_64BIT
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
 {
   switch (which_alternative)
     {
   [(set (match_operand:TI 0 "nonimmediate_operand" "=r,o,x,x,xm")
        (match_operand:TI 1 "general_operand" "riFo,riF,C,xm,x"))]
   "TARGET_64BIT
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
 {
   switch (which_alternative)
     {
   [(set (match_operand:SF 0 "push_operand" "")
        (match_operand:SF 1 "memory_operand" ""))]
   "reload_completed
-   && GET_CODE (operands[1]) == MEM
+   && MEM_P (operands[1])
    && constant_pool_reference_p (operands[1])"
   [(set (match_dup 0)
        (match_dup 1))]
   "!(MEM_P (operands[0]) && MEM_P (operands[1]))
    && (reload_in_progress || reload_completed
        || (ix86_cmodel == CM_MEDIUM || ix86_cmodel == CM_LARGE)
+       || (!TARGET_SSE_MATH && optimize_size
+          && standard_80387_constant_p (operands[1]))
        || GET_CODE (operands[1]) != CONST_DOUBLE
        || memory_operand (operands[0], SFmode))"
 {
                        "=f,m,f,*r  ,o  ,Y*x,Y*x,Y*x ,m  ")
        (match_operand:DF 1 "general_operand"
                        "fm,f,G,*roF,F*r,C  ,Y*x,mY*x,Y*x"))]
-  "(GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)
+  "!(MEM_P (operands[0]) && MEM_P (operands[1]))
    && ((optimize_size || !TARGET_INTEGER_DFMODE_MOVES) && !TARGET_64BIT)
    && (reload_in_progress || reload_completed
        || (ix86_cmodel == CM_MEDIUM || ix86_cmodel == CM_LARGE)
+       || (!(TARGET_SSE2 && TARGET_SSE_MATH) && optimize_size
+          && standard_80387_constant_p (operands[1]))
        || GET_CODE (operands[1]) != CONST_DOUBLE
        || memory_operand (operands[0], DFmode))"
 {
                "=f,m,f,r  ,o ,Y*x,Y*x,Y*x,m  ")
        (match_operand:DF 1 "general_operand"
                "fm,f,G,roF,Fr,C  ,Y*x,m  ,Y*x"))]
-  "(GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)
+  "!(MEM_P (operands[0]) && MEM_P (operands[1]))
    && ((!optimize_size && TARGET_INTEGER_DFMODE_MOVES) || TARGET_64BIT)
    && (reload_in_progress || reload_completed
        || (ix86_cmodel == CM_MEDIUM || ix86_cmodel == CM_LARGE)
+       || (!(TARGET_SSE2 && TARGET_SSE_MATH) && optimize_size
+          && standard_80387_constant_p (operands[1]))
        || GET_CODE (operands[1]) != CONST_DOUBLE
        || memory_operand (operands[0], DFmode))"
 {
   [(set (match_operand:DF 0 "nonimmediate_operand" "")
        (match_operand:DF 1 "general_operand" ""))]
   "reload_completed
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))
    && ! (ANY_FP_REG_P (operands[0]) ||
         (GET_CODE (operands[0]) == SUBREG
          && ANY_FP_REG_P (SUBREG_REG (operands[0]))))
   [(set (match_operand:XF 0 "nonimmediate_operand" "=f,m,f,*r,o")
        (match_operand:XF 1 "general_operand" "fm,f,G,*roF,F*r"))]
   "optimize_size
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))
    && (reload_in_progress || reload_completed
-       || standard_80387_constant_p (operands[1])
+       || (optimize_size && standard_80387_constant_p (operands[1]))
        || GET_CODE (operands[1]) != CONST_DOUBLE
        || memory_operand (operands[0], XFmode))"
 {
   [(set (match_operand:XF 0 "nonimmediate_operand" "=f,m,f,r,o")
        (match_operand:XF 1 "general_operand" "fm,f,G,roF,Fr"))]
   "!optimize_size
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))
    && (reload_in_progress || reload_completed
-       || standard_80387_constant_p (operands[1])
+       || (optimize_size && standard_80387_constant_p (operands[1]))
        || GET_CODE (operands[1]) != CONST_DOUBLE
        || memory_operand (operands[0], XFmode))"
 {
   [(set (match_operand 0 "nonimmediate_operand" "")
        (match_operand 1 "general_operand" ""))]
   "reload_completed
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))
    && GET_MODE (operands[0]) == XFmode
    && ! (ANY_FP_REG_P (operands[0]) ||
         (GET_CODE (operands[0]) == SUBREG
   [(set (match_operand 0 "register_operand" "")
        (match_operand 1 "memory_operand" ""))]
   "reload_completed
-   && GET_CODE (operands[1]) == MEM
+   && MEM_P (operands[1])
    && (GET_MODE (operands[0]) == XFmode
-       || GET_MODE (operands[0]) == SFmode || GET_MODE (operands[0]) == DFmode)
+       || GET_MODE (operands[0]) == SFmode
+       || GET_MODE (operands[0]) == DFmode)
    && constant_pool_reference_p (operands[1])"
   [(set (match_dup 0) (match_dup 1))]
 {
   operands[1] = c;
 })
 
+(define_split
+  [(set (match_operand 0 "register_operand" "")
+       (float_extend (match_operand 1 "memory_operand" "")))]
+  "reload_completed
+   && MEM_P (operands[1])
+   && (GET_MODE (operands[0]) == XFmode
+       || GET_MODE (operands[0]) == SFmode
+       || GET_MODE (operands[0]) == DFmode)
+   && constant_pool_reference_p (operands[1])"
+  [(set (match_dup 0) (match_dup 1))]
+{
+  rtx c = avoid_constant_pool_reference (SET_SRC (PATTERN (curr_insn)));
+  rtx r = operands[0];
+
+  if (GET_CODE (r) == SUBREG)
+    r = SUBREG_REG (r);
+
+  if (SSE_REG_P (r))
+    {
+      if (!standard_sse_constant_p (c))
+       FAIL;
+    }
+  else if (FP_REG_P (r))
+    {
+      if (!standard_80387_constant_p (c))
+       FAIL;
+    }
+  else if (MMX_REG_P (r))
+    FAIL;
+
+  operands[1] = c;
+})
+
 (define_insn "swapxf"
   [(set (match_operand:XF 0 "register_operand" "+f")
        (match_operand:XF 1 "register_operand" "+f"))
   [(set (match_operand:TF 0 "nonimmediate_operand" "=r,o,x,x,xm")
        (match_operand:TF 1 "general_operand" "riFo,riF,C,xm,x"))]
   "TARGET_64BIT
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
 {
   switch (which_alternative)
     {
    (clobber (reg:CC FLAGS_REG))]
   "reload_completed
    && ANY_QI_REG_P (operands[0])
-   && (ANY_QI_REG_P (operands[1]) || GET_CODE (operands[1]) == MEM)
+   && (ANY_QI_REG_P (operands[1]) || MEM_P (operands[1]))
    && (TARGET_ZERO_EXTEND_WITH_AND && !optimize_size)
    && !reg_overlap_mentioned_p (operands[0], operands[1])"
   [(set (match_dup 0) (const_int 0))
        (float_truncate:SF
         (match_operand:XF 1 "register_operand" "f,f,f,f")))
    (clobber (match_operand:SF 2 "memory_operand" "=X,m,m,m"))]
-  "TARGET_MIX_SSE_I387"
+  "TARGET_80387"
 {
   gcc_assert (!which_alternative);
   if (find_regno_note (insn, REG_DEAD, REGNO (operands[1])))
    (set_attr "mode" "SF")])
 
 (define_insn "*truncxfsf2_i387"
-  [(set (match_operand:SF 0 "nonimmediate_operand" "=m,?f,?r")
-       (float_truncate:SF
-        (match_operand:XF 1 "register_operand" "f,f,f")))
-   (clobber (match_operand:SF 2 "memory_operand" "=X,m,m"))]
-  "TARGET_80387"
-{
-  gcc_assert (!which_alternative);
-  if (find_regno_note (insn, REG_DEAD, REGNO (operands[1])))
-    return "fstp%z0\t%y0";
-   else
-     return "fst%z0\t%y0";
-}
-  [(set_attr "type" "fmov,multi,multi")
-   (set_attr "unit" "*,i387,i387")
-   (set_attr "mode" "SF")])
-
-(define_insn "*truncxfsf2_i387_1"
   [(set (match_operand:SF 0 "memory_operand" "=m")
        (float_truncate:SF
         (match_operand:XF 1 "register_operand" "f")))]
        (float_truncate:DF
         (match_operand:XF 1 "register_operand" "f,f,f,f")))
    (clobber (match_operand:DF 2 "memory_operand" "=X,m,m,m"))]
-  "TARGET_SSE2 && TARGET_MIX_SSE_I387"
+  "TARGET_80387"
 {
   gcc_assert (!which_alternative);
   if (find_regno_note (insn, REG_DEAD, REGNO (operands[1])))
    (set_attr "mode" "DF")])
 
 (define_insn "*truncxfdf2_i387"
-  [(set (match_operand:DF 0 "nonimmediate_operand" "=m,?f,?r")
-       (float_truncate:DF
-        (match_operand:XF 1 "register_operand" "f,f,f")))
-   (clobber (match_operand:DF 2 "memory_operand" "=X,m,m"))]
-  "TARGET_80387"
-{
-  gcc_assert (!which_alternative);
-  if (find_regno_note (insn, REG_DEAD, REGNO (operands[1])))
-    return "fstp%z0\t%y0";
-  else
-    return "fst%z0\t%y0";
-}
-  [(set_attr "type" "fmov,multi,multi")
-   (set_attr "unit" "*,i387,i387")
-   (set_attr "mode" "DF")])
-
-(define_insn "*truncxfdf2_i387_1"
   [(set (match_operand:DF 0 "memory_operand" "=m")
        (float_truncate:DF
          (match_operand:XF 1 "register_operand" "f")))]
   "cvttss2si{q}\t{%1, %0|%0, %1}"
   [(set_attr "type" "sseicvt")
    (set_attr "mode" "SF")
-   (set_attr "athlon_decode" "double,vector")])
+   (set_attr "athlon_decode" "double,vector")
+   (set_attr "amdfam10_decode" "double,double")])
 
 (define_insn "fix_truncdfdi_sse"
   [(set (match_operand:DI 0 "register_operand" "=r,r")
   "cvttsd2si{q}\t{%1, %0|%0, %1}"
   [(set_attr "type" "sseicvt")
    (set_attr "mode" "DF")
-   (set_attr "athlon_decode" "double,vector")])
+   (set_attr "athlon_decode" "double,vector")
+   (set_attr "amdfam10_decode" "double,double")])
 
 (define_insn "fix_truncsfsi_sse"
   [(set (match_operand:SI 0 "register_operand" "=r,r")
   "cvttss2si\t{%1, %0|%0, %1}"
   [(set_attr "type" "sseicvt")
    (set_attr "mode" "DF")
-   (set_attr "athlon_decode" "double,vector")])
+   (set_attr "athlon_decode" "double,vector")
+   (set_attr "amdfam10_decode" "double,double")])
 
 (define_insn "fix_truncdfsi_sse"
   [(set (match_operand:SI 0 "register_operand" "=r,r")
   "cvttsd2si\t{%1, %0|%0, %1}"
   [(set_attr "type" "sseicvt")
    (set_attr "mode" "DF")
-   (set_attr "athlon_decode" "double,vector")])
+   (set_attr "athlon_decode" "double,vector")
+   (set_attr "amdfam10_decode" "double,double")])
 
 ;; Shorten x87->SSE reload sequences of fix_trunc?f?i_sse patterns.
 (define_peephole2
   [(set_attr "length" "2")
    (set_attr "mode" "HI")
    (set_attr "unit" "i387")
-   (set_attr "athlon_decode" "vector")])
+   (set_attr "athlon_decode" "vector")
+   (set_attr "amdfam10_decode" "vector")])   
 \f
 ;; Conversion between fixed point and floating point.
 
    (set_attr "mode" "SF")
    (set_attr "unit" "*,i387,*,*")
    (set_attr "athlon_decode" "*,*,vector,double")
+   (set_attr "amdfam10_decode" "*,*,vector,double")
    (set_attr "fp_int_src" "true")])
 
 (define_insn "*floatsisf2_sse"
   [(set_attr "type" "sseicvt")
    (set_attr "mode" "SF")
    (set_attr "athlon_decode" "vector,double")
+   (set_attr "amdfam10_decode" "vector,double")
    (set_attr "fp_int_src" "true")])
 
 (define_insn "*floatsisf2_i387"
    (set_attr "mode" "SF")
    (set_attr "unit" "*,i387,*,*")
    (set_attr "athlon_decode" "*,*,vector,double")
+   (set_attr "amdfam10_decode" "*,*,vector,double")
    (set_attr "fp_int_src" "true")])
 
 (define_insn "*floatdisf2_sse"
   [(set_attr "type" "sseicvt")
    (set_attr "mode" "SF")
    (set_attr "athlon_decode" "vector,double")
+   (set_attr "amdfam10_decode" "vector,double")
    (set_attr "fp_int_src" "true")])
 
 (define_insn "*floatdisf2_i387"
    (set_attr "mode" "DF")
    (set_attr "unit" "*,i387,*,*")
    (set_attr "athlon_decode" "*,*,double,direct")
+   (set_attr "amdfam10_decode" "*,*,vector,double")
    (set_attr "fp_int_src" "true")])
 
 (define_insn "*floatsidf2_sse"
   [(set_attr "type" "sseicvt")
    (set_attr "mode" "DF")
    (set_attr "athlon_decode" "double,direct")
+   (set_attr "amdfam10_decode" "vector,double")
    (set_attr "fp_int_src" "true")])
 
 (define_insn "*floatsidf2_i387"
    (set_attr "mode" "DF")
    (set_attr "unit" "*,i387,*,*")
    (set_attr "athlon_decode" "*,*,double,direct")
+   (set_attr "amdfam10_decode" "*,*,vector,double")
    (set_attr "fp_int_src" "true")])
 
 (define_insn "*floatdidf2_sse"
   [(set_attr "type" "sseicvt")
    (set_attr "mode" "DF")
    (set_attr "athlon_decode" "double,direct")
+   (set_attr "amdfam10_decode" "vector,double")
    (set_attr "fp_int_src" "true")])
 
 (define_insn "*floatdidf2_i387"
 
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
          /* Avoid overflows.  */
          && ((INTVAL (operands[2]) & ((((unsigned int) 1) << 31) - 1)))
           && (INTVAL (operands[2]) == 128
         - do we need new constraint?  */
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
          /* Avoid overflows.  */
          && ((INTVAL (operands[2]) & ((((unsigned int) 1) << 31) - 1)))
           && (INTVAL (operands[2]) == 128
    (clobber (match_scratch:DI 0 "=r"))]
   "TARGET_64BIT
    && ix86_match_ccmode (insn, CCZmode)
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))
    /* Current assemblers are broken and do not allow @GOTOFF in
       ought but a memory context.  */
    && ! pic_symbolic_operand (operands[2], VOIDmode)"
         - do we need new constraint?  */
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
          /* Avoid overflows.  */
          && ((INTVAL (operands[2]) & ((((unsigned int) 1) << 31) - 1)))
           && (INTVAL (operands[2]) == 128
    (clobber (match_scratch:DI 0 "=r"))]
   "TARGET_64BIT
    && ix86_match_ccmode (insn, CCGOCmode)
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))
    /* Current assemblers are broken and do not allow @GOTOFF in
       ought but a memory context.  */
    && ! pic_symbolic_operand (operands[2], VOIDmode)"
       gcc_assert (rtx_equal_p (operands[0], operands[1]));
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
          /* Avoid overflows.  */
          && ((INTVAL (operands[2]) & ((((unsigned int) 1) << 31) - 1)))
           && (INTVAL (operands[2]) == 128
 
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && (INTVAL (operands[2]) == 128
              || (INTVAL (operands[2]) < 0
                  && INTVAL (operands[2]) != -128)))
     default:
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && (INTVAL (operands[2]) == 128
              || (INTVAL (operands[2]) < 0
                  && INTVAL (operands[2]) != -128)))
       gcc_assert (rtx_equal_p (operands[0], operands[1]));
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && (INTVAL (operands[2]) == 128
              || (INTVAL (operands[2]) < 0
                  && INTVAL (operands[2]) != -128)))
     default:
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && (INTVAL (operands[2]) == 128
              || (INTVAL (operands[2]) < 0
                  && INTVAL (operands[2]) != -128)))
                 (match_operand:SI 1 "nonimmediate_operand" "%0")))
    (clobber (match_scratch:SI 0 "=r"))]
   "ix86_match_ccmode (insn, CCZmode)
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))
    /* Current assemblers are broken and do not allow @GOTOFF in
       ought but a memory context.  */
    && ! pic_symbolic_operand (operands[2], VOIDmode)"
       gcc_assert (rtx_equal_p (operands[0], operands[1]));
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && (INTVAL (operands[2]) == 128
              || (INTVAL (operands[2]) < 0
                  && INTVAL (operands[2]) != -128)))
     default:
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && (INTVAL (operands[2]) == 128
              || (INTVAL (operands[2]) < 0
                  && INTVAL (operands[2]) != -128)))
          (const_int 0)))
    (clobber (match_scratch:SI 0 "=r"))]
   "ix86_match_ccmode (insn, CCGOCmode)
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))
    /* Current assemblers are broken and do not allow @GOTOFF in
       ought but a memory context.  */
    && ! pic_symbolic_operand (operands[2], VOIDmode)"
       gcc_assert (rtx_equal_p (operands[0], operands[1]));
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && (INTVAL (operands[2]) == 128
              || (INTVAL (operands[2]) < 0
                  && INTVAL (operands[2]) != -128)))
     default:
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && (INTVAL (operands[2]) == 128
              || (INTVAL (operands[2]) < 0
                  && INTVAL (operands[2]) != -128)))
     default:
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && (INTVAL (operands[2]) == 128
              || (INTVAL (operands[2]) < 0
                  && INTVAL (operands[2]) != -128)))
     default:
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && (INTVAL (operands[2]) == 128
              || (INTVAL (operands[2]) < 0
                  && INTVAL (operands[2]) != -128)))
                 (match_operand:HI 1 "nonimmediate_operand" "%0")))
    (clobber (match_scratch:HI 0 "=r"))]
   "ix86_match_ccmode (insn, CCZmode)
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
 {
   switch (get_attr_type (insn))
     {
     default:
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && (INTVAL (operands[2]) == 128
              || (INTVAL (operands[2]) < 0
                  && INTVAL (operands[2]) != -128)))
          (const_int 0)))
    (clobber (match_scratch:HI 0 "=r"))]
   "ix86_match_ccmode (insn, CCGOCmode)
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
 {
   switch (get_attr_type (insn))
     {
     default:
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && (INTVAL (operands[2]) == 128
              || (INTVAL (operands[2]) < 0
                  && INTVAL (operands[2]) != -128)))
     default:
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && (INTVAL (operands[2]) == 128
              || (INTVAL (operands[2]) < 0
                  && INTVAL (operands[2]) != -128)))
     default:
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.
         Exceptions: -128 encodes smaller than 128, so swap sign and op.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && (INTVAL (operands[2]) == 128
              || (INTVAL (operands[2]) < 0
                  && INTVAL (operands[2]) != -128)))
                 (match_operand:QI 1 "general_operand" "qn,qnm")))
    (clobber (reg:CC FLAGS_REG))]
   "(! TARGET_PARTIAL_REG_STALL || optimize_size)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
 {
   switch (get_attr_type (insn))
     {
 
     default:
       /* Make things pretty and `subl $4,%eax' rather than `addl $-4, %eax'.  */
-      if (GET_CODE (operands[1]) == CONST_INT
+      if (CONST_INT_P (operands[1])
          && INTVAL (operands[1]) < 0)
        {
          operands[1] = GEN_INT (-INTVAL (operands[1]));
       else
         {
          gcc_assert (operands[2] == constm1_rtx
-                     || (GET_CODE (operands[2]) == CONST_INT
+                     || (CONST_INT_P (operands[2])
                          && INTVAL (operands[2]) == 255));
          return "dec{b}\t%0";
        }
 
     default:
       /* Make things pretty and `subb $4,%al' rather than `addb $-4, %al'.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && INTVAL (operands[2]) < 0)
        {
          operands[2] = GEN_INT (-INTVAL (operands[2]));
                 (match_operand:QI 1 "nonimmediate_operand" "%0")))
    (clobber (match_scratch:QI 0 "=q"))]
   "ix86_match_ccmode (insn, CCZmode)
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
 {
   switch (get_attr_type (insn))
     {
       else
         {
          gcc_assert (operands[2] == constm1_rtx
-                     || (GET_CODE (operands[2]) == CONST_INT
+                     || (CONST_INT_P (operands[2])
                          && INTVAL (operands[2]) == 255));
          return "dec{b}\t%0";
        }
 
     default:
       /* Make things pretty and `subb $4,%al' rather than `addb $-4, %al'.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && INTVAL (operands[2]) < 0)
        {
          operands[2] = GEN_INT (-INTVAL (operands[2]));
     {
     case TYPE_INCDEC:
       if (operands[2] == constm1_rtx
-         || (GET_CODE (operands[2]) == CONST_INT
+         || (CONST_INT_P (operands[2])
              && INTVAL (operands[2]) == 255))
         return "inc{b}\t%0";
       else
          (const_int 0)))
    (clobber (match_scratch:QI 0 "=q"))]
   "ix86_match_ccmode (insn, CCGOCmode)
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
 {
   switch (get_attr_type (insn))
     {
       else
         {
          gcc_assert (operands[2] == constm1_rtx
-                     || (GET_CODE (operands[2]) == CONST_INT
+                     || (CONST_INT_P (operands[2])
                          && INTVAL (operands[2]) == 255));
          return "dec{b}\t%0";
        }
 
     default:
       /* Make things pretty and `subb $4,%al' rather than `addb $-4, %al'.  */
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && INTVAL (operands[2]) < 0)
        {
          operands[2] = GEN_INT (-INTVAL (operands[2]));
       else
         {
          gcc_assert (operands[2] == constm1_rtx
-                     || (GET_CODE (operands[2]) == CONST_INT
+                     || (CONST_INT_P (operands[2])
                          && INTVAL (operands[2]) == 255));
           return "dec{b}\t%h0";
        }
       else
         {
          gcc_assert (operands[2] == constm1_rtx
-                     || (GET_CODE (operands[2]) == CONST_INT
+                     || (CONST_INT_P (operands[2])
                          && INTVAL (operands[2]) == 255));
           return "dec{b}\t%h0";
         }
                  (match_operand:QI 1 "general_operand" "qn,qmn")))
    (clobber (reg:CC FLAGS_REG))]
   "(! TARGET_PARTIAL_REG_STALL || optimize_size)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "sub{b}\t{%1, %0|%0, %1}"
   [(set_attr "type" "alu1")
    (set_attr "mode" "QI")])
   "TARGET_64BIT"
   "")
 
+;; On AMDFAM10 
+;; IMUL reg64, reg64, imm8     Direct
+;; IMUL reg64, mem64, imm8     VectorPath
+;; IMUL reg64, reg64, imm32    Direct
+;; IMUL reg64, mem64, imm32    VectorPath 
+;; IMUL reg64, reg64           Direct
+;; IMUL reg64, mem64           Direct
+
 (define_insn "*muldi3_1_rex64"
   [(set (match_operand:DI 0 "register_operand" "=r,r,r")
        (mult:DI (match_operand:DI 1 "nonimmediate_operand" "%rm,rm,0")
                 (match_operand:DI 2 "x86_64_general_operand" "K,e,mr")))
    (clobber (reg:CC FLAGS_REG))]
   "TARGET_64BIT
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "@
    imul{q}\t{%2, %1, %0|%0, %1, %2}
    imul{q}\t{%2, %1, %0|%0, %1, %2}
                    (match_operand 1 "memory_operand" ""))
                  (const_string "vector")]
              (const_string "direct")))
+   (set (attr "amdfam10_decode")
+       (cond [(and (eq_attr "alternative" "0,1")
+                   (match_operand 1 "memory_operand" ""))
+                 (const_string "vector")]
+             (const_string "direct")))       
    (set_attr "mode" "DI")])
 
 (define_expand "mulsi3"
   ""
   "")
 
+;; On AMDFAM10 
+;; IMUL reg32, reg32, imm8     Direct
+;; IMUL reg32, mem32, imm8     VectorPath
+;; IMUL reg32, reg32, imm32    Direct
+;; IMUL reg32, mem32, imm32    VectorPath
+;; IMUL reg32, reg32           Direct
+;; IMUL reg32, mem32           Direct
+
 (define_insn "*mulsi3_1"
   [(set (match_operand:SI 0 "register_operand" "=r,r,r")
        (mult:SI (match_operand:SI 1 "nonimmediate_operand" "%rm,rm,0")
                 (match_operand:SI 2 "general_operand" "K,i,mr")))
    (clobber (reg:CC FLAGS_REG))]
-  "GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM"
+  "!(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "@
    imul{l}\t{%2, %1, %0|%0, %1, %2}
    imul{l}\t{%2, %1, %0|%0, %1, %2}
                    (match_operand 1 "memory_operand" ""))
                  (const_string "vector")]
              (const_string "direct")))
+   (set (attr "amdfam10_decode")
+       (cond [(and (eq_attr "alternative" "0,1")
+                   (match_operand 1 "memory_operand" ""))
+                 (const_string "vector")]
+             (const_string "direct")))       
    (set_attr "mode" "SI")])
 
 (define_insn "*mulsi3_1_zext"
                   (match_operand:SI 2 "general_operand" "K,i,mr"))))
    (clobber (reg:CC FLAGS_REG))]
   "TARGET_64BIT
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "@
    imul{l}\t{%2, %1, %k0|%k0, %1, %2}
    imul{l}\t{%2, %1, %k0|%k0, %1, %2}
                    (match_operand 1 "memory_operand" ""))
                  (const_string "vector")]
              (const_string "direct")))
+   (set (attr "amdfam10_decode")
+       (cond [(and (eq_attr "alternative" "0,1")
+                   (match_operand 1 "memory_operand" ""))
+                 (const_string "vector")]
+             (const_string "direct")))       
    (set_attr "mode" "SI")])
 
 (define_expand "mulhi3"
   "TARGET_HIMODE_MATH"
   "")
 
+;; On AMDFAM10
+;; IMUL reg16, reg16, imm8     VectorPath
+;; IMUL reg16, mem16, imm8     VectorPath
+;; IMUL reg16, reg16, imm16    VectorPath
+;; IMUL reg16, mem16, imm16    VectorPath
+;; IMUL reg16, reg16           Direct
+;; IMUL reg16, mem16           Direct
 (define_insn "*mulhi3_1"
   [(set (match_operand:HI 0 "register_operand" "=r,r,r")
        (mult:HI (match_operand:HI 1 "nonimmediate_operand" "%rm,rm,0")
                 (match_operand:HI 2 "general_operand" "K,i,mr")))
    (clobber (reg:CC FLAGS_REG))]
-  "GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM"
+  "!(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "@
    imul{w}\t{%2, %1, %0|%0, %1, %2}
    imul{w}\t{%2, %1, %0|%0, %1, %2}
               (eq_attr "alternative" "1,2")
                  (const_string "vector")]
              (const_string "direct")))
+   (set (attr "amdfam10_decode")
+       (cond [(eq_attr "alternative" "0,1")
+                 (const_string "vector")]
+             (const_string "direct")))
    (set_attr "mode" "HI")])
 
 (define_expand "mulqi3"
   "TARGET_QIMODE_MATH"
   "")
 
+;;On AMDFAM10
+;; MUL reg8    Direct
+;; MUL mem8    Direct
+
 (define_insn "*mulqi3_1"
   [(set (match_operand:QI 0 "register_operand" "=a")
        (mult:QI (match_operand:QI 1 "nonimmediate_operand" "%0")
                 (match_operand:QI 2 "nonimmediate_operand" "qm")))
    (clobber (reg:CC FLAGS_REG))]
   "TARGET_QIMODE_MATH
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "mul{b}\t%2"
   [(set_attr "type" "imul")
    (set_attr "length_immediate" "0")
      (if_then_else (eq_attr "cpu" "athlon")
         (const_string "vector")
         (const_string "direct")))
+   (set_attr "amdfam10_decode" "direct")        
    (set_attr "mode" "QI")])
 
 (define_expand "umulqihi3"
                 (zero_extend:HI (match_operand:QI 2 "nonimmediate_operand" "qm"))))
    (clobber (reg:CC FLAGS_REG))]
   "TARGET_QIMODE_MATH
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "mul{b}\t%2"
   [(set_attr "type" "imul")
    (set_attr "length_immediate" "0")
      (if_then_else (eq_attr "cpu" "athlon")
         (const_string "vector")
         (const_string "direct")))
+   (set_attr "amdfam10_decode" "direct")        
    (set_attr "mode" "QI")])
 
 (define_expand "mulqihi3"
                 (sign_extend:HI (match_operand:QI 2 "nonimmediate_operand" "qm"))))
    (clobber (reg:CC FLAGS_REG))]
   "TARGET_QIMODE_MATH
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "imul{b}\t%2"
   [(set_attr "type" "imul")
    (set_attr "length_immediate" "0")
      (if_then_else (eq_attr "cpu" "athlon")
         (const_string "vector")
         (const_string "direct")))
+   (set_attr "amdfam10_decode" "direct")        
    (set_attr "mode" "QI")])
 
 (define_expand "umulditi3"
                 (zero_extend:TI (match_operand:DI 2 "nonimmediate_operand" "rm"))))
    (clobber (reg:CC FLAGS_REG))]
   "TARGET_64BIT
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "mul{q}\t%2"
   [(set_attr "type" "imul")
    (set_attr "length_immediate" "0")
      (if_then_else (eq_attr "cpu" "athlon")
         (const_string "vector")
         (const_string "double")))
+   (set_attr "amdfam10_decode" "double")        
    (set_attr "mode" "DI")])
 
 ;; We can't use this pattern in 64bit mode, since it results in two separate 32bit registers
                 (zero_extend:DI (match_operand:SI 2 "nonimmediate_operand" "rm"))))
    (clobber (reg:CC FLAGS_REG))]
   "!TARGET_64BIT
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "mul{l}\t%2"
   [(set_attr "type" "imul")
    (set_attr "length_immediate" "0")
      (if_then_else (eq_attr "cpu" "athlon")
         (const_string "vector")
         (const_string "double")))
+   (set_attr "amdfam10_decode" "double")        
    (set_attr "mode" "SI")])
 
 (define_expand "mulditi3"
                 (sign_extend:TI (match_operand:DI 2 "nonimmediate_operand" "rm"))))
    (clobber (reg:CC FLAGS_REG))]
   "TARGET_64BIT
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "imul{q}\t%2"
   [(set_attr "type" "imul")
    (set_attr "length_immediate" "0")
      (if_then_else (eq_attr "cpu" "athlon")
         (const_string "vector")
         (const_string "double")))
+   (set_attr "amdfam10_decode" "double")
    (set_attr "mode" "DI")])
 
 (define_expand "mulsidi3"
                 (sign_extend:DI (match_operand:SI 2 "nonimmediate_operand" "rm"))))
    (clobber (reg:CC FLAGS_REG))]
   "!TARGET_64BIT
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "imul{l}\t%2"
   [(set_attr "type" "imul")
    (set_attr "length_immediate" "0")
      (if_then_else (eq_attr "cpu" "athlon")
         (const_string "vector")
         (const_string "double")))
+   (set_attr "amdfam10_decode" "double")        
    (set_attr "mode" "SI")])
 
 (define_expand "umuldi3_highpart"
    (clobber (match_scratch:DI 3 "=1"))
    (clobber (reg:CC FLAGS_REG))]
   "TARGET_64BIT
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "mul{q}\t%2"
   [(set_attr "type" "imul")
    (set_attr "length_immediate" "0")
      (if_then_else (eq_attr "cpu" "athlon")
         (const_string "vector")
         (const_string "double")))
+   (set_attr "amdfam10_decode" "double")        
    (set_attr "mode" "DI")])
 
 (define_expand "umulsi3_highpart"
            (const_int 32))))
    (clobber (match_scratch:SI 3 "=1"))
    (clobber (reg:CC FLAGS_REG))]
-  "GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM"
+  "!(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "mul{l}\t%2"
   [(set_attr "type" "imul")
    (set_attr "length_immediate" "0")
      (if_then_else (eq_attr "cpu" "athlon")
         (const_string "vector")
         (const_string "double")))
+   (set_attr "amdfam10_decode" "double")
    (set_attr "mode" "SI")])
 
 (define_insn "*umulsi3_highpart_zext"
    (clobber (match_scratch:SI 3 "=1"))
    (clobber (reg:CC FLAGS_REG))]
   "TARGET_64BIT
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "mul{l}\t%2"
   [(set_attr "type" "imul")
    (set_attr "length_immediate" "0")
      (if_then_else (eq_attr "cpu" "athlon")
         (const_string "vector")
         (const_string "double")))
+   (set_attr "amdfam10_decode" "double")
    (set_attr "mode" "SI")])
 
 (define_expand "smuldi3_highpart"
    (clobber (match_scratch:DI 3 "=1"))
    (clobber (reg:CC FLAGS_REG))]
   "TARGET_64BIT
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "imul{q}\t%2"
   [(set_attr "type" "imul")
    (set (attr "athlon_decode")
      (if_then_else (eq_attr "cpu" "athlon")
         (const_string "vector")
         (const_string "double")))
+   (set_attr "amdfam10_decode" "double")
    (set_attr "mode" "DI")])
 
 (define_expand "smulsi3_highpart"
            (const_int 32))))
    (clobber (match_scratch:SI 3 "=1"))
    (clobber (reg:CC FLAGS_REG))]
-  "GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM"
+  "!(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "imul{l}\t%2"
   [(set_attr "type" "imul")
    (set (attr "athlon_decode")
      (if_then_else (eq_attr "cpu" "athlon")
         (const_string "vector")
         (const_string "double")))
+   (set_attr "amdfam10_decode" "double")
    (set_attr "mode" "SI")])
 
 (define_insn "*smulsi3_highpart_zext"
    (clobber (match_scratch:SI 3 "=1"))
    (clobber (reg:CC FLAGS_REG))]
   "TARGET_64BIT
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "imul{l}\t%2"
   [(set_attr "type" "imul")
    (set (attr "athlon_decode")
      (if_then_else (eq_attr "cpu" "athlon")
         (const_string "vector")
         (const_string "double")))
+   (set_attr "amdfam10_decode" "double")
    (set_attr "mode" "SI")])
 
 ;; The patterns that match these are at the end of this file.
                  (match_operand:DI 1 "x86_64_szext_general_operand" "Z,Z,e,e,re"))
          (const_int 0)))]
   "TARGET_64BIT && ix86_match_ccmode (insn, CCNOmode)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "@
    test{l}\t{%k1, %k0|%k0, %k1}
    test{l}\t{%k1, %k0|%k0, %k1}
                  (match_operand:SI 1 "general_operand" "in,in,rin"))
          (const_int 0)))]
   "ix86_match_ccmode (insn, CCNOmode)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "test{l}\t{%1, %0|%0, %1}"
   [(set_attr "type" "test")
    (set_attr "modrm" "0,1,1")
                         (match_operand:HI 1 "general_operand" "n,n,rn"))
                 (const_int 0)))]
   "ix86_match_ccmode (insn, CCNOmode)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "test{w}\t{%1, %0|%0, %1}"
   [(set_attr "type" "test")
    (set_attr "modrm" "0,1,1")
            (match_operand:QI 0 "nonimmediate_operand" "%!*a,q,qm,r")
            (match_operand:QI 1 "general_operand" "n,n,qn,n"))
          (const_int 0)))]
-   "(GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)
+   "!(MEM_P (operands[0]) && MEM_P (operands[1]))
     && ix86_match_ccmode (insn,
-                        GET_CODE (operands[1]) == CONST_INT
+                        CONST_INT_P (operands[1])
                         && INTVAL (operands[1]) >= 0 ? CCNOmode : CCZmode)"
 {
   if (which_alternative == 3)
     {
-      if (GET_CODE (operands[1]) == CONST_INT && INTVAL (operands[1]) < 0)
+      if (CONST_INT_P (operands[1]) && INTVAL (operands[1]) < 0)
        operands[1] = GEN_INT (INTVAL (operands[1]) & 0xff);
       return "test{l}\t{%1, %k0|%k0, %1}";
     }
            (match_operand:QI 0 "nonimmediate_operand" "%!*a,q,qm")
            (match_operand:QI 1 "general_operand" "n,n,qn"))
          (const_int 0)))]
-  "(GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)
+  "!(MEM_P (operands[0]) && MEM_P (operands[1]))
    && ix86_match_ccmode (insn, CCNOmode)"
   "test{b}\t{%1, %0|%0, %1}"
   [(set_attr "type" "test")
              (match_operand:QI 1 "general_operand" "Qm")))
          (const_int 0)))]
   "!TARGET_64BIT && ix86_match_ccmode (insn, CCNOmode)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "test{b}\t{%1, %h0|%h0, %1}"
   [(set_attr "type" "test")
    (set_attr "mode" "QI")])
   enum machine_mode mode, submode;
 
   mode = GET_MODE (val);
-  if (GET_CODE (val) == MEM)
+  if (MEM_P (val))
     {
       /* ??? Combine likes to put non-volatile mem extractions in QImode
         no matter the size of the test.  So find a mode that works.  */
       {
        enum machine_mode mode;
 
-       gcc_assert (GET_CODE (operands[2]) == CONST_INT);
+       gcc_assert (CONST_INT_P (operands[2]));
         if (INTVAL (operands[2]) == 0xff)
          mode = QImode;
        else
       {
        enum machine_mode mode;
 
-       gcc_assert (GET_CODE (operands[2]) == CONST_INT);
+       gcc_assert (CONST_INT_P (operands[2]));
         if (INTVAL (operands[2]) == 0xff)
          mode = QImode;
        else
   switch (get_attr_type (insn))
     {
     case TYPE_IMOVX:
-      gcc_assert (GET_CODE (operands[2]) == CONST_INT);
+      gcc_assert (CONST_INT_P (operands[2]));
       gcc_assert (INTVAL (operands[2]) == 0xff);
       return "movz{bl|x}\t{%b1, %k0|%k0, %b1}";
 
                (match_operand:QI 1 "general_operand" "qi,qmi")))
    (clobber (reg:CC FLAGS_REG))]
   "(! TARGET_PARTIAL_REG_STALL || optimize_size)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "and{b}\t{%1, %0|%0, %1}"
   [(set_attr "type" "alu1")
    (set_attr "mode" "QI")])
        (and:QI (match_dup 1) (match_dup 2)))]
   "ix86_binary_operator_ok (AND, QImode, operands)
    && ix86_match_ccmode (insn,
-                        GET_CODE (operands[2]) == CONST_INT
+                        CONST_INT_P (operands[2])
                         && INTVAL (operands[2]) >= 0 ? CCNOmode : CCZmode)"
 {
   if (which_alternative == 2)
     {
-      if (GET_CODE (operands[2]) == CONST_INT && INTVAL (operands[2]) < 0)
+      if (CONST_INT_P (operands[2]) && INTVAL (operands[2]) < 0)
         operands[2] = GEN_INT (INTVAL (operands[2]) & 0xff);
       return "and{l}\t{%2, %k0|%k0, %2}";
     }
        (and:QI (match_dup 0) (match_dup 1)))]
   "(! TARGET_PARTIAL_REG_STALL || optimize_size)
    && ix86_match_ccmode (insn, CCNOmode)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "and{b}\t{%1, %0|%0, %1}"
   [(set_attr "type" "alu1")
    (set_attr "mode" "QI")])
                 (const_int 0)))
    (clobber (match_scratch:SI 0 "=r"))]
   "ix86_match_ccmode (insn, CCNOmode)
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "or{l}\t{%2, %0|%0, %2}"
   [(set_attr "type" "alu")
    (set_attr "mode" "SI")])
                 (const_int 0)))
    (clobber (match_scratch:HI 0 "=r"))]
   "ix86_match_ccmode (insn, CCNOmode)
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "or{w}\t{%2, %0|%0, %2}"
   [(set_attr "type" "alu")
    (set_attr "mode" "HI")])
                (match_operand:QI 1 "general_operand" "qmi,qi")))
    (clobber (reg:CC FLAGS_REG))]
   "(! TARGET_PARTIAL_REG_STALL || optimize_size)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "or{b}\t{%1, %0|%0, %1}"
   [(set_attr "type" "alu1")
    (set_attr "mode" "QI")])
        (ior:QI (match_dup 0) (match_dup 1)))]
   "(! TARGET_PARTIAL_REG_STALL || optimize_size)
    && ix86_match_ccmode (insn, CCNOmode)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "or{b}\t{%1, %0|%0, %1}"
   [(set_attr "type" "alu1")
    (set_attr "mode" "QI")])
                 (const_int 0)))
    (clobber (match_scratch:QI 0 "=q"))]
   "ix86_match_ccmode (insn, CCNOmode)
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "or{b}\t{%2, %0|%0, %2}"
   [(set_attr "type" "alu")
    (set_attr "mode" "QI")])
                 (const_int 0)))
    (clobber (match_scratch:SI 0 "=r"))]
   "ix86_match_ccmode (insn, CCNOmode)
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "xor{l}\t{%2, %0|%0, %2}"
   [(set_attr "type" "alu")
    (set_attr "mode" "SI")])
                 (const_int 0)))
    (clobber (match_scratch:HI 0 "=r"))]
   "ix86_match_ccmode (insn, CCNOmode)
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "xor{w}\t{%2, %0|%0, %2}"
   [(set_attr "type" "alu")
    (set_attr "mode" "HI")])
                (match_operand:QI 1 "general_operand" "qi,qmi")))
    (clobber (reg:CC FLAGS_REG))]
   "(! TARGET_PARTIAL_REG_STALL || optimize_size)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "xor{b}\t{%1, %0|%0, %1}"
   [(set_attr "type" "alu1")
    (set_attr "mode" "QI")])
        (xor:QI (match_dup 0) (match_dup 1)))]
   "(! TARGET_PARTIAL_REG_STALL || optimize_size)
    && ix86_match_ccmode (insn, CCNOmode)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "xor{b}\t{%1, %0|%0, %1}"
   [(set_attr "type" "alu1")
    (set_attr "mode" "QI")])
          (const_int 0)))
    (clobber (match_scratch:QI 0 "=q"))]
   "ix86_match_ccmode (insn, CCNOmode)
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "xor{b}\t{%2, %0|%0, %2}"
   [(set_attr "type" "alu")
    (set_attr "mode" "QI")])
   [(set_attr "type" "ishift")
    (set_attr "prefix_0f" "1")
    (set_attr "mode" "DI")
-   (set_attr "athlon_decode" "vector")])
+   (set_attr "athlon_decode" "vector")
+   (set_attr "amdfam10_decode" "vector")])   
 
 (define_expand "x86_64_shift_adj"
   [(set (reg:CCZ FLAGS_REG)
       return "add{q}\t{%0, %0|%0, %0}";
 
     case TYPE_LEA:
-      gcc_assert (GET_CODE (operands[2]) == CONST_INT);
+      gcc_assert (CONST_INT_P (operands[2]));
       gcc_assert ((unsigned HOST_WIDE_INT) INTVAL (operands[2]) <= 3);
       operands[1] = gen_rtx_MULT (DImode, operands[1],
                                  GEN_INT (1 << INTVAL (operands[2])));
    (set_attr "prefix_0f" "1")
    (set_attr "mode" "SI")
    (set_attr "pent_pair" "np")
-   (set_attr "athlon_decode" "vector")])
+   (set_attr "athlon_decode" "vector")
+   (set_attr "amdfam10_decode" "vector")])   
 
 (define_expand "x86_shift_adj_1"
   [(set (reg:CCZ FLAGS_REG)
   [(set_attr "type" "ishift")
    (set_attr "prefix_0f" "1")
    (set_attr "mode" "DI")
-   (set_attr "athlon_decode" "vector")])
+   (set_attr "athlon_decode" "vector")
+   (set_attr "amdfam10_decode" "vector")])   
 
 (define_expand "ashrdi3"
   [(set (match_operand:DI 0 "shiftdi_operand" "")
                     (match_operand:QI 1 "nonmemory_operand" "I,c")))
    (clobber (reg:CC FLAGS_REG))]
   "(! TARGET_PARTIAL_REG_STALL || optimize_size)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "@
    sar{b}\t{%1, %0|%0, %1}
    sar{b}\t{%b1, %0|%0, %b1}"
                     (match_operand:QI 1 "nonmemory_operand" "I,c")))
    (clobber (reg:CC FLAGS_REG))]
   "(! TARGET_PARTIAL_REG_STALL || optimize_size)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "@
    shr{b}\t{%1, %0|%0, %1}
    shr{b}\t{%b1, %0|%0, %b1}"
                   (match_operand:QI 1 "nonmemory_operand" "I,c")))
    (clobber (reg:CC FLAGS_REG))]
   "(! TARGET_PARTIAL_REG_STALL || optimize_size)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "@
    rol{b}\t{%1, %0|%0, %1}
    rol{b}\t{%b1, %0|%0, %b1}"
                     (match_operand:QI 1 "nonmemory_operand" "I,c")))
    (clobber (reg:CC FLAGS_REG))]
   "(! TARGET_PARTIAL_REG_STALL || optimize_size)
-   && (GET_CODE (operands[0]) != MEM || GET_CODE (operands[1]) != MEM)"
+   && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
   "@
    ror{b}\t{%1, %0|%0, %1}
    ror{b}\t{%b1, %0|%0, %b1}"
      [(set (match_dup 0) (xor:SI (match_dup 0) (const_int 31)))
       (clobber (reg:CC FLAGS_REG))])]
   ""
-  "")
+{
+  if (TARGET_ABM)
+    {
+      emit_insn (gen_clzsi2_abm (operands[0], operands[1]));
+      DONE;
+    }
+})
+
+(define_insn "clzsi2_abm"
+  [(set (match_operand:SI 0 "register_operand" "=r")
+        (clz:SI (match_operand:SI 1 "nonimmediate_operand" "")))
+   (clobber (reg:CC FLAGS_REG))]
+  "TARGET_ABM"
+  "lzcnt{l}\t{%1, %0|%0, %1}"
+  [(set_attr "prefix_rep" "1")
+   (set_attr "type" "bitmanip")
+   (set_attr "mode" "SI")])
 
 (define_insn "*bsr"
   [(set (match_operand:SI 0 "register_operand" "=r")
    (clobber (reg:CC FLAGS_REG))]
   ""
   "bsr{l}\t{%1, %0|%0, %1}"
-  [(set_attr "prefix_0f" "1")])
+  [(set_attr "prefix_0f" "1")
+   (set_attr "mode" "SI")])
+
+(define_insn "popcountsi2"
+  [(set (match_operand:SI 0 "register_operand" "=r")
+       (popcount:SI (match_operand:SI 1 "nonimmediate_operand" "")))
+   (clobber (reg:CC FLAGS_REG))]
+  "TARGET_POPCNT"
+  "popcnt{l}\t{%1, %0|%0, %1}"
+  [(set_attr "prefix_rep" "1")
+   (set_attr "type" "bitmanip")
+   (set_attr "mode" "SI")])
+
+(define_insn "*popcountsi2_cmp"
+  [(set (reg FLAGS_REG)
+       (compare
+         (popcount:SI (match_operand:SI 1 "nonimmediate_operand" "rm"))
+         (const_int 0)))
+   (set (match_operand:SI 0 "register_operand" "=r")
+       (popcount:SI (match_dup 1)))]
+  "TARGET_POPCNT && ix86_match_ccmode (insn, CCZmode)"
+  "popcnt{l}\t{%1, %0|%0, %1}"
+  [(set_attr "prefix_rep" "1")
+   (set_attr "type" "bitmanip")
+   (set_attr "mode" "SI")])
+
+(define_insn "*popcountsi2_cmp_zext"
+  [(set (reg FLAGS_REG)
+        (compare
+          (popcount:SI (match_operand:SI 1 "nonimmediate_operand" "rm"))
+          (const_int 0)))
+   (set (match_operand:DI 0 "register_operand" "=r")
+        (zero_extend:DI(popcount:SI (match_dup 1))))]
+  "TARGET_64BIT && TARGET_POPCNT && ix86_match_ccmode (insn, CCZmode)"
+  "popcnt{l}\t{%1, %0|%0, %1}"
+  [(set_attr "prefix_rep" "1")
+   (set_attr "type" "bitmanip")
+   (set_attr "mode" "SI")])
 
 (define_insn "bswapsi2"
   [(set (match_operand:SI 0 "register_operand" "=r")
      [(set (match_dup 0) (xor:DI (match_dup 0) (const_int 63)))
       (clobber (reg:CC FLAGS_REG))])]
   "TARGET_64BIT"
-  "")
+{
+  if (TARGET_ABM)
+    {
+      emit_insn (gen_clzdi2_abm (operands[0], operands[1]));
+      DONE;
+    }
+})
+
+(define_insn "clzdi2_abm"
+  [(set (match_operand:DI 0 "register_operand" "=r")
+       (clz:DI (match_operand:DI 1 "nonimmediate_operand" "")))
+   (clobber (reg:CC FLAGS_REG))]
+  "TARGET_64BIT && TARGET_ABM"
+  "lzcnt{q}\t{%1, %0|%0, %1}"
+  [(set_attr "prefix_rep" "1")
+   (set_attr "type" "bitmanip")
+   (set_attr "mode" "DI")])
 
 (define_insn "*bsr_rex64"
   [(set (match_operand:DI 0 "register_operand" "=r")
    (clobber (reg:CC FLAGS_REG))]
   "TARGET_64BIT"
   "bsr{q}\t{%1, %0|%0, %1}"
-  [(set_attr "prefix_0f" "1")])
+  [(set_attr "prefix_0f" "1")
+   (set_attr "mode" "DI")])
+
+(define_insn "popcountdi2"
+  [(set (match_operand:DI 0 "register_operand" "=r")
+       (popcount:DI (match_operand:DI 1 "nonimmediate_operand" "")))
+   (clobber (reg:CC FLAGS_REG))]
+  "TARGET_64BIT && TARGET_POPCNT"
+  "popcnt{q}\t{%1, %0|%0, %1}"
+  [(set_attr "prefix_rep" "1")
+   (set_attr "type" "bitmanip")
+   (set_attr "mode" "DI")])
+
+(define_insn "*popcountdi2_cmp"
+  [(set (reg FLAGS_REG)
+       (compare
+         (popcount:DI (match_operand:DI 1 "nonimmediate_operand" "rm"))
+         (const_int 0)))
+   (set (match_operand:DI 0 "register_operand" "=r")
+       (popcount:DI (match_dup 1)))]
+  "TARGET_64BIT && TARGET_POPCNT && ix86_match_ccmode (insn, CCZmode)"
+  "popcnt{q}\t{%1, %0|%0, %1}"
+  [(set_attr "prefix_rep" "1")
+   (set_attr "type" "bitmanip")
+   (set_attr "mode" "DI")])
+
+(define_expand "clzhi2"
+  [(parallel
+     [(set (match_operand:HI 0 "register_operand" "")
+          (minus:HI (const_int 15)
+                    (clz:HI (match_operand:HI 1 "nonimmediate_operand" ""))))
+      (clobber (reg:CC FLAGS_REG))])
+   (parallel
+     [(set (match_dup 0) (xor:HI (match_dup 0) (const_int 15)))
+      (clobber (reg:CC FLAGS_REG))])]
+  ""
+{
+  if (TARGET_ABM)
+    {
+      emit_insn (gen_clzhi2_abm (operands[0], operands[1]));
+      DONE;
+    }
+})
+
+(define_insn "clzhi2_abm"
+  [(set (match_operand:HI 0 "register_operand" "=r")
+       (clz:HI (match_operand:HI 1 "nonimmediate_operand" "")))
+   (clobber (reg:CC FLAGS_REG))]
+  "TARGET_ABM"
+  "lzcnt{w}\t{%1, %0|%0, %1}"
+  [(set_attr "prefix_rep" "1")
+   (set_attr "type" "bitmanip")
+   (set_attr "mode" "HI")])
+
+(define_insn "*bsrhi"
+  [(set (match_operand:HI 0 "register_operand" "=r")
+       (minus:HI (const_int 15)
+                 (clz:HI (match_operand:HI 1 "nonimmediate_operand" "rm"))))
+   (clobber (reg:CC FLAGS_REG))]
+  ""
+  "bsr{w}\t{%1, %0|%0, %1}"
+  [(set_attr "prefix_0f" "1")
+   (set_attr "mode" "HI")])
+
+(define_insn "popcounthi2"
+  [(set (match_operand:HI 0 "register_operand" "=r")
+       (popcount:HI (match_operand:HI 1 "nonimmediate_operand" "")))
+   (clobber (reg:CC FLAGS_REG))]
+  "TARGET_POPCNT"
+  "popcnt{w}\t{%1, %0|%0, %1}"
+  [(set_attr "prefix_rep" "1")
+   (set_attr "type" "bitmanip")
+   (set_attr "mode" "HI")])
+
+(define_insn "*popcounthi2_cmp"
+  [(set (reg FLAGS_REG)
+        (compare
+          (popcount:HI (match_operand:HI 1 "nonimmediate_operand" "rm"))
+          (const_int 0)))
+   (set (match_operand:HI 0 "register_operand" "=r")
+        (popcount:HI (match_dup 1)))]
+  "TARGET_POPCNT && ix86_match_ccmode (insn, CCZmode)"
+  "popcnt{w}\t{%1, %0|%0, %1}"
+  [(set_attr "prefix_rep" "1")
+   (set_attr "type" "bitmanip")
+   (set_attr "mode" "HI")])
 \f
 ;; Thread-local storage patterns for ELF.
 ;;
                         (match_operand:SF 2 "nonimmediate_operand" "fm,xm")]))]
   "TARGET_MIX_SSE_I387
    && COMMUTATIVE_ARITH_P (operands[3])
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "* return output_387_binary_op (insn, operands);"
   [(set (attr "type")
        (if_then_else (eq_attr "alternative" "1")
                         (match_operand:SF 2 "nonimmediate_operand" "xm")]))]
   "TARGET_SSE_MATH
    && COMMUTATIVE_ARITH_P (operands[3])
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "* return output_387_binary_op (insn, operands);"
   [(set (attr "type")
         (if_then_else (match_operand:SF 3 "mult_operator" "")
                         (match_operand:SF 2 "nonimmediate_operand" "fm")]))]
   "TARGET_80387
    && COMMUTATIVE_ARITH_P (operands[3])
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "* return output_387_binary_op (insn, operands);"
   [(set (attr "type")
        (if_then_else (match_operand:SF 3 "mult_operator" "")
                         (match_operand:SF 2 "nonimmediate_operand" "fm,0,xm")]))]
   "TARGET_MIX_SSE_I387
    && !COMMUTATIVE_ARITH_P (operands[3])
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "* return output_387_binary_op (insn, operands);"
   [(set (attr "type")
         (cond [(and (eq_attr "alternative" "2")
                         (match_operand:SF 2 "nonimmediate_operand" "fm,0")]))]
   "TARGET_80387 && !TARGET_SSE_MATH
    && !COMMUTATIVE_ARITH_P (operands[3])
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "* return output_387_binary_op (insn, operands);"
   [(set (attr "type")
         (cond [(match_operand:SF 3 "mult_operator" "")
                         (match_operand:DF 2 "nonimmediate_operand" "fm,Ym")]))]
   "TARGET_SSE2 && TARGET_MIX_SSE_I387
    && COMMUTATIVE_ARITH_P (operands[3])
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "* return output_387_binary_op (insn, operands);"
   [(set (attr "type")
        (if_then_else (eq_attr "alternative" "1")
                         (match_operand:DF 2 "nonimmediate_operand" "Ym")]))]
   "TARGET_SSE2 && TARGET_SSE_MATH
    && COMMUTATIVE_ARITH_P (operands[3])
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "* return output_387_binary_op (insn, operands);"
   [(set (attr "type")
         (if_then_else (match_operand:DF 3 "mult_operator" "")
                         (match_operand:DF 2 "nonimmediate_operand" "fm")]))]
   "TARGET_80387
    && COMMUTATIVE_ARITH_P (operands[3])
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "* return output_387_binary_op (insn, operands);"
   [(set (attr "type")
        (if_then_else (match_operand:DF 3 "mult_operator" "")
                         (match_operand:DF 2 "nonimmediate_operand" "fm,0,Ym")]))]
   "TARGET_SSE2 && TARGET_SSE_MATH && TARGET_MIX_SSE_I387
    && !COMMUTATIVE_ARITH_P (operands[3])
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "* return output_387_binary_op (insn, operands);"
   [(set (attr "type")
         (cond [(and (eq_attr "alternative" "2")
                         (match_operand:DF 2 "nonimmediate_operand" "fm,0")]))]
   "TARGET_80387 && !(TARGET_SSE2 && TARGET_SSE_MATH)
    && !COMMUTATIVE_ARITH_P (operands[3])
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "* return output_387_binary_op (insn, operands);"
   [(set (attr "type")
         (cond [(match_operand:DF 3 "mult_operator" "")
           [(float_extend:DF (match_operand:SF 1 "nonimmediate_operand" "fm,0"))
            (match_operand:DF 2 "register_operand" "0,f")]))]
   "TARGET_80387 && !(TARGET_SSE2 && TARGET_SSE_MATH)
-   && (GET_CODE (operands[1]) != MEM || GET_CODE (operands[2]) != MEM)"
+   && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
   "* return output_387_binary_op (insn, operands);"
   [(set (attr "type")
         (cond [(match_operand:DF 3 "mult_operator" "")
 (define_insn "*fop_xf_4_i387"
   [(set (match_operand:XF 0 "register_operand" "=f,f")
        (match_operator:XF 3 "binary_fp_operator"
-          [(float_extend:XF (match_operand 1 "nonimmediate_operand" "fm,0"))
+          [(float_extend:XF
+             (match_operand:X87MODEF12 1 "nonimmediate_operand" "fm,0"))
            (match_operand:XF 2 "register_operand" "0,f")]))]
   "TARGET_80387"
   "* return output_387_binary_op (insn, operands);"
        (match_operator:XF 3 "binary_fp_operator"
          [(match_operand:XF 1 "register_operand" "0,f")
           (float_extend:XF
-           (match_operand 2 "nonimmediate_operand" "fm,0"))]))]
+            (match_operand:X87MODEF12 2 "nonimmediate_operand" "fm,0"))]))]
   "TARGET_80387"
   "* return output_387_binary_op (insn, operands);"
   [(set (attr "type")
   [(set (match_operand:XF 0 "register_operand" "=f,f")
        (match_operator:XF 3 "binary_fp_operator"
          [(float_extend:XF
-           (match_operand 1 "register_operand" "0,f"))
+            (match_operand:X87MODEF12 1 "register_operand" "0,f"))
           (float_extend:XF
-           (match_operand 2 "nonimmediate_operand" "fm,0"))]))]
+            (match_operand:X87MODEF12 2 "nonimmediate_operand" "fm,0"))]))]
   "TARGET_80387"
   "* return output_387_binary_op (insn, operands);"
   [(set (attr "type")
   "fsqrt"
   [(set_attr "type" "fpspc")
    (set_attr "mode" "XF")
-   (set_attr "athlon_decode" "direct")])
+   (set_attr "athlon_decode" "direct")
+   (set_attr "amdfam10_decode" "direct")])
 
 (define_insn "sqrt_extend<mode>xf2_i387"
   [(set (match_operand:XF 0 "register_operand" "=f")
   "fsqrt"
   [(set_attr "type" "fpspc")
    (set_attr "mode" "XF")
-   (set_attr "athlon_decode" "direct")])
+   (set_attr "athlon_decode" "direct")   
+   (set_attr "amdfam10_decode" "direct")])
 
 (define_insn "*sqrt<mode>2_sse"
   [(set (match_operand:SSEMODEF 0 "register_operand" "=x")
   "sqrts<ssemodefsuffix>\t{%1, %0|%0, %1}"
   [(set_attr "type" "sse")
    (set_attr "mode" "<MODE>")
-   (set_attr "athlon_decode" "*")])
+   (set_attr "athlon_decode" "*")
+   (set_attr "amdfam10_decode" "*")])
 
 (define_expand "sqrt<mode>2"
   [(set (match_operand:X87MODEF12 0 "register_operand" "")
   [(use (match_operand:X87MODEF12 0 "register_operand" ""))
    (use (match_operand:X87MODEF12 1 "general_operand" ""))
    (use (match_operand:X87MODEF12 2 "general_operand" ""))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
-       || TARGET_MIX_SSE_I387)"
+  "TARGET_USE_FANCY_MATH_387"
 {
   rtx label = gen_label_rtx ();
 
   rtx op1 = gen_reg_rtx (XFmode);
   rtx op2 = gen_reg_rtx (XFmode);
 
-  emit_insn(gen_extend<mode>xf2 (op1, operands[1]));
-  emit_insn(gen_extend<mode>xf2 (op2, operands[2]));
+  emit_insn (gen_extend<mode>xf2 (op1, operands[1]));
+  emit_insn (gen_extend<mode>xf2 (op2, operands[2]));
 
   emit_label (label);
   emit_insn (gen_fpremxf4_i387 (op1, op2, op1, op2));
   ix86_emit_fp_unordered_jump (label);
 
-  emit_insn (gen_truncxf<mode>2_i387_noop_unspec (operands[0], op1));
+  /* Truncate the result properly for strict SSE math.  */
+  if (SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH
+      && !TARGET_MIX_SSE_I387)
+    emit_insn (gen_truncxf<mode>2 (operands[0], op1));
+  else
+    emit_insn (gen_truncxf<mode>2_i387_noop_unspec (operands[0], op1));
+
   DONE;
 })
 
   [(use (match_operand:X87MODEF12 0 "register_operand" ""))
    (use (match_operand:X87MODEF12 1 "general_operand" ""))
    (use (match_operand:X87MODEF12 2 "general_operand" ""))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
-       || TARGET_MIX_SSE_I387)"
+  "TARGET_USE_FANCY_MATH_387"
 {
   rtx label = gen_label_rtx ();
 
   rtx op1 = gen_reg_rtx (XFmode);
   rtx op2 = gen_reg_rtx (XFmode);
 
-  emit_insn(gen_extend<mode>xf2 (op1, operands[1]));
-  emit_insn(gen_extend<mode>xf2 (op2, operands[2]));
+  emit_insn (gen_extend<mode>xf2 (op1, operands[1]));
+  emit_insn (gen_extend<mode>xf2 (op2, operands[2]));
 
   emit_label (label);
 
   emit_insn (gen_fprem1xf4_i387 (op1, op2, op1, op2));
   ix86_emit_fp_unordered_jump (label);
 
-  emit_insn (gen_truncxf<mode>2_i387_noop_unspec (operands[0], op1));
+  /* Truncate the result properly for strict SSE math.  */
+  if (SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH
+      && !TARGET_MIX_SSE_I387)
+    emit_insn (gen_truncxf<mode>2 (operands[0], op1));
+  else
+    emit_insn (gen_truncxf<mode>2_i387_noop_unspec (operands[0], op1));
+
   DONE;
 })
 
-(define_insn "*sindf2"
-  [(set (match_operand:DF 0 "register_operand" "=f")
-       (unspec:DF [(match_operand:DF 1 "register_operand" "0")] UNSPEC_SIN))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
-  "fsin"
-  [(set_attr "type" "fpspc")
-   (set_attr "mode" "DF")])
-
-(define_insn "*sinsf2"
-  [(set (match_operand:SF 0 "register_operand" "=f")
-       (unspec:SF [(match_operand:SF 1 "register_operand" "0")] UNSPEC_SIN))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
-  "fsin"
-  [(set_attr "type" "fpspc")
-   (set_attr "mode" "SF")])
-
-(define_insn "*sinextendsfdf2"
-  [(set (match_operand:DF 0 "register_operand" "=f")
-       (unspec:DF [(float_extend:DF
-                    (match_operand:SF 1 "register_operand" "0"))]
-                  UNSPEC_SIN))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
-  "fsin"
-  [(set_attr "type" "fpspc")
-   (set_attr "mode" "DF")])
-
-(define_insn "*sinxf2"
+(define_insn "*sinxf2_i387"
   [(set (match_operand:XF 0 "register_operand" "=f")
        (unspec:XF [(match_operand:XF 1 "register_operand" "0")] UNSPEC_SIN))]
   "TARGET_USE_FANCY_MATH_387
   [(set_attr "type" "fpspc")
    (set_attr "mode" "XF")])
 
-(define_insn "*cosdf2"
-  [(set (match_operand:DF 0 "register_operand" "=f")
-       (unspec:DF [(match_operand:DF 1 "register_operand" "0")] UNSPEC_COS))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
-  "fcos"
-  [(set_attr "type" "fpspc")
-   (set_attr "mode" "DF")])
-
-(define_insn "*cossf2"
-  [(set (match_operand:SF 0 "register_operand" "=f")
-       (unspec:SF [(match_operand:SF 1 "register_operand" "0")] UNSPEC_COS))]
+(define_insn "*sin_extend<mode>xf2_i387"
+  [(set (match_operand:XF 0 "register_operand" "=f")
+       (unspec:XF [(float_extend:XF
+                     (match_operand:X87MODEF12 1 "register_operand" "0"))]
+                  UNSPEC_SIN))]
   "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations"
-  "fcos"
+  "fsin"
   [(set_attr "type" "fpspc")
-   (set_attr "mode" "SF")])
+   (set_attr "mode" "XF")])
 
-(define_insn "*cosextendsfdf2"
-  [(set (match_operand:DF 0 "register_operand" "=f")
-       (unspec:DF [(float_extend:DF
-                    (match_operand:SF 1 "register_operand" "0"))]
-                  UNSPEC_COS))]
+(define_insn "*cosxf2_i387"
+  [(set (match_operand:XF 0 "register_operand" "=f")
+       (unspec:XF [(match_operand:XF 1 "register_operand" "0")] UNSPEC_COS))]
   "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations"
   "fcos"
   [(set_attr "type" "fpspc")
-   (set_attr "mode" "DF")])
+   (set_attr "mode" "XF")])
 
-(define_insn "*cosxf2"
+(define_insn "*cos_extend<mode>xf2_i387"
   [(set (match_operand:XF 0 "register_operand" "=f")
-       (unspec:XF [(match_operand:XF 1 "register_operand" "0")] UNSPEC_COS))]
+       (unspec:XF [(float_extend:XF
+                     (match_operand:X87MODEF12 1 "register_operand" "0"))]
+                  UNSPEC_COS))]
   "TARGET_USE_FANCY_MATH_387
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations"
   "fcos"
   [(set_attr "type" "fpspc")
    (set_attr "mode" "XF")])
 
-;; With sincos pattern defined, sin and cos builtin function will be
+;; When sincos pattern is defined, sin and cos builtin functions will be
 ;; expanded to sincos pattern with one of its outputs left unused.
-;; Cse pass  will detected, if two sincos patterns can be combined,
+;; CSE pass will figure out if two sincos patterns can be combined,
 ;; otherwise sincos pattern will be split back to sin or cos pattern,
 ;; depending on the unused output.
 
-(define_insn "sincosdf3"
-  [(set (match_operand:DF 0 "register_operand" "=f")
-       (unspec:DF [(match_operand:DF 2 "register_operand" "0")]
-                  UNSPEC_SINCOS_COS))
-   (set (match_operand:DF 1 "register_operand" "=u")
-        (unspec:DF [(match_dup 2)] UNSPEC_SINCOS_SIN))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
-  "fsincos"
-  [(set_attr "type" "fpspc")
-   (set_attr "mode" "DF")])
-
-(define_split
-  [(set (match_operand:DF 0 "register_operand" "")
-       (unspec:DF [(match_operand:DF 2 "register_operand" "")]
-                  UNSPEC_SINCOS_COS))
-   (set (match_operand:DF 1 "register_operand" "")
-       (unspec:DF [(match_dup 2)] UNSPEC_SINCOS_SIN))]
-  "find_regno_note (insn, REG_UNUSED, REGNO (operands[0]))
-   && !reload_completed && !reload_in_progress"
-  [(set (match_dup 1) (unspec:DF [(match_dup 2)] UNSPEC_SIN))]
-  "")
-
-(define_split
-  [(set (match_operand:DF 0 "register_operand" "")
-       (unspec:DF [(match_operand:DF 2 "register_operand" "")]
-                  UNSPEC_SINCOS_COS))
-   (set (match_operand:DF 1 "register_operand" "")
-       (unspec:DF [(match_dup 2)] UNSPEC_SINCOS_SIN))]
-  "find_regno_note (insn, REG_UNUSED, REGNO (operands[1]))
-   && !reload_completed && !reload_in_progress"
-  [(set (match_dup 0) (unspec:DF [(match_dup 2)] UNSPEC_COS))]
-  "")
-
-(define_insn "sincossf3"
-  [(set (match_operand:SF 0 "register_operand" "=f")
-       (unspec:SF [(match_operand:SF 2 "register_operand" "0")]
-                  UNSPEC_SINCOS_COS))
-   (set (match_operand:SF 1 "register_operand" "=u")
-        (unspec:SF [(match_dup 2)] UNSPEC_SINCOS_SIN))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
-  "fsincos"
-  [(set_attr "type" "fpspc")
-   (set_attr "mode" "SF")])
-
-(define_split
-  [(set (match_operand:SF 0 "register_operand" "")
-       (unspec:SF [(match_operand:SF 2 "register_operand" "")]
-                  UNSPEC_SINCOS_COS))
-   (set (match_operand:SF 1 "register_operand" "")
-       (unspec:SF [(match_dup 2)] UNSPEC_SINCOS_SIN))]
-  "find_regno_note (insn, REG_UNUSED, REGNO (operands[0]))
-   && !reload_completed && !reload_in_progress"
-  [(set (match_dup 1) (unspec:SF [(match_dup 2)] UNSPEC_SIN))]
-  "")
-
-(define_split
-  [(set (match_operand:SF 0 "register_operand" "")
-       (unspec:SF [(match_operand:SF 2 "register_operand" "")]
-                  UNSPEC_SINCOS_COS))
-   (set (match_operand:SF 1 "register_operand" "")
-       (unspec:SF [(match_dup 2)] UNSPEC_SINCOS_SIN))]
-  "find_regno_note (insn, REG_UNUSED, REGNO (operands[1]))
-   && !reload_completed && !reload_in_progress"
-  [(set (match_dup 0) (unspec:SF [(match_dup 2)] UNSPEC_COS))]
-  "")
-
-(define_insn "*sincosextendsfdf3"
-  [(set (match_operand:DF 0 "register_operand" "=f")
-       (unspec:DF [(float_extend:DF
-                    (match_operand:SF 2 "register_operand" "0"))]
+(define_insn "sincosxf3"
+  [(set (match_operand:XF 0 "register_operand" "=f")
+       (unspec:XF [(match_operand:XF 2 "register_operand" "0")]
                   UNSPEC_SINCOS_COS))
-   (set (match_operand:DF 1 "register_operand" "=u")
-        (unspec:DF [(float_extend:DF
-                    (match_dup 2))] UNSPEC_SINCOS_SIN))]
+   (set (match_operand:XF 1 "register_operand" "=u")
+        (unspec:XF [(match_dup 2)] UNSPEC_SINCOS_SIN))]
   "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations"
   "fsincos"
   [(set_attr "type" "fpspc")
-   (set_attr "mode" "DF")])
+   (set_attr "mode" "XF")])
 
 (define_split
-  [(set (match_operand:DF 0 "register_operand" "")
-       (unspec:DF [(float_extend:DF
-                    (match_operand:SF 2 "register_operand" ""))]
+  [(set (match_operand:XF 0 "register_operand" "")
+       (unspec:XF [(match_operand:XF 2 "register_operand" "")]
                   UNSPEC_SINCOS_COS))
-   (set (match_operand:DF 1 "register_operand" "")
-        (unspec:DF [(float_extend:DF
-                    (match_dup 2))] UNSPEC_SINCOS_SIN))]
+   (set (match_operand:XF 1 "register_operand" "")
+       (unspec:XF [(match_dup 2)] UNSPEC_SINCOS_SIN))]
   "find_regno_note (insn, REG_UNUSED, REGNO (operands[0]))
    && !reload_completed && !reload_in_progress"
-  [(set (match_dup 1) (unspec:DF [(float_extend:DF
-                                  (match_dup 2))] UNSPEC_SIN))]
+  [(set (match_dup 1) (unspec:XF [(match_dup 2)] UNSPEC_SIN))]
   "")
 
 (define_split
-  [(set (match_operand:DF 0 "register_operand" "")
-       (unspec:DF [(float_extend:DF
-                    (match_operand:SF 2 "register_operand" ""))]
+  [(set (match_operand:XF 0 "register_operand" "")
+       (unspec:XF [(match_operand:XF 2 "register_operand" "")]
                   UNSPEC_SINCOS_COS))
-   (set (match_operand:DF 1 "register_operand" "")
-        (unspec:DF [(float_extend:DF
-                    (match_dup 2))] UNSPEC_SINCOS_SIN))]
+   (set (match_operand:XF 1 "register_operand" "")
+       (unspec:XF [(match_dup 2)] UNSPEC_SINCOS_SIN))]
   "find_regno_note (insn, REG_UNUSED, REGNO (operands[1]))
    && !reload_completed && !reload_in_progress"
-  [(set (match_dup 0) (unspec:DF [(float_extend:DF
-                                  (match_dup 2))] UNSPEC_COS))]
+  [(set (match_dup 0) (unspec:XF [(match_dup 2)] UNSPEC_COS))]
   "")
 
-(define_insn "sincosxf3"
+(define_insn "sincos_extend<mode>xf3_i387"
   [(set (match_operand:XF 0 "register_operand" "=f")
-       (unspec:XF [(match_operand:XF 2 "register_operand" "0")]
+       (unspec:XF [(float_extend:XF
+                     (match_operand:X87MODEF12 2 "register_operand" "0"))]
                   UNSPEC_SINCOS_COS))
    (set (match_operand:XF 1 "register_operand" "=u")
-        (unspec:XF [(match_dup 2)] UNSPEC_SINCOS_SIN))]
+        (unspec:XF [(float_extend:XF (match_dup 2))] UNSPEC_SINCOS_SIN))]
   "TARGET_USE_FANCY_MATH_387
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations"
   "fsincos"
   [(set_attr "type" "fpspc")
 
 (define_split
   [(set (match_operand:XF 0 "register_operand" "")
-       (unspec:XF [(match_operand:XF 2 "register_operand" "")]
+       (unspec:XF [(float_extend:XF
+                     (match_operand:X87MODEF12 2 "register_operand" ""))]
                   UNSPEC_SINCOS_COS))
    (set (match_operand:XF 1 "register_operand" "")
-       (unspec:XF [(match_dup 2)] UNSPEC_SINCOS_SIN))]
+       (unspec:XF [(float_extend:XF (match_dup 2))] UNSPEC_SINCOS_SIN))]
   "find_regno_note (insn, REG_UNUSED, REGNO (operands[0]))
    && !reload_completed && !reload_in_progress"
-  [(set (match_dup 1) (unspec:XF [(match_dup 2)] UNSPEC_SIN))]
+  [(set (match_dup 1) (unspec:XF [(float_extend:XF (match_dup 2))] UNSPEC_SIN))]
   "")
 
 (define_split
   [(set (match_operand:XF 0 "register_operand" "")
-       (unspec:XF [(match_operand:XF 2 "register_operand" "")]
+       (unspec:XF [(float_extend:XF
+                     (match_operand:X87MODEF12 2 "register_operand" ""))]
                   UNSPEC_SINCOS_COS))
    (set (match_operand:XF 1 "register_operand" "")
-       (unspec:XF [(match_dup 2)] UNSPEC_SINCOS_SIN))]
+       (unspec:XF [(float_extend:XF (match_dup 2))] UNSPEC_SINCOS_SIN))]
   "find_regno_note (insn, REG_UNUSED, REGNO (operands[1]))
    && !reload_completed && !reload_in_progress"
-  [(set (match_dup 0) (unspec:XF [(match_dup 2)] UNSPEC_COS))]
-  "")
-
-(define_insn "*tandf3_1"
-  [(set (match_operand:DF 0 "register_operand" "=f")
-       (unspec:DF [(match_operand:DF 2 "register_operand" "0")]
-                  UNSPEC_TAN_ONE))
-   (set (match_operand:DF 1 "register_operand" "=u")
-        (unspec:DF [(match_dup 2)] UNSPEC_TAN_TAN))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
-  "fptan"
-  [(set_attr "type" "fpspc")
-   (set_attr "mode" "DF")])
-
-;; optimize sequence: fptan
-;;                   fstp    %st(0)
-;;                   fld1
-;; into fptan insn.
-
-(define_peephole2
-  [(parallel[(set (match_operand:DF 0 "register_operand" "")
-                 (unspec:DF [(match_operand:DF 2 "register_operand" "")]
-                            UNSPEC_TAN_ONE))
-            (set (match_operand:DF 1 "register_operand" "")
-                 (unspec:DF [(match_dup 2)] UNSPEC_TAN_TAN))])
-   (set (match_dup 0)
-        (match_operand:DF 3 "immediate_operand" ""))]
-  "standard_80387_constant_p (operands[3]) == 2"
-  [(parallel[(set (match_dup 0) (unspec:DF [(match_dup 2)] UNSPEC_TAN_ONE))
-            (set (match_dup 1) (unspec:DF [(match_dup 2)] UNSPEC_TAN_TAN))])]
+  [(set (match_dup 0) (unspec:XF [(float_extend:XF (match_dup 2))] UNSPEC_COS))]
   "")
 
-(define_expand "tandf2"
-  [(parallel [(set (match_dup 2)
-                  (unspec:DF [(match_operand:DF 1 "register_operand" "")]
-                             UNSPEC_TAN_ONE))
-             (set (match_operand:DF 0 "register_operand" "")
-                  (unspec:DF [(match_dup 1)] UNSPEC_TAN_TAN))])]
+(define_expand "sincos<mode>3"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "register_operand" ""))
+   (use (match_operand:X87MODEF12 2 "register_operand" ""))]
   "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations"
 {
-  operands[2] = gen_reg_rtx (DFmode);
+  rtx op0 = gen_reg_rtx (XFmode);
+  rtx op1 = gen_reg_rtx (XFmode);
+
+  emit_insn (gen_sincos_extend<mode>xf3_i387 (op0, op1, operands[2]));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op0));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[1], op1));
+  DONE;
 })
 
-(define_insn "*tansf3_1"
-  [(set (match_operand:SF 0 "register_operand" "=f")
-       (unspec:SF [(match_operand:SF 2 "register_operand" "0")]
-                  UNSPEC_TAN_ONE))
-   (set (match_operand:SF 1 "register_operand" "=u")
-        (unspec:SF [(match_dup 2)] UNSPEC_TAN_TAN))]
+(define_insn "fptanxf4_i387"
+  [(set (match_operand:XF 0 "register_operand" "=f")
+       (match_operand:XF 3 "const_double_operand" "F"))
+   (set (match_operand:XF 1 "register_operand" "=u")
+        (unspec:XF [(match_operand:XF 2 "register_operand" "0")]
+                  UNSPEC_TAN))]
   "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
+   && flag_unsafe_math_optimizations
+   && standard_80387_constant_p (operands[3]) == 2"
   "fptan"
   [(set_attr "type" "fpspc")
-   (set_attr "mode" "SF")])
-
-;; optimize sequence: fptan
-;;                   fstp    %st(0)
-;;                   fld1
-;; into fptan insn.
-
-(define_peephole2
-  [(parallel[(set (match_operand:SF 0 "register_operand" "")
-                 (unspec:SF [(match_operand:SF 2 "register_operand" "")]
-                            UNSPEC_TAN_ONE))
-            (set (match_operand:SF 1 "register_operand" "")
-                 (unspec:SF [(match_dup 2)] UNSPEC_TAN_TAN))])
-   (set (match_dup 0)
-        (match_operand:SF 3 "immediate_operand" ""))]
-  "standard_80387_constant_p (operands[3]) == 2"
-  [(parallel[(set (match_dup 0) (unspec:SF [(match_dup 2)] UNSPEC_TAN_ONE))
-            (set (match_dup 1) (unspec:SF [(match_dup 2)] UNSPEC_TAN_TAN))])]
-  "")
-
-(define_expand "tansf2"
-  [(parallel [(set (match_dup 2)
-                  (unspec:SF [(match_operand:SF 1 "register_operand" "")]
-                             UNSPEC_TAN_ONE))
-             (set (match_operand:SF 0 "register_operand" "")
-                  (unspec:SF [(match_dup 1)] UNSPEC_TAN_TAN))])]
-  "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
-{
-  operands[2] = gen_reg_rtx (SFmode);
-})
+   (set_attr "mode" "XF")])
 
-(define_insn "*tanxf3_1"
-  [(set (match_operand:XF 0 "register_operand" "=f")
-       (unspec:XF [(match_operand:XF 2 "register_operand" "0")]
-                  UNSPEC_TAN_ONE))
+(define_insn "fptan_extend<mode>xf4_i387"
+  [(set (match_operand:X87MODEF12 0 "register_operand" "=f")
+       (match_operand:X87MODEF12 3 "const_double_operand" "F"))
    (set (match_operand:XF 1 "register_operand" "=u")
-        (unspec:XF [(match_dup 2)] UNSPEC_TAN_TAN))]
+        (unspec:XF [(float_extend:XF
+                     (match_operand:X87MODEF12 2 "register_operand" "0"))]
+                  UNSPEC_TAN))]
   "TARGET_USE_FANCY_MATH_387
-   && flag_unsafe_math_optimizations"
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
+   && flag_unsafe_math_optimizations
+   && standard_80387_constant_p (operands[3]) == 2"
   "fptan"
   [(set_attr "type" "fpspc")
    (set_attr "mode" "XF")])
 
-;; optimize sequence: fptan
-;;                   fstp    %st(0)
-;;                   fld1
-;; into fptan insn.
-
-(define_peephole2
-  [(parallel[(set (match_operand:XF 0 "register_operand" "")
-                 (unspec:XF [(match_operand:XF 2 "register_operand" "")]
-                            UNSPEC_TAN_ONE))
-            (set (match_operand:XF 1 "register_operand" "")
-                 (unspec:XF [(match_dup 2)] UNSPEC_TAN_TAN))])
-   (set (match_dup 0)
-        (match_operand:XF 3 "immediate_operand" ""))]
-  "standard_80387_constant_p (operands[3]) == 2"
-  [(parallel[(set (match_dup 0) (unspec:XF [(match_dup 2)] UNSPEC_TAN_ONE))
-            (set (match_dup 1) (unspec:XF [(match_dup 2)] UNSPEC_TAN_TAN))])]
-  "")
-
 (define_expand "tanxf2"
-  [(parallel [(set (match_dup 2)
-                  (unspec:XF [(match_operand:XF 1 "register_operand" "")]
-                             UNSPEC_TAN_ONE))
-             (set (match_operand:XF 0 "register_operand" "")
-                  (unspec:XF [(match_dup 1)] UNSPEC_TAN_TAN))])]
+  [(use (match_operand:XF 0 "register_operand" ""))
+   (use (match_operand:XF 1 "register_operand" ""))]
   "TARGET_USE_FANCY_MATH_387
    && flag_unsafe_math_optimizations"
 {
-  operands[2] = gen_reg_rtx (XFmode);
-})
+  rtx one = gen_reg_rtx (XFmode);
+  rtx op2 = CONST1_RTX (XFmode); /* fld1 */
 
-(define_insn "atan2df3_1"
-  [(set (match_operand:DF 0 "register_operand" "=f")
-       (unspec:DF [(match_operand:DF 2 "register_operand" "0")
-                   (match_operand:DF 1 "register_operand" "u")]
-                  UNSPEC_FPATAN))
-   (clobber (match_scratch:DF 3 "=1"))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
-  "fpatan"
-  [(set_attr "type" "fpspc")
-   (set_attr "mode" "DF")])
-
-(define_expand "atan2df3"
-  [(use (match_operand:DF 0 "register_operand" ""))
-   (use (match_operand:DF 2 "register_operand" ""))
-   (use (match_operand:DF 1 "register_operand" ""))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
-{
-  rtx copy = gen_reg_rtx (DFmode);
-  emit_move_insn (copy, operands[1]);
-  emit_insn (gen_atan2df3_1 (operands[0], copy, operands[2]));
+  emit_insn (gen_fptanxf4_i387 (one, operands[0], operands[1], op2));
   DONE;
 })
 
-(define_expand "atandf2"
-  [(parallel [(set (match_operand:DF 0 "register_operand" "")
-                  (unspec:DF [(match_dup 2)
-                              (match_operand:DF 1 "register_operand" "")]
-                   UNSPEC_FPATAN))
-             (clobber (match_scratch:DF 3 ""))])]
+(define_expand "tan<mode>2"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "register_operand" ""))]
   "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations"
 {
-  operands[2] = gen_reg_rtx (DFmode);
-  emit_move_insn (operands[2], CONST1_RTX (DFmode));  /* fld1 */
-})
+  rtx op0 = gen_reg_rtx (XFmode);
 
-(define_insn "atan2sf3_1"
-  [(set (match_operand:SF 0 "register_operand" "=f")
-        (unspec:SF [(match_operand:SF 2 "register_operand" "0")
-                   (match_operand:SF 1 "register_operand" "u")]
-                  UNSPEC_FPATAN))
-   (clobber (match_scratch:SF 3 "=1"))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
-  "fpatan"
-  [(set_attr "type" "fpspc")
-   (set_attr "mode" "SF")])
+  rtx one = gen_reg_rtx (<MODE>mode);
+  rtx op2 = CONST1_RTX (<MODE>mode); /* fld1 */
 
-(define_expand "atan2sf3"
-  [(use (match_operand:SF 0 "register_operand" ""))
-   (use (match_operand:SF 2 "register_operand" ""))
-   (use (match_operand:SF 1 "register_operand" ""))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
-{
-  rtx copy = gen_reg_rtx (SFmode);
-  emit_move_insn (copy, operands[1]);
-  emit_insn (gen_atan2sf3_1 (operands[0], copy, operands[2]));
+  emit_insn (gen_fptan_extend<mode>xf4_i387 (one, op0,
+                                            operands[1], op2));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op0));
   DONE;
 })
 
-(define_expand "atansf2"
-  [(parallel [(set (match_operand:SF 0 "register_operand" "")
-                  (unspec:SF [(match_dup 2)
-                              (match_operand:SF 1 "register_operand" "")]
-                   UNSPEC_FPATAN))
-             (clobber (match_scratch:SF 3 ""))])]
+(define_insn "*fpatanxf3_i387"
+  [(set (match_operand:XF 0 "register_operand" "=f")
+        (unspec:XF [(match_operand:XF 1 "register_operand" "0")
+                   (match_operand:XF 2 "register_operand" "u")]
+                  UNSPEC_FPATAN))
+   (clobber (match_scratch:XF 3 "=2"))]
   "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations"
-{
-  operands[2] = gen_reg_rtx (SFmode);
-  emit_move_insn (operands[2], CONST1_RTX (SFmode));  /* fld1 */
-})
+  "fpatan"
+  [(set_attr "type" "fpspc")
+   (set_attr "mode" "XF")])
 
-(define_insn "atan2xf3_1"
+(define_insn "fpatan_extend<mode>xf3_i387"
   [(set (match_operand:XF 0 "register_operand" "=f")
-        (unspec:XF [(match_operand:XF 2 "register_operand" "0")
-                   (match_operand:XF 1 "register_operand" "u")]
+        (unspec:XF [(float_extend:XF
+                     (match_operand:X87MODEF12 1 "register_operand" "0"))
+                   (float_extend:XF
+                     (match_operand:X87MODEF12 2 "register_operand" "u"))]
                   UNSPEC_FPATAN))
-   (clobber (match_scratch:XF 3 "=1"))]
+   (clobber (match_scratch:XF 3 "=2"))]
   "TARGET_USE_FANCY_MATH_387
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations"
   "fpatan"
   [(set_attr "type" "fpspc")
    (set_attr "mode" "XF")])
 
 (define_expand "atan2xf3"
-  [(use (match_operand:XF 0 "register_operand" ""))
-   (use (match_operand:XF 2 "register_operand" ""))
-   (use (match_operand:XF 1 "register_operand" ""))]
+  [(parallel [(set (match_operand:XF 0 "register_operand" "")
+                  (unspec:XF [(match_operand:XF 2 "register_operand" "")
+                              (match_operand:XF 1 "register_operand" "")]
+                             UNSPEC_FPATAN))
+             (clobber (match_scratch:XF 3 ""))])]
   "TARGET_USE_FANCY_MATH_387
    && flag_unsafe_math_optimizations"
+  "")
+
+(define_expand "atan2<mode>3"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "register_operand" ""))
+   (use (match_operand:X87MODEF12 2 "register_operand" ""))]
+  "TARGET_USE_FANCY_MATH_387
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
+   && flag_unsafe_math_optimizations"
 {
-  rtx copy = gen_reg_rtx (XFmode);
-  emit_move_insn (copy, operands[1]);
-  emit_insn (gen_atan2xf3_1 (operands[0], copy, operands[2]));
+  rtx op0 = gen_reg_rtx (XFmode);
+
+  emit_insn (gen_fpatan_extend<mode>xf3_i387 (op0, operands[2], operands[1]));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op0));
   DONE;
 })
 
   [(parallel [(set (match_operand:XF 0 "register_operand" "")
                   (unspec:XF [(match_dup 2)
                               (match_operand:XF 1 "register_operand" "")]
-                   UNSPEC_FPATAN))
+                             UNSPEC_FPATAN))
              (clobber (match_scratch:XF 3 ""))])]
   "TARGET_USE_FANCY_MATH_387
    && flag_unsafe_math_optimizations"
   emit_move_insn (operands[2], CONST1_RTX (XFmode));  /* fld1 */
 })
 
-(define_expand "asindf2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:DF 1 "register_operand" "")))
-   (set (match_dup 3) (mult:XF (match_dup 2) (match_dup 2)))
-   (set (match_dup 5) (minus:XF (match_dup 4) (match_dup 3)))
-   (set (match_dup 6) (sqrt:XF (match_dup 5)))
-   (parallel [(set (match_dup 7)
-                  (unspec:XF [(match_dup 6) (match_dup 2)]
-                             UNSPEC_FPATAN))
-             (clobber (match_scratch:XF 8 ""))])
-   (set (match_operand:DF 0 "register_operand" "")
-       (float_truncate:DF (match_dup 7)))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations && !optimize_size"
-{
-  int i;
-
-  for (i=2; i<8; i++)
-    operands[i] = gen_reg_rtx (XFmode);
-
-  emit_move_insn (operands[4], CONST1_RTX (XFmode));  /* fld1 */
-})
-
-(define_expand "asinsf2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:SF 1 "register_operand" "")))
-   (set (match_dup 3) (mult:XF (match_dup 2) (match_dup 2)))
-   (set (match_dup 5) (minus:XF (match_dup 4) (match_dup 3)))
-   (set (match_dup 6) (sqrt:XF (match_dup 5)))
-   (parallel [(set (match_dup 7)
-                  (unspec:XF [(match_dup 6) (match_dup 2)]
-                             UNSPEC_FPATAN))
-             (clobber (match_scratch:XF 8 ""))])
-   (set (match_operand:SF 0 "register_operand" "")
-       (float_truncate:SF (match_dup 7)))]
+(define_expand "atan<mode>2"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "register_operand" ""))]
   "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations && !optimize_size"
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
+   && flag_unsafe_math_optimizations"
 {
-  int i;
+  rtx op0 = gen_reg_rtx (XFmode);
 
-  for (i=2; i<8; i++)
-    operands[i] = gen_reg_rtx (XFmode);
+  rtx op2 = gen_reg_rtx (<MODE>mode);
+  emit_move_insn (op2, CONST1_RTX (<MODE>mode));  /* fld1 */
 
-  emit_move_insn (operands[4], CONST1_RTX (XFmode));  /* fld1 */
+  emit_insn (gen_fpatan_extend<mode>xf3_i387 (op0, op2, operands[1]));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op0));
+  DONE;
 })
 
 (define_expand "asinxf2"
 {
   int i;
 
-  for (i=2; i<6; i++)
+  for (i = 2; i < 6; i++)
     operands[i] = gen_reg_rtx (XFmode);
 
   emit_move_insn (operands[3], CONST1_RTX (XFmode));  /* fld1 */
 })
 
-(define_expand "acosdf2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:DF 1 "register_operand" "")))
-   (set (match_dup 3) (mult:XF (match_dup 2) (match_dup 2)))
-   (set (match_dup 5) (minus:XF (match_dup 4) (match_dup 3)))
-   (set (match_dup 6) (sqrt:XF (match_dup 5)))
-   (parallel [(set (match_dup 7)
-                  (unspec:XF [(match_dup 2) (match_dup 6)]
-                             UNSPEC_FPATAN))
-             (clobber (match_scratch:XF 8 ""))])
-   (set (match_operand:DF 0 "register_operand" "")
-       (float_truncate:DF (match_dup 7)))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations && !optimize_size"
-{
-  int i;
-
-  for (i=2; i<8; i++)
-    operands[i] = gen_reg_rtx (XFmode);
-
-  emit_move_insn (operands[4], CONST1_RTX (XFmode));  /* fld1 */
-})
-
-(define_expand "acossf2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:SF 1 "register_operand" "")))
-   (set (match_dup 3) (mult:XF (match_dup 2) (match_dup 2)))
-   (set (match_dup 5) (minus:XF (match_dup 4) (match_dup 3)))
-   (set (match_dup 6) (sqrt:XF (match_dup 5)))
-   (parallel [(set (match_dup 7)
-                  (unspec:XF [(match_dup 2) (match_dup 6)]
-                             UNSPEC_FPATAN))
-             (clobber (match_scratch:XF 8 ""))])
-   (set (match_operand:SF 0 "register_operand" "")
-       (float_truncate:SF (match_dup 7)))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
+(define_expand "asin<mode>2"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "general_operand" ""))]
+ "TARGET_USE_FANCY_MATH_387
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations && !optimize_size"
 {
-  int i;
-
-  for (i=2; i<8; i++)
-    operands[i] = gen_reg_rtx (XFmode);
+  rtx op0 = gen_reg_rtx (XFmode);
+  rtx op1 = gen_reg_rtx (XFmode);
 
-  emit_move_insn (operands[4], CONST1_RTX (XFmode));  /* fld1 */
+  emit_insn (gen_extend<mode>xf2 (op1, operands[1]));
+  emit_insn (gen_asinxf2 (op0, op1));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op0));
+  DONE;
 })
 
 (define_expand "acosxf2"
 {
   int i;
 
-  for (i=2; i<6; i++)
+  for (i = 2; i < 6; i++)
     operands[i] = gen_reg_rtx (XFmode);
 
   emit_move_insn (operands[3], CONST1_RTX (XFmode));  /* fld1 */
 })
 
-(define_insn "fyl2x_xf3"
+(define_expand "acos<mode>2"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "general_operand" ""))]
+ "TARGET_USE_FANCY_MATH_387
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
+   && flag_unsafe_math_optimizations && !optimize_size"
+{
+  rtx op0 = gen_reg_rtx (XFmode);
+  rtx op1 = gen_reg_rtx (XFmode);
+
+  emit_insn (gen_extend<mode>xf2 (op1, operands[1]));
+  emit_insn (gen_acosxf2 (op0, op1));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op0));
+  DONE;
+})
+
+(define_insn "fyl2xxf3_i387"
   [(set (match_operand:XF 0 "register_operand" "=f")
-        (unspec:XF [(match_operand:XF 2 "register_operand" "0")
-                   (match_operand:XF 1 "register_operand" "u")]
+        (unspec:XF [(match_operand:XF 1 "register_operand" "0")
+                   (match_operand:XF 2 "register_operand" "u")]
                   UNSPEC_FYL2X))
-   (clobber (match_scratch:XF 3 "=1"))]
+   (clobber (match_scratch:XF 3 "=2"))]
   "TARGET_USE_FANCY_MATH_387
    && flag_unsafe_math_optimizations"
   "fyl2x"
   [(set_attr "type" "fpspc")
    (set_attr "mode" "XF")])
 
-(define_expand "logsf2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:SF 1 "register_operand" "")))
-   (parallel [(set (match_dup 4)
-                  (unspec:XF [(match_dup 2)
-                              (match_dup 3)] UNSPEC_FYL2X))
-             (clobber (match_scratch:XF 5 ""))])
-   (set (match_operand:SF 0 "register_operand" "")
-       (float_truncate:SF (match_dup 4)))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
-{
-  rtx temp;
-
-  operands[2] = gen_reg_rtx (XFmode);
-  operands[3] = gen_reg_rtx (XFmode);
-  operands[4] = gen_reg_rtx (XFmode);
-
-  temp = standard_80387_constant_rtx (4); /* fldln2 */
-  emit_move_insn (operands[3], temp);
-})
-
-(define_expand "logdf2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:DF 1 "register_operand" "")))
-   (parallel [(set (match_dup 4)
-                  (unspec:XF [(match_dup 2)
-                              (match_dup 3)] UNSPEC_FYL2X))
-             (clobber (match_scratch:XF 5 ""))])
-   (set (match_operand:DF 0 "register_operand" "")
-       (float_truncate:DF (match_dup 4)))]
+(define_insn "fyl2x_extend<mode>xf3_i387"
+  [(set (match_operand:XF 0 "register_operand" "=f")
+        (unspec:XF [(float_extend:XF
+                     (match_operand:X87MODEF12 1 "register_operand" "0"))
+                   (match_operand:XF 2 "register_operand" "u")]
+                  UNSPEC_FYL2X))
+   (clobber (match_scratch:XF 3 "=2"))]
   "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations"
-{
-  rtx temp;
-
-  operands[2] = gen_reg_rtx (XFmode);
-  operands[3] = gen_reg_rtx (XFmode);
-  operands[4] = gen_reg_rtx (XFmode);
-
-  temp = standard_80387_constant_rtx (4); /* fldln2 */
-  emit_move_insn (operands[3], temp);
-})
+  "fyl2x"
+  [(set_attr "type" "fpspc")
+   (set_attr "mode" "XF")])
 
 (define_expand "logxf2"
   [(parallel [(set (match_operand:XF 0 "register_operand" "")
   "TARGET_USE_FANCY_MATH_387
    && flag_unsafe_math_optimizations"
 {
-  rtx temp;
-
-  operands[2] = gen_reg_rtx (XFmode);
-  temp = standard_80387_constant_rtx (4); /* fldln2 */
-  emit_move_insn (operands[2], temp);
-})
-
-(define_expand "log10sf2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:SF 1 "register_operand" "")))
-   (parallel [(set (match_dup 4)
-                  (unspec:XF [(match_dup 2)
-                              (match_dup 3)] UNSPEC_FYL2X))
-             (clobber (match_scratch:XF 5 ""))])
-   (set (match_operand:SF 0 "register_operand" "")
-       (float_truncate:SF (match_dup 4)))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
-{
-  rtx temp;
-
   operands[2] = gen_reg_rtx (XFmode);
-  operands[3] = gen_reg_rtx (XFmode);
-  operands[4] = gen_reg_rtx (XFmode);
-
-  temp = standard_80387_constant_rtx (3); /* fldlg2 */
-  emit_move_insn (operands[3], temp);
+  emit_move_insn (operands[2], standard_80387_constant_rtx (4)); /* fldln2 */
 })
 
-(define_expand "log10df2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:DF 1 "register_operand" "")))
-   (parallel [(set (match_dup 4)
-                  (unspec:XF [(match_dup 2)
-                              (match_dup 3)] UNSPEC_FYL2X))
-             (clobber (match_scratch:XF 5 ""))])
-   (set (match_operand:DF 0 "register_operand" "")
-       (float_truncate:DF (match_dup 4)))]
+(define_expand "log<mode>2"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "register_operand" ""))]
   "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations"
 {
-  rtx temp;
+  rtx op0 = gen_reg_rtx (XFmode);
 
-  operands[2] = gen_reg_rtx (XFmode);
-  operands[3] = gen_reg_rtx (XFmode);
-  operands[4] = gen_reg_rtx (XFmode);
+  rtx op2 = gen_reg_rtx (XFmode);
+  emit_move_insn (op2, standard_80387_constant_rtx (4)); /* fldln2 */
 
-  temp = standard_80387_constant_rtx (3); /* fldlg2 */
-  emit_move_insn (operands[3], temp);
+  emit_insn (gen_fyl2x_extend<mode>xf3_i387 (op0, operands[1], op2));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op0));
+  DONE;
 })
 
 (define_expand "log10xf2"
   "TARGET_USE_FANCY_MATH_387
    && flag_unsafe_math_optimizations"
 {
-  rtx temp;
-
   operands[2] = gen_reg_rtx (XFmode);
-  temp = standard_80387_constant_rtx (3); /* fldlg2 */
-  emit_move_insn (operands[2], temp);
+  emit_move_insn (operands[2], standard_80387_constant_rtx (3)); /* fldlg2 */
 })
 
-(define_expand "log2sf2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:SF 1 "register_operand" "")))
-   (parallel [(set (match_dup 4)
-                  (unspec:XF [(match_dup 2)
-                              (match_dup 3)] UNSPEC_FYL2X))
-             (clobber (match_scratch:XF 5 ""))])
-   (set (match_operand:SF 0 "register_operand" "")
-       (float_truncate:SF (match_dup 4)))]
+(define_expand "log10<mode>2"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "register_operand" ""))]
   "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations"
 {
-  operands[2] = gen_reg_rtx (XFmode);
-  operands[3] = gen_reg_rtx (XFmode);
-  operands[4] = gen_reg_rtx (XFmode);
-
-  emit_move_insn (operands[3], CONST1_RTX (XFmode));  /* fld1 */
-})
+  rtx op0 = gen_reg_rtx (XFmode);
 
-(define_expand "log2df2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:DF 1 "register_operand" "")))
-   (parallel [(set (match_dup 4)
-                  (unspec:XF [(match_dup 2)
-                              (match_dup 3)] UNSPEC_FYL2X))
-             (clobber (match_scratch:XF 5 ""))])
-   (set (match_operand:DF 0 "register_operand" "")
-       (float_truncate:DF (match_dup 4)))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations"
-{
-  operands[2] = gen_reg_rtx (XFmode);
-  operands[3] = gen_reg_rtx (XFmode);
-  operands[4] = gen_reg_rtx (XFmode);
+  rtx op2 = gen_reg_rtx (XFmode);
+  emit_move_insn (op2, standard_80387_constant_rtx (3)); /* fldlg2 */
 
-  emit_move_insn (operands[3], CONST1_RTX (XFmode));  /* fld1 */
+  emit_insn (gen_fyl2x_extend<mode>xf3_i387 (op0, operands[1], op2));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op0));
+  DONE;
 })
 
 (define_expand "log2xf2"
    && flag_unsafe_math_optimizations"
 {
   operands[2] = gen_reg_rtx (XFmode);
-  emit_move_insn (operands[2], CONST1_RTX (XFmode));  /* fld1 */
+  emit_move_insn (operands[2], CONST1_RTX (XFmode)); /* fld1 */
+})
+
+(define_expand "log2<mode>2"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "register_operand" ""))]
+  "TARGET_USE_FANCY_MATH_387
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
+   && flag_unsafe_math_optimizations"
+{
+  rtx op0 = gen_reg_rtx (XFmode);
+
+  rtx op2 = gen_reg_rtx (XFmode);
+  emit_move_insn (op2, CONST1_RTX (XFmode)); /* fld1 */
+
+  emit_insn (gen_fyl2x_extend<mode>xf3_i387 (op0, operands[1], op2));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op0));
+  DONE;
 })
 
-(define_insn "fyl2xp1_xf3"
+(define_insn "fyl2xp1xf3_i387"
   [(set (match_operand:XF 0 "register_operand" "=f")
-        (unspec:XF [(match_operand:XF 2 "register_operand" "0")
-                   (match_operand:XF 1 "register_operand" "u")]
+        (unspec:XF [(match_operand:XF 1 "register_operand" "0")
+                   (match_operand:XF 2 "register_operand" "u")]
                   UNSPEC_FYL2XP1))
-   (clobber (match_scratch:XF 3 "=1"))]
+   (clobber (match_scratch:XF 3 "=2"))]
   "TARGET_USE_FANCY_MATH_387
    && flag_unsafe_math_optimizations"
   "fyl2xp1"
   [(set_attr "type" "fpspc")
    (set_attr "mode" "XF")])
 
-(define_expand "log1psf2"
-  [(use (match_operand:SF 0 "register_operand" ""))
-   (use (match_operand:SF 1 "register_operand" ""))]
+(define_insn "fyl2xp1_extend<mode>xf3_i387"
+  [(set (match_operand:XF 0 "register_operand" "=f")
+        (unspec:XF [(float_extend:XF
+                     (match_operand:X87MODEF12 1 "register_operand" "0"))
+                   (match_operand:XF 2 "register_operand" "u")]
+                  UNSPEC_FYL2XP1))
+   (clobber (match_scratch:XF 3 "=2"))]
+  "TARGET_USE_FANCY_MATH_387
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
+   && flag_unsafe_math_optimizations"
+  "fyl2xp1"
+  [(set_attr "type" "fpspc")
+   (set_attr "mode" "XF")])
+
+(define_expand "log1pxf2"
+  [(use (match_operand:XF 0 "register_operand" ""))
+   (use (match_operand:XF 1 "register_operand" ""))]
   "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations && !optimize_size"
 {
-  rtx op0 = gen_reg_rtx (XFmode);
-  rtx op1 = gen_reg_rtx (XFmode);
-
-  emit_insn (gen_extendsfxf2 (op1, operands[1]));
-  ix86_emit_i387_log1p (op0, op1);
-  emit_insn (gen_truncxfsf2_i387_noop (operands[0], op0));
+  ix86_emit_i387_log1p (operands[0], operands[1]);
   DONE;
 })
 
-(define_expand "log1pdf2"
-  [(use (match_operand:DF 0 "register_operand" ""))
-   (use (match_operand:DF 1 "register_operand" ""))]
+(define_expand "log1p<mode>2"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "register_operand" ""))]
   "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations && !optimize_size"
 {
   rtx op0 = gen_reg_rtx (XFmode);
-  rtx op1 = gen_reg_rtx (XFmode);
 
-  emit_insn (gen_extenddfxf2 (op1, operands[1]));
-  ix86_emit_i387_log1p (op0, op1);
-  emit_insn (gen_truncxfdf2_i387_noop (operands[0], op0));
-  DONE;
-})
+  operands[1] = gen_rtx_FLOAT_EXTEND (XFmode, operands[1]);
 
-(define_expand "log1pxf2"
-  [(use (match_operand:XF 0 "register_operand" ""))
-   (use (match_operand:XF 1 "register_operand" ""))]
-  "TARGET_USE_FANCY_MATH_387
-   && flag_unsafe_math_optimizations && !optimize_size"
-{
-  ix86_emit_i387_log1p (operands[0], operands[1]);
+  ix86_emit_i387_log1p (op0, operands[1]);
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op0));
   DONE;
 })
 
-(define_insn "*fxtractxf3"
+(define_insn "fxtractxf3_i387"
   [(set (match_operand:XF 0 "register_operand" "=f")
        (unspec:XF [(match_operand:XF 2 "register_operand" "0")]
                   UNSPEC_XTRACT_FRACT))
   [(set_attr "type" "fpspc")
    (set_attr "mode" "XF")])
 
-(define_expand "logbsf2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:SF 1 "register_operand" "")))
-   (parallel [(set (match_dup 3)
-                  (unspec:XF [(match_dup 2)] UNSPEC_XTRACT_FRACT))
-             (set (match_dup 4)
-                  (unspec:XF [(match_dup 2)] UNSPEC_XTRACT_EXP))])
-   (set (match_operand:SF 0 "register_operand" "")
-       (float_truncate:SF (match_dup 4)))]
+(define_insn "fxtract_extend<mode>xf3_i387"
+  [(set (match_operand:XF 0 "register_operand" "=f")
+       (unspec:XF [(float_extend:XF
+                     (match_operand:X87MODEF12 2 "register_operand" "0"))]
+                  UNSPEC_XTRACT_FRACT))
+   (set (match_operand:XF 1 "register_operand" "=u")
+        (unspec:XF [(float_extend:XF (match_dup 2))] UNSPEC_XTRACT_EXP))]
   "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations"
-{
-  operands[2] = gen_reg_rtx (XFmode);
-  operands[3] = gen_reg_rtx (XFmode);
-  operands[4] = gen_reg_rtx (XFmode);
-})
+  "fxtract"
+  [(set_attr "type" "fpspc")
+   (set_attr "mode" "XF")])
 
-(define_expand "logbdf2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:DF 1 "register_operand" "")))
-   (parallel [(set (match_dup 3)
-                  (unspec:XF [(match_dup 2)] UNSPEC_XTRACT_FRACT))
-             (set (match_dup 4)
-                  (unspec:XF [(match_dup 2)] UNSPEC_XTRACT_EXP))])
-   (set (match_operand:DF 0 "register_operand" "")
-       (float_truncate:DF (match_dup 4)))]
+(define_expand "logbxf2"
+  [(parallel [(set (match_dup 2)
+                  (unspec:XF [(match_operand:XF 1 "register_operand" "")]
+                             UNSPEC_XTRACT_FRACT))
+             (set (match_operand:XF 0 "register_operand" "")
+                  (unspec:XF [(match_dup 1)] UNSPEC_XTRACT_EXP))])]
   "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations"
 {
   operands[2] = gen_reg_rtx (XFmode);
-  operands[3] = gen_reg_rtx (XFmode);
-  operands[4] = gen_reg_rtx (XFmode);
 })
 
-(define_expand "logbxf2"
-  [(parallel [(set (match_dup 2)
-                  (unspec:XF [(match_operand:XF 1 "register_operand" "")]
-                             UNSPEC_XTRACT_FRACT))
-             (set (match_operand:XF 0 "register_operand" "")
-                  (unspec:XF [(match_dup 1)] UNSPEC_XTRACT_EXP))])]
+(define_expand "logb<mode>2"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "register_operand" ""))]
+  "TARGET_USE_FANCY_MATH_387
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
+   && flag_unsafe_math_optimizations"
+{
+  rtx op0 = gen_reg_rtx (XFmode);
+  rtx op1 = gen_reg_rtx (XFmode);
+
+  emit_insn (gen_fxtract_extend<mode>xf3_i387 (op0, op1, operands[1]));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op1));
+  DONE;
+})
+
+(define_expand "ilogbxf2"
+  [(use (match_operand:SI 0 "register_operand" ""))
+   (use (match_operand:XF 1 "register_operand" ""))]
   "TARGET_USE_FANCY_MATH_387
-   && flag_unsafe_math_optimizations"
+   && flag_unsafe_math_optimizations && !optimize_size"
 {
-  operands[2] = gen_reg_rtx (XFmode);
+  rtx op0 = gen_reg_rtx (XFmode);
+  rtx op1 = gen_reg_rtx (XFmode);
+
+  emit_insn (gen_fxtractxf3_i387 (op0, op1, operands[1]));
+  emit_insn (gen_fix_truncxfsi2 (operands[0], op1));
+  DONE;
 })
 
-(define_expand "ilogbsi2"
-  [(parallel [(set (match_dup 2)
-                  (unspec:XF [(match_operand:XF 1 "register_operand" "")]
-                             UNSPEC_XTRACT_FRACT))
-             (set (match_operand:XF 3 "register_operand" "")
-                  (unspec:XF [(match_dup 1)] UNSPEC_XTRACT_EXP))])
-   (parallel [(set (match_operand:SI 0 "register_operand" "")
-                  (fix:SI (match_dup 3)))
-             (clobber (reg:CC FLAGS_REG))])]
+(define_expand "ilogb<mode>2"
+  [(use (match_operand:SI 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "register_operand" ""))]
   "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations && !optimize_size"
 {
-  operands[2] = gen_reg_rtx (XFmode);
-  operands[3] = gen_reg_rtx (XFmode);
+  rtx op0 = gen_reg_rtx (XFmode);
+  rtx op1 = gen_reg_rtx (XFmode);
+
+  emit_insn (gen_fxtract_extend<mode>xf3_i387 (op0, op1, operands[1]));
+  emit_insn (gen_fix_truncxfsi2 (operands[0], op1));
+  DONE;
 })
 
-(define_insn "*f2xm1xf2"
+(define_insn "*f2xm1xf2_i387"
   [(set (match_operand:XF 0 "register_operand" "=f")
        (unspec:XF [(match_operand:XF 1 "register_operand" "0")]
-        UNSPEC_F2XM1))]
+                  UNSPEC_F2XM1))]
   "TARGET_USE_FANCY_MATH_387
    && flag_unsafe_math_optimizations"
   "f2xm1"
   [(set_attr "type" "fpspc")
    (set_attr "mode" "XF")])
 
-(define_insn "*fscalexf4"
+(define_insn "*fscalexf4_i387"
   [(set (match_operand:XF 0 "register_operand" "=f")
        (unspec:XF [(match_operand:XF 2 "register_operand" "0")
                    (match_operand:XF 3 "register_operand" "1")]
   [(set_attr "type" "fpspc")
    (set_attr "mode" "XF")])
 
-(define_expand "expsf2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:SF 1 "register_operand" "")))
-   (set (match_dup 4) (mult:XF (match_dup 2) (match_dup 3)))
-   (set (match_dup 5) (unspec:XF [(match_dup 4)] UNSPEC_FRNDINT))
-   (set (match_dup 6) (minus:XF (match_dup 4) (match_dup 5)))
-   (set (match_dup 7) (unspec:XF [(match_dup 6)] UNSPEC_F2XM1))
-   (set (match_dup 9) (plus:XF (match_dup 7) (match_dup 8)))
-   (parallel [(set (match_dup 10)
-                  (unspec:XF [(match_dup 9) (match_dup 5)]
-                             UNSPEC_FSCALE_FRACT))
-             (set (match_dup 11)
-                  (unspec:XF [(match_dup 9) (match_dup 5)]
-                             UNSPEC_FSCALE_EXP))])
-   (set (match_operand:SF 0 "register_operand" "")
-       (float_truncate:SF (match_dup 10)))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations && !optimize_size"
-{
-  rtx temp;
-  int i;
-
-  for (i=2; i<12; i++)
-    operands[i] = gen_reg_rtx (XFmode);
-  temp = standard_80387_constant_rtx (5); /* fldl2e */
-  emit_move_insn (operands[3], temp);
-  emit_move_insn (operands[8], CONST1_RTX (XFmode));  /* fld1 */
-})
-
-(define_expand "expdf2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:DF 1 "register_operand" "")))
-   (set (match_dup 4) (mult:XF (match_dup 2) (match_dup 3)))
-   (set (match_dup 5) (unspec:XF [(match_dup 4)] UNSPEC_FRNDINT))
-   (set (match_dup 6) (minus:XF (match_dup 4) (match_dup 5)))
-   (set (match_dup 7) (unspec:XF [(match_dup 6)] UNSPEC_F2XM1))
-   (set (match_dup 9) (plus:XF (match_dup 7) (match_dup 8)))
-   (parallel [(set (match_dup 10)
-                  (unspec:XF [(match_dup 9) (match_dup 5)]
-                             UNSPEC_FSCALE_FRACT))
-             (set (match_dup 11)
-                  (unspec:XF [(match_dup 9) (match_dup 5)]
-                             UNSPEC_FSCALE_EXP))])
-   (set (match_operand:DF 0 "register_operand" "")
-       (float_truncate:DF (match_dup 10)))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations && !optimize_size"
-{
-  rtx temp;
-  int i;
-
-  for (i=2; i<12; i++)
-    operands[i] = gen_reg_rtx (XFmode);
-  temp = standard_80387_constant_rtx (5); /* fldl2e */
-  emit_move_insn (operands[3], temp);
-  emit_move_insn (operands[8], CONST1_RTX (XFmode));  /* fld1 */
-})
-
-(define_expand "expxf2"
+(define_expand "expNcorexf3"
   [(set (match_dup 3) (mult:XF (match_operand:XF 1 "register_operand" "")
-                              (match_dup 2)))
+                              (match_operand:XF 2 "register_operand" "")))
    (set (match_dup 4) (unspec:XF [(match_dup 3)] UNSPEC_FRNDINT))
    (set (match_dup 5) (minus:XF (match_dup 3) (match_dup 4)))
    (set (match_dup 6) (unspec:XF [(match_dup 5)] UNSPEC_F2XM1))
   "TARGET_USE_FANCY_MATH_387
    && flag_unsafe_math_optimizations && !optimize_size"
 {
-  rtx temp;
   int i;
 
-  for (i=2; i<10; i++)
+  for (i = 3; i < 10; i++)
     operands[i] = gen_reg_rtx (XFmode);
-  temp = standard_80387_constant_rtx (5); /* fldl2e */
-  emit_move_insn (operands[2], temp);
+
   emit_move_insn (operands[7], CONST1_RTX (XFmode));  /* fld1 */
 })
 
-(define_expand "exp10sf2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:SF 1 "register_operand" "")))
-   (set (match_dup 4) (mult:XF (match_dup 2) (match_dup 3)))
-   (set (match_dup 5) (unspec:XF [(match_dup 4)] UNSPEC_FRNDINT))
-   (set (match_dup 6) (minus:XF (match_dup 4) (match_dup 5)))
-   (set (match_dup 7) (unspec:XF [(match_dup 6)] UNSPEC_F2XM1))
-   (set (match_dup 9) (plus:XF (match_dup 7) (match_dup 8)))
-   (parallel [(set (match_dup 10)
-                  (unspec:XF [(match_dup 9) (match_dup 5)]
-                             UNSPEC_FSCALE_FRACT))
-             (set (match_dup 11)
-                  (unspec:XF [(match_dup 9) (match_dup 5)]
-                             UNSPEC_FSCALE_EXP))])
-   (set (match_operand:SF 0 "register_operand" "")
-       (float_truncate:SF (match_dup 10)))]
+(define_expand "expxf2"
+  [(use (match_operand:XF 0 "register_operand" ""))
+   (use (match_operand:XF 1 "register_operand" ""))]
   "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations && !optimize_size"
 {
-  rtx temp;
-  int i;
+  rtx op2 = gen_reg_rtx (XFmode);
+  emit_move_insn (op2, standard_80387_constant_rtx (5)); /* fldl2e */
 
-  for (i=2; i<12; i++)
-    operands[i] = gen_reg_rtx (XFmode);
-  temp = standard_80387_constant_rtx (6); /* fldl2t */
-  emit_move_insn (operands[3], temp);
-  emit_move_insn (operands[8], CONST1_RTX (XFmode));  /* fld1 */
+  emit_insn (gen_expNcorexf3 (operands[0], operands[1], op2));
+  DONE;
 })
 
-(define_expand "exp10df2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:DF 1 "register_operand" "")))
-   (set (match_dup 4) (mult:XF (match_dup 2) (match_dup 3)))
-   (set (match_dup 5) (unspec:XF [(match_dup 4)] UNSPEC_FRNDINT))
-   (set (match_dup 6) (minus:XF (match_dup 4) (match_dup 5)))
-   (set (match_dup 7) (unspec:XF [(match_dup 6)] UNSPEC_F2XM1))
-   (set (match_dup 9) (plus:XF (match_dup 7) (match_dup 8)))
-   (parallel [(set (match_dup 10)
-                  (unspec:XF [(match_dup 9) (match_dup 5)]
-                             UNSPEC_FSCALE_FRACT))
-             (set (match_dup 11)
-                  (unspec:XF [(match_dup 9) (match_dup 5)]
-                             UNSPEC_FSCALE_EXP))])
-   (set (match_operand:DF 0 "register_operand" "")
-       (float_truncate:DF (match_dup 10)))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
+(define_expand "exp<mode>2"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "general_operand" ""))]
+ "TARGET_USE_FANCY_MATH_387
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations && !optimize_size"
 {
-  rtx temp;
-  int i;
+  rtx op0 = gen_reg_rtx (XFmode);
+  rtx op1 = gen_reg_rtx (XFmode);
 
-  for (i=2; i<12; i++)
-    operands[i] = gen_reg_rtx (XFmode);
-  temp = standard_80387_constant_rtx (6); /* fldl2t */
-  emit_move_insn (operands[3], temp);
-  emit_move_insn (operands[8], CONST1_RTX (XFmode));  /* fld1 */
+  emit_insn (gen_extend<mode>xf2 (op1, operands[1]));
+  emit_insn (gen_expxf2 (op0, op1));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op0));
+  DONE;
 })
 
 (define_expand "exp10xf2"
-  [(set (match_dup 3) (mult:XF (match_operand:XF 1 "register_operand" "")
-                              (match_dup 2)))
-   (set (match_dup 4) (unspec:XF [(match_dup 3)] UNSPEC_FRNDINT))
-   (set (match_dup 5) (minus:XF (match_dup 3) (match_dup 4)))
-   (set (match_dup 6) (unspec:XF [(match_dup 5)] UNSPEC_F2XM1))
-   (set (match_dup 8) (plus:XF (match_dup 6) (match_dup 7)))
-   (parallel [(set (match_operand:XF 0 "register_operand" "")
-                  (unspec:XF [(match_dup 8) (match_dup 4)]
-                             UNSPEC_FSCALE_FRACT))
-             (set (match_dup 9)
-                  (unspec:XF [(match_dup 8) (match_dup 4)]
-                             UNSPEC_FSCALE_EXP))])]
-  "TARGET_USE_FANCY_MATH_387
-   && flag_unsafe_math_optimizations && !optimize_size"
-{
-  rtx temp;
-  int i;
-
-  for (i=2; i<10; i++)
-    operands[i] = gen_reg_rtx (XFmode);
-  temp = standard_80387_constant_rtx (6); /* fldl2t */
-  emit_move_insn (operands[2], temp);
-  emit_move_insn (operands[7], CONST1_RTX (XFmode));  /* fld1 */
-})
-
-(define_expand "exp2sf2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:SF 1 "register_operand" "")))
-   (set (match_dup 3) (unspec:XF [(match_dup 2)] UNSPEC_FRNDINT))
-   (set (match_dup 4) (minus:XF (match_dup 2) (match_dup 3)))
-   (set (match_dup 5) (unspec:XF [(match_dup 4)] UNSPEC_F2XM1))
-   (set (match_dup 7) (plus:XF (match_dup 5) (match_dup 6)))
-   (parallel [(set (match_dup 8)
-                  (unspec:XF [(match_dup 7) (match_dup 3)]
-                             UNSPEC_FSCALE_FRACT))
-             (set (match_dup 9)
-                  (unspec:XF [(match_dup 7) (match_dup 3)]
-                             UNSPEC_FSCALE_EXP))])
-   (set (match_operand:SF 0 "register_operand" "")
-       (float_truncate:SF (match_dup 8)))]
+  [(use (match_operand:XF 0 "register_operand" ""))
+   (use (match_operand:XF 1 "register_operand" ""))]
   "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations && !optimize_size"
 {
-  int i;
+  rtx op2 = gen_reg_rtx (XFmode);
+  emit_move_insn (op2, standard_80387_constant_rtx (6)); /* fldl2t */
 
-  for (i=2; i<10; i++)
-    operands[i] = gen_reg_rtx (XFmode);
-  emit_move_insn (operands[6], CONST1_RTX (XFmode));  /* fld1 */
+  emit_insn (gen_expNcorexf3 (operands[0], operands[1], op2));
+  DONE;
 })
 
-(define_expand "exp2df2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:DF 1 "register_operand" "")))
-   (set (match_dup 3) (unspec:XF [(match_dup 2)] UNSPEC_FRNDINT))
-   (set (match_dup 4) (minus:XF (match_dup 2) (match_dup 3)))
-   (set (match_dup 5) (unspec:XF [(match_dup 4)] UNSPEC_F2XM1))
-   (set (match_dup 7) (plus:XF (match_dup 5) (match_dup 6)))
-   (parallel [(set (match_dup 8)
-                  (unspec:XF [(match_dup 7) (match_dup 3)]
-                             UNSPEC_FSCALE_FRACT))
-             (set (match_dup 9)
-                  (unspec:XF [(match_dup 7) (match_dup 3)]
-                             UNSPEC_FSCALE_EXP))])
-   (set (match_operand:DF 0 "register_operand" "")
-       (float_truncate:DF (match_dup 8)))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
+(define_expand "exp10<mode>2"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "general_operand" ""))]
+ "TARGET_USE_FANCY_MATH_387
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations && !optimize_size"
 {
-  int i;
+  rtx op0 = gen_reg_rtx (XFmode);
+  rtx op1 = gen_reg_rtx (XFmode);
 
-  for (i=2; i<10; i++)
-    operands[i] = gen_reg_rtx (XFmode);
-  emit_move_insn (operands[6], CONST1_RTX (XFmode));  /* fld1 */
+  emit_insn (gen_extend<mode>xf2 (op1, operands[1]));
+  emit_insn (gen_exp10xf2 (op0, op1));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op0));
+  DONE;
 })
 
 (define_expand "exp2xf2"
-  [(set (match_dup 2) (match_operand:XF 1 "register_operand" ""))
-   (set (match_dup 3) (unspec:XF [(match_dup 2)] UNSPEC_FRNDINT))
-   (set (match_dup 4) (minus:XF (match_dup 2) (match_dup 3)))
-   (set (match_dup 5) (unspec:XF [(match_dup 4)] UNSPEC_F2XM1))
-   (set (match_dup 7) (plus:XF (match_dup 5) (match_dup 6)))
-   (parallel [(set (match_operand:XF 0 "register_operand" "")
-                  (unspec:XF [(match_dup 7) (match_dup 3)]
-                             UNSPEC_FSCALE_FRACT))
-             (set (match_dup 8)
-                  (unspec:XF [(match_dup 7) (match_dup 3)]
-                             UNSPEC_FSCALE_EXP))])]
-  "TARGET_USE_FANCY_MATH_387
-   && flag_unsafe_math_optimizations && !optimize_size"
-{
-  int i;
-
-  for (i=2; i<9; i++)
-    operands[i] = gen_reg_rtx (XFmode);
-  emit_move_insn (operands[6], CONST1_RTX (XFmode));  /* fld1 */
-})
-
-(define_expand "expm1df2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:DF 1 "register_operand" "")))
-   (set (match_dup 4) (mult:XF (match_dup 2) (match_dup 3)))
-   (set (match_dup 5) (unspec:XF [(match_dup 4)] UNSPEC_FRNDINT))
-   (set (match_dup 6) (minus:XF (match_dup 4) (match_dup 5)))
-   (set (match_dup 7) (unspec:XF [(match_dup 6)] UNSPEC_F2XM1))
-   (parallel [(set (match_dup 8)
-                  (unspec:XF [(match_dup 7) (match_dup 5)]
-                             UNSPEC_FSCALE_FRACT))
-                  (set (match_dup 9)
-                  (unspec:XF [(match_dup 7) (match_dup 5)]
-                             UNSPEC_FSCALE_EXP))])
-   (parallel [(set (match_dup 11)
-                  (unspec:XF [(match_dup 10) (match_dup 9)]
-                             UNSPEC_FSCALE_FRACT))
-             (set (match_dup 12)
-                  (unspec:XF [(match_dup 10) (match_dup 9)]
-                             UNSPEC_FSCALE_EXP))])
-   (set (match_dup 13) (minus:XF (match_dup 11) (match_dup 10)))
-   (set (match_dup 14) (plus:XF (match_dup 13) (match_dup 8)))
-   (set (match_operand:DF 0 "register_operand" "")
-       (float_truncate:DF (match_dup 14)))]
+  [(use (match_operand:XF 0 "register_operand" ""))
+   (use (match_operand:XF 1 "register_operand" ""))]
   "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations && !optimize_size"
 {
-  rtx temp;
-  int i;
+  rtx op2 = gen_reg_rtx (XFmode);
+  emit_move_insn (op2, CONST1_RTX (XFmode));  /* fld1 */
 
-  for (i=2; i<15; i++)
-    operands[i] = gen_reg_rtx (XFmode);
-  temp = standard_80387_constant_rtx (5); /* fldl2e */
-  emit_move_insn (operands[3], temp);
-  emit_move_insn (operands[10], CONST1_RTX (XFmode));  /* fld1 */
+  emit_insn (gen_expNcorexf3 (operands[0], operands[1], op2));
+  DONE;
 })
 
-(define_expand "expm1sf2"
-  [(set (match_dup 2)
-       (float_extend:XF (match_operand:SF 1 "register_operand" "")))
-   (set (match_dup 4) (mult:XF (match_dup 2) (match_dup 3)))
-   (set (match_dup 5) (unspec:XF [(match_dup 4)] UNSPEC_FRNDINT))
-   (set (match_dup 6) (minus:XF (match_dup 4) (match_dup 5)))
-   (set (match_dup 7) (unspec:XF [(match_dup 6)] UNSPEC_F2XM1))
-   (parallel [(set (match_dup 8)
-                  (unspec:XF [(match_dup 7) (match_dup 5)]
-                             UNSPEC_FSCALE_FRACT))
-                  (set (match_dup 9)
-                  (unspec:XF [(match_dup 7) (match_dup 5)]
-                             UNSPEC_FSCALE_EXP))])
-   (parallel [(set (match_dup 11)
-                  (unspec:XF [(match_dup 10) (match_dup 9)]
-                             UNSPEC_FSCALE_FRACT))
-             (set (match_dup 12)
-                  (unspec:XF [(match_dup 10) (match_dup 9)]
-                             UNSPEC_FSCALE_EXP))])
-   (set (match_dup 13) (minus:XF (match_dup 11) (match_dup 10)))
-   (set (match_dup 14) (plus:XF (match_dup 13) (match_dup 8)))
-   (set (match_operand:SF 0 "register_operand" "")
-       (float_truncate:SF (match_dup 14)))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
+(define_expand "exp2<mode>2"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "general_operand" ""))]
+ "TARGET_USE_FANCY_MATH_387
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations && !optimize_size"
 {
-  rtx temp;
-  int i;
+  rtx op0 = gen_reg_rtx (XFmode);
+  rtx op1 = gen_reg_rtx (XFmode);
 
-  for (i=2; i<15; i++)
-    operands[i] = gen_reg_rtx (XFmode);
-  temp = standard_80387_constant_rtx (5); /* fldl2e */
-  emit_move_insn (operands[3], temp);
-  emit_move_insn (operands[10], CONST1_RTX (XFmode));  /* fld1 */
+  emit_insn (gen_extend<mode>xf2 (op1, operands[1]));
+  emit_insn (gen_exp2xf2 (op0, op1));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op0));
+  DONE;
 })
 
 (define_expand "expm1xf2"
   "TARGET_USE_FANCY_MATH_387
    && flag_unsafe_math_optimizations && !optimize_size"
 {
-  rtx temp;
   int i;
 
-  for (i=2; i<13; i++)
+  for (i = 2; i < 13; i++)
     operands[i] = gen_reg_rtx (XFmode);
-  temp = standard_80387_constant_rtx (5); /* fldl2e */
-  emit_move_insn (operands[2], temp);
+  emit_move_insn (operands[2], standard_80387_constant_rtx (5)); /* fldl2e */
   emit_move_insn (operands[9], CONST1_RTX (XFmode));  /* fld1 */
 })
 
-(define_expand "ldexpdf3"
-  [(set (match_dup 3)
-       (float_extend:XF (match_operand:DF 1 "register_operand" "")))
-   (set (match_dup 4)
-       (float:XF (match_operand:SI 2 "register_operand" "")))
-   (parallel [(set (match_dup 5)
-                  (unspec:XF [(match_dup 3) (match_dup 4)]
-                             UNSPEC_FSCALE_FRACT))
-             (set (match_dup 6)
-                  (unspec:XF [(match_dup 3) (match_dup 4)]
-                             UNSPEC_FSCALE_EXP))])
-   (set (match_operand:DF 0 "register_operand" "")
-       (float_truncate:DF (match_dup 5)))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!(TARGET_SSE2 && TARGET_SSE_MATH) || TARGET_MIX_SSE_I387)
-   && flag_unsafe_math_optimizations && !optimize_size"
-{
-  int i;
-
-  for (i=3; i<7; i++)
-    operands[i] = gen_reg_rtx (XFmode);
-})
-
-(define_expand "ldexpsf3"
-  [(set (match_dup 3)
-       (float_extend:XF (match_operand:SF 1 "register_operand" "")))
-   (set (match_dup 4)
-       (float:XF (match_operand:SI 2 "register_operand" "")))
-   (parallel [(set (match_dup 5)
-                  (unspec:XF [(match_dup 3) (match_dup 4)]
-                             UNSPEC_FSCALE_FRACT))
-             (set (match_dup 6)
-                  (unspec:XF [(match_dup 3) (match_dup 4)]
-                             UNSPEC_FSCALE_EXP))])
-   (set (match_operand:SF 0 "register_operand" "")
-       (float_truncate:SF (match_dup 5)))]
-  "TARGET_USE_FANCY_MATH_387
-   && (!TARGET_SSE_MATH || TARGET_MIX_SSE_I387)
+(define_expand "expm1<mode>2"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "general_operand" ""))]
+ "TARGET_USE_FANCY_MATH_387
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
    && flag_unsafe_math_optimizations && !optimize_size"
 {
-  int i;
+  rtx op0 = gen_reg_rtx (XFmode);
+  rtx op1 = gen_reg_rtx (XFmode);
 
-  for (i=3; i<7; i++)
-    operands[i] = gen_reg_rtx (XFmode);
+  emit_insn (gen_extend<mode>xf2 (op1, operands[1]));
+  emit_insn (gen_expm1xf2 (op0, op1));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op0));
+  DONE;
 })
 
 (define_expand "ldexpxf3"
   "TARGET_USE_FANCY_MATH_387
    && flag_unsafe_math_optimizations && !optimize_size"
 {
-  int i;
+  operands[3] = gen_reg_rtx (XFmode);
+  operands[4] = gen_reg_rtx (XFmode);
+})
 
-  for (i=3; i<5; i++)
-    operands[i] = gen_reg_rtx (XFmode);
+(define_expand "ldexp<mode>3"
+  [(use (match_operand:X87MODEF12 0 "register_operand" ""))
+   (use (match_operand:X87MODEF12 1 "general_operand" ""))
+   (use (match_operand:SI 2 "register_operand" ""))]
+ "TARGET_USE_FANCY_MATH_387
+   && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+       || TARGET_MIX_SSE_I387)
+   && flag_unsafe_math_optimizations && !optimize_size"
+{
+  rtx op0 = gen_reg_rtx (XFmode);
+  rtx op1 = gen_reg_rtx (XFmode);
+
+  emit_insn (gen_extend<mode>xf2 (op1, operands[1]));
+  emit_insn (gen_ldexpxf3 (op0, op1, operands[2]));
+  emit_insn (gen_truncxf<mode>2_i387_noop (operands[0], op0));
+  DONE;
 })
 \f
 
   DONE;
 })
 
+(define_insn "fxam<mode>2_i387"
+  [(set (match_operand:HI 0 "register_operand" "=a")
+       (unspec:HI
+         [(match_operand:X87MODEF 1 "register_operand" "f")]
+         UNSPEC_FXAM))]
+  "TARGET_USE_FANCY_MATH_387"
+  "fxam\n\tfnstsw\t%0"
+  [(set_attr "type" "multi")
+   (set_attr "unit" "i387")
+   (set_attr "mode" "<MODE>")])
+
+(define_expand "isinf<mode>2"
+  [(use (match_operand:SI 0 "register_operand" ""))
+   (use (match_operand:X87MODEF 1 "register_operand" ""))]
+  "TARGET_USE_FANCY_MATH_387
+  && (!(SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)
+      || TARGET_MIX_SSE_I387)"
+{
+  rtx mask = GEN_INT (0x45);
+  rtx val = GEN_INT (0x05);
+
+  rtx cond;
+
+  rtx scratch = gen_reg_rtx (HImode);
+  rtx res = gen_reg_rtx (QImode);
+
+  emit_insn (gen_fxam<mode>2_i387 (scratch, operands[1]));
+  emit_insn (gen_andqi_ext_0 (scratch, scratch, mask));
+  emit_insn (gen_cmpqi_ext_3 (scratch, val));
+  cond = gen_rtx_fmt_ee (EQ, QImode,
+                        gen_rtx_REG (CCmode, FLAGS_REG),
+                        const0_rtx);
+  emit_insn (gen_rtx_SET (VOIDmode, res, cond));
+  emit_insn (gen_zero_extendqisi2 (operands[0], res));
+  DONE;
+})
+
 \f
 ;; Block operation instructions
 
-(define_insn "cld"
- [(set (reg:SI DIRFLAG_REG) (const_int 0))]
- ""
- "cld"
-  [(set_attr "type" "cld")])
-
 (define_expand "movmemsi"
   [(use (match_operand:BLK 0 "memory_operand" ""))
    (use (match_operand:BLK 1 "memory_operand" ""))
    (use (match_operand:SI 2 "nonmemory_operand" ""))
-   (use (match_operand:SI 3 "const_int_operand" ""))]
-  "! optimize_size || TARGET_INLINE_ALL_STRINGOPS"
+   (use (match_operand:SI 3 "const_int_operand" ""))
+   (use (match_operand:SI 4 "const_int_operand" ""))
+   (use (match_operand:SI 5 "const_int_operand" ""))]
+  ""
 {
- if (ix86_expand_movmem (operands[0], operands[1], operands[2], operands[3]))
+ if (ix86_expand_movmem (operands[0], operands[1], operands[2], operands[3],
+                        operands[4], operands[5]))
    DONE;
  else
    FAIL;
   [(use (match_operand:BLK 0 "memory_operand" ""))
    (use (match_operand:BLK 1 "memory_operand" ""))
    (use (match_operand:DI 2 "nonmemory_operand" ""))
-   (use (match_operand:DI 3 "const_int_operand" ""))]
+   (use (match_operand:DI 3 "const_int_operand" ""))
+   (use (match_operand:SI 4 "const_int_operand" ""))
+   (use (match_operand:SI 5 "const_int_operand" ""))]
   "TARGET_64BIT"
 {
- if (ix86_expand_movmem (operands[0], operands[1], operands[2], operands[3]))
+ if (ix86_expand_movmem (operands[0], operands[1], operands[2], operands[3],
+                        operands[4], operands[5]))
    DONE;
  else
    FAIL;
              (set (match_operand 0 "register_operand" "")
                   (match_operand 4 "" ""))
              (set (match_operand 2 "register_operand" "")
-                  (match_operand 5 "" ""))
-             (use (reg:SI DIRFLAG_REG))])]
+                  (match_operand 5 "" ""))])]
   "TARGET_SINGLE_STRINGOP || optimize_size"
   "")
 
                 (const_int 8)))
    (set (match_operand:DI 1 "register_operand" "=S")
        (plus:DI (match_dup 3)
-                (const_int 8)))
-   (use (reg:SI DIRFLAG_REG))]
+                (const_int 8)))]
   "TARGET_64BIT && (TARGET_SINGLE_STRINGOP || optimize_size)"
   "movsq"
   [(set_attr "type" "str")
                 (const_int 4)))
    (set (match_operand:SI 1 "register_operand" "=S")
        (plus:SI (match_dup 3)
-                (const_int 4)))
-   (use (reg:SI DIRFLAG_REG))]
+                (const_int 4)))]
   "!TARGET_64BIT && (TARGET_SINGLE_STRINGOP || optimize_size)"
   "{movsl|movsd}"
   [(set_attr "type" "str")
                 (const_int 4)))
    (set (match_operand:DI 1 "register_operand" "=S")
        (plus:DI (match_dup 3)
-                (const_int 4)))
-   (use (reg:SI DIRFLAG_REG))]
+                (const_int 4)))]
   "TARGET_64BIT && (TARGET_SINGLE_STRINGOP || optimize_size)"
   "{movsl|movsd}"
   [(set_attr "type" "str")
                 (const_int 2)))
    (set (match_operand:SI 1 "register_operand" "=S")
        (plus:SI (match_dup 3)
-                (const_int 2)))
-   (use (reg:SI DIRFLAG_REG))]
+                (const_int 2)))]
   "!TARGET_64BIT && (TARGET_SINGLE_STRINGOP || optimize_size)"
   "movsw"
   [(set_attr "type" "str")
                 (const_int 2)))
    (set (match_operand:DI 1 "register_operand" "=S")
        (plus:DI (match_dup 3)
-                (const_int 2)))
-   (use (reg:SI DIRFLAG_REG))]
+                (const_int 2)))]
   "TARGET_64BIT && (TARGET_SINGLE_STRINGOP || optimize_size)"
   "movsw"
   [(set_attr "type" "str")
                 (const_int 1)))
    (set (match_operand:SI 1 "register_operand" "=S")
        (plus:SI (match_dup 3)
-                (const_int 1)))
-   (use (reg:SI DIRFLAG_REG))]
+                (const_int 1)))]
   "!TARGET_64BIT && (TARGET_SINGLE_STRINGOP || optimize_size)"
   "movsb"
   [(set_attr "type" "str")
                 (const_int 1)))
    (set (match_operand:DI 1 "register_operand" "=S")
        (plus:DI (match_dup 3)
-                (const_int 1)))
-   (use (reg:SI DIRFLAG_REG))]
+                (const_int 1)))]
   "TARGET_64BIT && (TARGET_SINGLE_STRINGOP || optimize_size)"
   "movsb"
   [(set_attr "type" "str")
                   (match_operand 6 "" ""))
              (set (match_operand 1 "memory_operand" "")
                   (match_operand 3 "memory_operand" ""))
-             (use (match_dup 4))
-             (use (reg:SI DIRFLAG_REG))])]
+             (use (match_dup 4))])]
   ""
   "")
 
                 (match_operand:DI 4 "register_operand" "1")))
    (set (mem:BLK (match_dup 3))
        (mem:BLK (match_dup 4)))
-   (use (match_dup 5))
-   (use (reg:SI DIRFLAG_REG))]
+   (use (match_dup 5))]
   "TARGET_64BIT"
   "{rep\;movsq|rep movsq}"
   [(set_attr "type" "str")
                 (match_operand:SI 4 "register_operand" "1")))
    (set (mem:BLK (match_dup 3))
        (mem:BLK (match_dup 4)))
-   (use (match_dup 5))
-   (use (reg:SI DIRFLAG_REG))]
+   (use (match_dup 5))]
   "!TARGET_64BIT"
   "{rep\;movsl|rep movsd}"
   [(set_attr "type" "str")
                 (match_operand:DI 4 "register_operand" "1")))
    (set (mem:BLK (match_dup 3))
        (mem:BLK (match_dup 4)))
-   (use (match_dup 5))
-   (use (reg:SI DIRFLAG_REG))]
+   (use (match_dup 5))]
   "TARGET_64BIT"
   "{rep\;movsl|rep movsd}"
   [(set_attr "type" "str")
         (plus:SI (match_operand:SI 4 "register_operand" "1") (match_dup 5)))
    (set (mem:BLK (match_dup 3))
        (mem:BLK (match_dup 4)))
-   (use (match_dup 5))
-   (use (reg:SI DIRFLAG_REG))]
+   (use (match_dup 5))]
   "!TARGET_64BIT"
   "{rep\;movsb|rep movsb}"
   [(set_attr "type" "str")
         (plus:DI (match_operand:DI 4 "register_operand" "1") (match_dup 5)))
    (set (mem:BLK (match_dup 3))
        (mem:BLK (match_dup 4)))
-   (use (match_dup 5))
-   (use (reg:SI DIRFLAG_REG))]
+   (use (match_dup 5))]
   "TARGET_64BIT"
   "{rep\;movsb|rep movsb}"
   [(set_attr "type" "str")
    [(use (match_operand:BLK 0 "memory_operand" ""))
     (use (match_operand:SI 1 "nonmemory_operand" ""))
     (use (match_operand 2 "const_int_operand" ""))
-    (use (match_operand 3 "const_int_operand" ""))]
+    (use (match_operand 3 "const_int_operand" ""))
+    (use (match_operand:SI 4 "const_int_operand" ""))
+    (use (match_operand:SI 5 "const_int_operand" ""))]
   ""
 {
- /* If value to set is not zero, use the library routine.  */
- if (operands[2] != const0_rtx)
-   FAIL;
-
- if (ix86_expand_clrmem (operands[0], operands[1], operands[3]))
+ if (ix86_expand_setmem (operands[0], operands[1],
+                        operands[2], operands[3],
+                        operands[4], operands[5]))
    DONE;
  else
    FAIL;
    [(use (match_operand:BLK 0 "memory_operand" ""))
     (use (match_operand:DI 1 "nonmemory_operand" ""))
     (use (match_operand 2 "const_int_operand" ""))
-    (use (match_operand 3 "const_int_operand" ""))]
+    (use (match_operand 3 "const_int_operand" ""))
+    (use (match_operand 4 "const_int_operand" ""))
+    (use (match_operand 5 "const_int_operand" ""))]
   "TARGET_64BIT"
 {
- /* If value to set is not zero, use the library routine.  */
- if (operands[2] != const0_rtx)
-   FAIL;
-
- if (ix86_expand_clrmem (operands[0], operands[1], operands[3]))
+ if (ix86_expand_setmem (operands[0], operands[1],
+                        operands[2], operands[3],
+                        operands[4], operands[5]))
    DONE;
  else
    FAIL;
   [(parallel [(set (match_operand 1 "memory_operand" "")
                   (match_operand 2 "register_operand" ""))
              (set (match_operand 0 "register_operand" "")
-                  (match_operand 3 "" ""))
-             (use (reg:SI DIRFLAG_REG))])]
+                  (match_operand 3 "" ""))])]
   "TARGET_SINGLE_STRINGOP || optimize_size"
   "")
 
        (match_operand:DI 2 "register_operand" "a"))
    (set (match_operand:DI 0 "register_operand" "=D")
        (plus:DI (match_dup 1)
-                (const_int 8)))
-   (use (reg:SI DIRFLAG_REG))]
+                (const_int 8)))]
   "TARGET_64BIT && (TARGET_SINGLE_STRINGOP || optimize_size)"
   "stosq"
   [(set_attr "type" "str")
        (match_operand:SI 2 "register_operand" "a"))
    (set (match_operand:SI 0 "register_operand" "=D")
        (plus:SI (match_dup 1)
-                (const_int 4)))
-   (use (reg:SI DIRFLAG_REG))]
+                (const_int 4)))]
   "!TARGET_64BIT && (TARGET_SINGLE_STRINGOP || optimize_size)"
   "{stosl|stosd}"
   [(set_attr "type" "str")
        (match_operand:SI 2 "register_operand" "a"))
    (set (match_operand:DI 0 "register_operand" "=D")
        (plus:DI (match_dup 1)
-                (const_int 4)))
-   (use (reg:SI DIRFLAG_REG))]
+                (const_int 4)))]
   "TARGET_64BIT && (TARGET_SINGLE_STRINGOP || optimize_size)"
   "{stosl|stosd}"
   [(set_attr "type" "str")
        (match_operand:HI 2 "register_operand" "a"))
    (set (match_operand:SI 0 "register_operand" "=D")
        (plus:SI (match_dup 1)
-                (const_int 2)))
-   (use (reg:SI DIRFLAG_REG))]
+                (const_int 2)))]
   "!TARGET_64BIT && (TARGET_SINGLE_STRINGOP || optimize_size)"
   "stosw"
   [(set_attr "type" "str")
        (match_operand:HI 2 "register_operand" "a"))
    (set (match_operand:DI 0 "register_operand" "=D")
        (plus:DI (match_dup 1)
-                (const_int 2)))
-   (use (reg:SI DIRFLAG_REG))]
+                (const_int 2)))]
   "TARGET_64BIT && (TARGET_SINGLE_STRINGOP || optimize_size)"
   "stosw"
   [(set_attr "type" "str")
        (match_operand:QI 2 "register_operand" "a"))
    (set (match_operand:SI 0 "register_operand" "=D")
        (plus:SI (match_dup 1)
-                (const_int 1)))
-   (use (reg:SI DIRFLAG_REG))]
+                (const_int 1)))]
   "!TARGET_64BIT && (TARGET_SINGLE_STRINGOP || optimize_size)"
   "stosb"
   [(set_attr "type" "str")
        (match_operand:QI 2 "register_operand" "a"))
    (set (match_operand:DI 0 "register_operand" "=D")
        (plus:DI (match_dup 1)
-                (const_int 1)))
-   (use (reg:SI DIRFLAG_REG))]
+                (const_int 1)))]
   "TARGET_64BIT && (TARGET_SINGLE_STRINGOP || optimize_size)"
   "stosb"
   [(set_attr "type" "str")
                   (match_operand 4 "" ""))
              (set (match_operand 2 "memory_operand" "") (const_int 0))
              (use (match_operand 3 "register_operand" ""))
-             (use (match_dup 1))
-             (use (reg:SI DIRFLAG_REG))])]
+             (use (match_dup 1))])]
   ""
   "")
 
    (set (mem:BLK (match_dup 3))
        (const_int 0))
    (use (match_operand:DI 2 "register_operand" "a"))
-   (use (match_dup 4))
-   (use (reg:SI DIRFLAG_REG))]
+   (use (match_dup 4))]
   "TARGET_64BIT"
   "{rep\;stosq|rep stosq}"
   [(set_attr "type" "str")
    (set (mem:BLK (match_dup 3))
        (const_int 0))
    (use (match_operand:SI 2 "register_operand" "a"))
-   (use (match_dup 4))
-   (use (reg:SI DIRFLAG_REG))]
+   (use (match_dup 4))]
   "!TARGET_64BIT"
   "{rep\;stosl|rep stosd}"
   [(set_attr "type" "str")
    (set (mem:BLK (match_dup 3))
        (const_int 0))
    (use (match_operand:SI 2 "register_operand" "a"))
-   (use (match_dup 4))
-   (use (reg:SI DIRFLAG_REG))]
+   (use (match_dup 4))]
   "TARGET_64BIT"
   "{rep\;stosl|rep stosd}"
   [(set_attr "type" "str")
    (set (mem:BLK (match_dup 3))
        (const_int 0))
    (use (match_operand:QI 2 "register_operand" "a"))
-   (use (match_dup 4))
-   (use (reg:SI DIRFLAG_REG))]
+   (use (match_dup 4))]
   "!TARGET_64BIT"
   "{rep\;stosb|rep stosb}"
   [(set_attr "type" "str")
    (set (mem:BLK (match_dup 3))
        (const_int 0))
    (use (match_operand:QI 2 "register_operand" "a"))
-   (use (match_dup 4))
-   (use (reg:SI DIRFLAG_REG))]
+   (use (match_dup 4))]
   "TARGET_64BIT"
   "{rep\;stosb|rep stosb}"
   [(set_attr "type" "str")
     FAIL;
 
   out = operands[0];
-  if (GET_CODE (out) != REG)
+  if (!REG_P (out))
     out = gen_reg_rtx (SImode);
 
   addr1 = copy_to_mode_reg (Pmode, XEXP (operands[1], 0));
      once cc0 is dead.  */
   align = operands[4];
 
-  emit_insn (gen_cld ());
-  if (GET_CODE (count) == CONST_INT)
+  if (CONST_INT_P (count))
     {
       if (INTVAL (count) == 0)
        {
                               (match_operand 5 "memory_operand" "")))
              (use (match_operand 2 "register_operand" ""))
              (use (match_operand:SI 3 "immediate_operand" ""))
-             (use (reg:SI DIRFLAG_REG))
              (clobber (match_operand 0 "register_operand" ""))
              (clobber (match_operand 1 "register_operand" ""))
              (clobber (match_dup 2))])]
                    (mem:BLK (match_operand:SI 5 "register_operand" "1"))))
    (use (match_operand:SI 6 "register_operand" "2"))
    (use (match_operand:SI 3 "immediate_operand" "i"))
-   (use (reg:SI DIRFLAG_REG))
    (clobber (match_operand:SI 0 "register_operand" "=S"))
    (clobber (match_operand:SI 1 "register_operand" "=D"))
    (clobber (match_operand:SI 2 "register_operand" "=c"))]
                    (mem:BLK (match_operand:DI 5 "register_operand" "1"))))
    (use (match_operand:DI 6 "register_operand" "2"))
    (use (match_operand:SI 3 "immediate_operand" "i"))
-   (use (reg:SI DIRFLAG_REG))
    (clobber (match_operand:DI 0 "register_operand" "=S"))
    (clobber (match_operand:DI 1 "register_operand" "=D"))
    (clobber (match_operand:DI 2 "register_operand" "=c"))]
                  (const_int 0)))
              (use (match_operand:SI 3 "immediate_operand" ""))
              (use (reg:CC FLAGS_REG))
-             (use (reg:SI DIRFLAG_REG))
              (clobber (match_operand 0 "register_operand" ""))
              (clobber (match_operand 1 "register_operand" ""))
              (clobber (match_dup 2))])]
          (const_int 0)))
    (use (match_operand:SI 3 "immediate_operand" "i"))
    (use (reg:CC FLAGS_REG))
-   (use (reg:SI DIRFLAG_REG))
    (clobber (match_operand:SI 0 "register_operand" "=S"))
    (clobber (match_operand:SI 1 "register_operand" "=D"))
    (clobber (match_operand:SI 2 "register_operand" "=c"))]
          (const_int 0)))
    (use (match_operand:SI 3 "immediate_operand" "i"))
    (use (reg:CC FLAGS_REG))
-   (use (reg:SI DIRFLAG_REG))
    (clobber (match_operand:DI 0 "register_operand" "=S"))
    (clobber (match_operand:DI 1 "register_operand" "=D"))
    (clobber (match_operand:DI 2 "register_operand" "=c"))]
 
 (define_expand "strlenqi_1"
   [(parallel [(set (match_operand 0 "register_operand" "") (match_operand 2 "" ""))
-             (use (reg:SI DIRFLAG_REG))
              (clobber (match_operand 1 "register_operand" ""))
              (clobber (reg:CC FLAGS_REG))])]
   ""
                    (match_operand:QI 2 "register_operand" "a")
                    (match_operand:SI 3 "immediate_operand" "i")
                    (match_operand:SI 4 "register_operand" "0")] UNSPEC_SCAS))
-   (use (reg:SI DIRFLAG_REG))
    (clobber (match_operand:SI 1 "register_operand" "=D"))
    (clobber (reg:CC FLAGS_REG))]
   "!TARGET_64BIT"
                    (match_operand:QI 2 "register_operand" "a")
                    (match_operand:DI 3 "immediate_operand" "i")
                    (match_operand:DI 4 "register_operand" "0")] UNSPEC_SCAS))
-   (use (reg:SI DIRFLAG_REG))
    (clobber (match_operand:DI 1 "register_operand" "=D"))
    (clobber (reg:CC FLAGS_REG))]
   "TARGET_64BIT"
                      (mem:BLK (match_operand 5 "register_operand" ""))))
      (use (match_operand 6 "register_operand" ""))
      (use (match_operand:SI 3 "immediate_operand" ""))
-     (use (reg:SI DIRFLAG_REG))
      (clobber (match_operand 0 "register_operand" ""))
      (clobber (match_operand 1 "register_operand" ""))
      (clobber (match_operand 2 "register_operand" ""))])
                      (mem:BLK (match_dup 5))))
      (use (match_dup 6))
      (use (match_dup 3))
-     (use (reg:SI DIRFLAG_REG))
      (clobber (match_dup 0))
      (clobber (match_dup 1))
      (clobber (match_dup 2))])]
            (const_int 0)))
      (use (match_operand:SI 3 "immediate_operand" ""))
      (use (reg:CC FLAGS_REG))
-     (use (reg:SI DIRFLAG_REG))
      (clobber (match_operand 0 "register_operand" ""))
      (clobber (match_operand 1 "register_operand" ""))
      (clobber (match_operand 2 "register_operand" ""))])
            (const_int 0)))
      (use (match_dup 3))
      (use (reg:CC FLAGS_REG))
-     (use (reg:SI DIRFLAG_REG))
      (clobber (match_dup 0))
      (clobber (match_dup 1))
      (clobber (match_dup 2))])]
                      (match_operand:DI 2 "nonimmediate_operand" "rm,0")
                      (match_operand:DI 3 "nonimmediate_operand" "0,rm")))]
   "TARGET_64BIT && TARGET_CMOVE
-   && (GET_CODE (operands[2]) != MEM || GET_CODE (operands[3]) != MEM)"
+   && !(MEM_P (operands[2]) && MEM_P (operands[3]))"
   "@
    cmov%O2%C1\t{%2, %0|%0, %2}
    cmov%O2%c1\t{%3, %0|%0, %3}"
                      (match_operand:SI 2 "nonimmediate_operand" "rm,0")
                      (match_operand:SI 3 "nonimmediate_operand" "0,rm")))]
   "TARGET_CMOVE
-   && (GET_CODE (operands[2]) != MEM || GET_CODE (operands[3]) != MEM)"
+   && !(MEM_P (operands[2]) && MEM_P (operands[3]))"
   "@
    cmov%O2%C1\t{%2, %0|%0, %2}
    cmov%O2%c1\t{%3, %0|%0, %3}"
                      (match_operand:HI 2 "nonimmediate_operand" "rm,0")
                      (match_operand:HI 3 "nonimmediate_operand" "0,rm")))]
   "TARGET_CMOVE
-   && (GET_CODE (operands[2]) != MEM || GET_CODE (operands[3]) != MEM)"
+   && !(MEM_P (operands[2]) && MEM_P (operands[3]))"
   "@
    cmov%O2%C1\t{%2, %0|%0, %2}
    cmov%O2%c1\t{%3, %0|%0, %3}"
                      (match_operand:SF 2 "nonimmediate_operand" "f,0,rm,0")
                      (match_operand:SF 3 "nonimmediate_operand" "0,f,0,rm")))]
   "TARGET_80387 && TARGET_CMOVE
-   && (GET_CODE (operands[2]) != MEM || GET_CODE (operands[3]) != MEM)"
+   && !(MEM_P (operands[2]) && MEM_P (operands[3]))"
   "@
    fcmov%F1\t{%2, %0|%0, %2}
    fcmov%f1\t{%3, %0|%0, %3}
                      (match_operand:DF 2 "nonimmediate_operand" "f,0,rm,0")
                      (match_operand:DF 3 "nonimmediate_operand" "0,f,0,rm")))]
   "!TARGET_64BIT && TARGET_80387 && TARGET_CMOVE
-   && (GET_CODE (operands[2]) != MEM || GET_CODE (operands[3]) != MEM)"
+   && !(MEM_P (operands[2]) && MEM_P (operands[3]))"
   "@
    fcmov%F1\t{%2, %0|%0, %2}
    fcmov%f1\t{%3, %0|%0, %3}
                      (match_operand:DF 2 "nonimmediate_operand" "f,0,rm,0")
                      (match_operand:DF 3 "nonimmediate_operand" "0,f,0,rm")))]
   "TARGET_64BIT && TARGET_80387 && TARGET_CMOVE
-   && (GET_CODE (operands[2]) != MEM || GET_CODE (operands[3]) != MEM)"
+   && !(MEM_P (operands[2]) && MEM_P (operands[3]))"
   "@
    fcmov%F1\t{%2, %0|%0, %2}
    fcmov%f1\t{%3, %0|%0, %3}
       return "mov{l}\t{%1, %0|%0, %1}";
 
     case TYPE_ALU:
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
           && (INTVAL (operands[2]) == 128
              || (INTVAL (operands[2]) < 0
                  && INTVAL (operands[2]) != -128)))
       return "mov{q}\t{%1, %0|%0, %1}";
 
     case TYPE_ALU:
-      if (GET_CODE (operands[2]) == CONST_INT
+      if (CONST_INT_P (operands[2])
          /* Avoid overflows.  */
          && ((INTVAL (operands[2]) & ((((unsigned int) 1) << 31) - 1)))
           && (INTVAL (operands[2]) == 128
   "TARGET_STACK_PROBE"
 {
 #ifdef CHECK_STACK_LIMIT
-  if (GET_CODE (operands[1]) == CONST_INT
+  if (CONST_INT_P (operands[1])
       && INTVAL (operands[1]) < CHECK_STACK_LIMIT)
     emit_insn (gen_subsi3 (stack_pointer_rtx, stack_pointer_rtx,
                           operands[1]));
    && ((GET_MODE (operands[0]) == HImode
        && ((!optimize_size && !TARGET_FAST_PREFIX)
             /* ??? next two lines just !satisfies_constraint_K (...) */
-           || GET_CODE (operands[2]) != CONST_INT
+           || !CONST_INT_P (operands[2])
            || satisfies_constraint_K (operands[2])))
        || (GET_MODE (operands[0]) == QImode
           && (TARGET_PROMOTE_QImode || optimize_size)))"
   "!optimize_size
    && peep2_regno_dead_p (0, FLAGS_REG)
    && ((TARGET_PENTIUM
-        && (GET_CODE (operands[0]) != MEM
+        && (!MEM_P (operands[0])
             || !memory_displacement_operand (operands[0], SImode)))
        || (TARGET_K6 && long_memory_operand (operands[0], SImode)))"
   [(parallel [(set (match_dup 0)
   "!optimize_size
    && peep2_regno_dead_p (0, FLAGS_REG)
    && ((TARGET_PENTIUM
-        && (GET_CODE (operands[0]) != MEM
+        && (!MEM_P (operands[0])
             || !memory_displacement_operand (operands[0], HImode)))
        || (TARGET_K6 && long_memory_operand (operands[0], HImode)))"
   [(parallel [(set (match_dup 0)
   "!optimize_size
    && peep2_regno_dead_p (0, FLAGS_REG)
    && ((TARGET_PENTIUM
-        && (GET_CODE (operands[0]) != MEM
+        && (!MEM_P (operands[0])
             || !memory_displacement_operand (operands[0], QImode)))
        || (TARGET_K6 && long_memory_operand (operands[0], QImode)))"
   [(parallel [(set (match_dup 0)
                   (mult:DI (match_operand:DI 1 "memory_operand" "")
                            (match_operand:DI 2 "immediate_operand" "")))
              (clobber (reg:CC FLAGS_REG))])]
-  "(TARGET_K8 || TARGET_GENERIC64) && !optimize_size
+  "(TARGET_K8 || TARGET_GENERIC64 || TARGET_AMDFAM10) && !optimize_size
    && !satisfies_constraint_K (operands[2])"
   [(set (match_dup 3) (match_dup 1))
    (parallel [(set (match_dup 0) (mult:DI (match_dup 3) (match_dup 2)))
                   (mult:SI (match_operand:SI 1 "memory_operand" "")
                            (match_operand:SI 2 "immediate_operand" "")))
              (clobber (reg:CC FLAGS_REG))])]
-  "(TARGET_K8 || TARGET_GENERIC64) && !optimize_size
+  "(TARGET_K8 || TARGET_GENERIC64 || TARGET_AMDFAM10) && !optimize_size
    && !satisfies_constraint_K (operands[2])"
   [(set (match_dup 3) (match_dup 1))
    (parallel [(set (match_dup 0) (mult:SI (match_dup 3) (match_dup 2)))
                     (mult:SI (match_operand:SI 1 "memory_operand" "")
                              (match_operand:SI 2 "immediate_operand" ""))))
              (clobber (reg:CC FLAGS_REG))])]
-  "(TARGET_K8 || TARGET_GENERIC64) && !optimize_size
+  "(TARGET_K8 || TARGET_GENERIC64 || TARGET_AMDFAM10) && !optimize_size
    && !satisfies_constraint_K (operands[2])"
   [(set (match_dup 3) (match_dup 1))
    (parallel [(set (match_dup 0) (zero_extend:DI (mult:SI (match_dup 3) (match_dup 2))))
                            (match_operand:DI 2 "const_int_operand" "")))
              (clobber (reg:CC FLAGS_REG))])
    (match_scratch:DI 3 "r")]
-  "(TARGET_K8 || TARGET_GENERIC64) && !optimize_size
+  "(TARGET_K8 || TARGET_GENERIC64 || TARGET_AMDFAM10) && !optimize_size
    && satisfies_constraint_K (operands[2])"
   [(set (match_dup 3) (match_dup 2))
    (parallel [(set (match_dup 0) (mult:DI (match_dup 0) (match_dup 3)))
                            (match_operand:SI 2 "const_int_operand" "")))
              (clobber (reg:CC FLAGS_REG))])
    (match_scratch:SI 3 "r")]
-  "(TARGET_K8 || TARGET_GENERIC64) && !optimize_size
+  "(TARGET_K8 || TARGET_GENERIC64 || TARGET_AMDFAM10) && !optimize_size
    && satisfies_constraint_K (operands[2])"
   [(set (match_dup 3) (match_dup 2))
    (parallel [(set (match_dup 0) (mult:SI (match_dup 0) (match_dup 3)))
                            (match_operand:HI 2 "immediate_operand" "")))
              (clobber (reg:CC FLAGS_REG))])
    (match_scratch:HI 3 "r")]
-  "(TARGET_K8 || TARGET_GENERIC64) && !optimize_size"
+  "(TARGET_K8 || TARGET_GENERIC64 || TARGET_AMDFAM10) && !optimize_size"
   [(set (match_dup 3) (match_dup 2))
    (parallel [(set (match_dup 0) (mult:HI (match_dup 0) (match_dup 3)))
              (clobber (reg:CC FLAGS_REG))])]
 
 (define_expand "sse_prologue_save"
   [(parallel [(set (match_operand:BLK 0 "" "")
-                  (unspec:BLK [(reg:DI 22)
+                  (unspec:BLK [(reg:DI 21)
+                               (reg:DI 22)
                                (reg:DI 23)
                                (reg:DI 24)
                                (reg:DI 25)
                                (reg:DI 26)
                                (reg:DI 27)
-                               (reg:DI 28)
-                               (reg:DI 29)] UNSPEC_SSE_PROLOGUE_SAVE))
+                               (reg:DI 28)] UNSPEC_SSE_PROLOGUE_SAVE))
              (use (match_operand:DI 1 "register_operand" ""))
              (use (match_operand:DI 2 "immediate_operand" ""))
              (use (label_ref:DI (match_operand 3 "" "")))])]
 (define_insn "*sse_prologue_save_insn"
   [(set (mem:BLK (plus:DI (match_operand:DI 0 "register_operand" "R")
                          (match_operand:DI 4 "const_int_operand" "n")))
-       (unspec:BLK [(reg:DI 22)
+       (unspec:BLK [(reg:DI 21)
+                    (reg:DI 22)
                     (reg:DI 23)
                     (reg:DI 24)
                     (reg:DI 25)
                     (reg:DI 26)
                     (reg:DI 27)
-                    (reg:DI 28)
-                    (reg:DI 29)] UNSPEC_SSE_PROLOGUE_SAVE))
+                    (reg:DI 28)] UNSPEC_SSE_PROLOGUE_SAVE))
    (use (match_operand:DI 1 "register_operand" "r"))
    (use (match_operand:DI 2 "const_int_operand" "i"))
    (use (label_ref:DI (match_operand 3 "" "X")))]
     }
   (*targetm.asm_out.internal_label) (asm_out_file, \"L\",
                             CODE_LABEL_NUMBER (operands[3]));
-  RET;
+  return \"\";
 }
   "
   [(set_attr "type" "other")