r600: double multiply can handle only one multiply at a time
[mesa.git] / src / gallium / drivers / r600 / r600_shader.c
index 77658f53551de7c649ffbf38ca1fcb2d7feb9ce1..7d1452add343bb88d473c9ebe0b5ba7c891eaa54 100644 (file)
@@ -33,6 +33,7 @@
 #include "tgsi/tgsi_parse.h"
 #include "tgsi/tgsi_scan.h"
 #include "tgsi/tgsi_dump.h"
+#include "util/u_bitcast.h"
 #include "util/u_memory.h"
 #include "util/u_math.h"
 #include <stdio.h>
@@ -136,7 +137,7 @@ static int store_shader(struct pipe_context *ctx,
 
        if (shader->bo == NULL) {
                shader->bo = (struct r600_resource*)
-                       pipe_buffer_create(ctx->screen, PIPE_BIND_CUSTOM, PIPE_USAGE_IMMUTABLE, shader->shader.bc.ndw * 4);
+                       pipe_buffer_create(ctx->screen, 0, PIPE_USAGE_IMMUTABLE, shader->shader.bc.ndw * 4);
                if (shader->bo == NULL) {
                        return -ENOMEM;
                }
@@ -182,13 +183,13 @@ int r600_pipe_shader_create(struct pipe_context *ctx,
                R600_ERR("translation from TGSI failed !\n");
                goto error;
        }
-       if (shader->shader.processor_type == TGSI_PROCESSOR_VERTEX) {
+       if (shader->shader.processor_type == PIPE_SHADER_VERTEX) {
                /* only disable for vertex shaders in tess paths */
                if (key.vs.as_ls)
                        use_sb = 0;
        }
-       use_sb &= (shader->shader.processor_type != TGSI_PROCESSOR_TESS_CTRL);
-       use_sb &= (shader->shader.processor_type != TGSI_PROCESSOR_TESS_EVAL);
+       use_sb &= (shader->shader.processor_type != PIPE_SHADER_TESS_CTRL);
+       use_sb &= (shader->shader.processor_type != PIPE_SHADER_TESS_EVAL);
 
        /* disable SB for shaders using doubles */
        use_sb &= !shader->shader.uses_doubles;
@@ -234,16 +235,16 @@ int r600_pipe_shader_create(struct pipe_context *ctx,
 
        /* Build state. */
        switch (shader->shader.processor_type) {
-       case TGSI_PROCESSOR_TESS_CTRL:
+       case PIPE_SHADER_TESS_CTRL:
                evergreen_update_hs_state(ctx, shader);
                break;
-       case TGSI_PROCESSOR_TESS_EVAL:
+       case PIPE_SHADER_TESS_EVAL:
                if (key.tes.as_es)
                        evergreen_update_es_state(ctx, shader);
                else
                        evergreen_update_vs_state(ctx, shader);
                break;
-       case TGSI_PROCESSOR_GEOMETRY:
+       case PIPE_SHADER_GEOMETRY:
                if (rctx->b.chip_class >= EVERGREEN) {
                        evergreen_update_gs_state(ctx, shader);
                        evergreen_update_vs_state(ctx, shader->gs_copy_shader);
@@ -252,7 +253,7 @@ int r600_pipe_shader_create(struct pipe_context *ctx,
                        r600_update_vs_state(ctx, shader->gs_copy_shader);
                }
                break;
-       case TGSI_PROCESSOR_VERTEX:
+       case PIPE_SHADER_VERTEX:
                export_shader = key.vs.as_es;
                if (rctx->b.chip_class >= EVERGREEN) {
                        if (key.vs.as_ls)
@@ -268,7 +269,7 @@ int r600_pipe_shader_create(struct pipe_context *ctx,
                                r600_update_vs_state(ctx, shader);
                }
                break;
-       case TGSI_PROCESSOR_FRAGMENT:
+       case PIPE_SHADER_FRAGMENT:
                if (rctx->b.chip_class >= EVERGREEN) {
                        evergreen_update_ps_state(ctx, shader);
                } else {
@@ -288,7 +289,7 @@ error:
 
 void r600_pipe_shader_destroy(struct pipe_context *ctx, struct r600_pipe_shader *shader)
 {
-       pipe_resource_reference((struct pipe_resource**)&shader->bo, NULL);
+       r600_resource_reference(&shader->bo, NULL);
        r600_bytecode_clear(&shader->shader.bc);
        r600_release_command_buffer(&shader->command_buffer);
 }
@@ -412,12 +413,12 @@ static int tgsi_is_supported(struct r600_shader_ctx *ctx)
                   case TGSI_FILE_CONSTANT:
                           break;
                   case TGSI_FILE_INPUT:
-                          if (ctx->type == TGSI_PROCESSOR_GEOMETRY ||
-                              ctx->type == TGSI_PROCESSOR_TESS_CTRL ||
-                              ctx->type == TGSI_PROCESSOR_TESS_EVAL)
+                          if (ctx->type == PIPE_SHADER_GEOMETRY ||
+                              ctx->type == PIPE_SHADER_TESS_CTRL ||
+                              ctx->type == PIPE_SHADER_TESS_EVAL)
                                   break;
                   case TGSI_FILE_OUTPUT:
-                          if (ctx->type == TGSI_PROCESSOR_TESS_CTRL)
+                          if (ctx->type == PIPE_SHADER_TESS_CTRL)
                                   break;
                   default:
                           R600_ERR("unsupported src %d (file %d, dimension %d)\n", j,
@@ -429,7 +430,7 @@ static int tgsi_is_supported(struct r600_shader_ctx *ctx)
        }
        for (j = 0; j < i->Instruction.NumDstRegs; j++) {
                if (i->Dst[j].Register.Dimension) {
-                       if (ctx->type == TGSI_PROCESSOR_TESS_CTRL)
+                       if (ctx->type == PIPE_SHADER_TESS_CTRL)
                                continue;
                        R600_ERR("unsupported dst (dimension)\n");
                        return -EINVAL;
@@ -858,13 +859,13 @@ static int tgsi_declaration(struct r600_shader_ctx *ctx)
        case TGSI_FILE_INPUT:
                for (j = 0; j < count; j++) {
                        i = ctx->shader->ninput + j;
-                       assert(i < Elements(ctx->shader->input));
+                       assert(i < ARRAY_SIZE(ctx->shader->input));
                        ctx->shader->input[i].name = d->Semantic.Name;
                        ctx->shader->input[i].sid = d->Semantic.Index + j;
                        ctx->shader->input[i].interpolate = d->Interp.Interpolate;
                        ctx->shader->input[i].interpolate_location = d->Interp.Location;
                        ctx->shader->input[i].gpr = ctx->file_offset[TGSI_FILE_INPUT] + d->Range.First + j;
-                       if (ctx->type == TGSI_PROCESSOR_FRAGMENT) {
+                       if (ctx->type == PIPE_SHADER_FRAGMENT) {
                                ctx->shader->input[i].spi_sid = r600_spi_sid(&ctx->shader->input[i]);
                                switch (ctx->shader->input[i].name) {
                                case TGSI_SEMANTIC_FACE:
@@ -889,7 +890,7 @@ static int tgsi_declaration(struct r600_shader_ctx *ctx)
                                        if ((r = evergreen_interp_input(ctx, i)))
                                                return r;
                                }
-                       } else if (ctx->type == TGSI_PROCESSOR_GEOMETRY) {
+                       } else if (ctx->type == PIPE_SHADER_GEOMETRY) {
                                /* FIXME probably skip inputs if they aren't passed in the ring */
                                ctx->shader->input[i].ring_offset = ctx->next_ring_offset;
                                ctx->next_ring_offset += 16;
@@ -902,15 +903,15 @@ static int tgsi_declaration(struct r600_shader_ctx *ctx)
        case TGSI_FILE_OUTPUT:
                for (j = 0; j < count; j++) {
                        i = ctx->shader->noutput + j;
-                       assert(i < Elements(ctx->shader->output));
+                       assert(i < ARRAY_SIZE(ctx->shader->output));
                        ctx->shader->output[i].name = d->Semantic.Name;
                        ctx->shader->output[i].sid = d->Semantic.Index + j;
                        ctx->shader->output[i].gpr = ctx->file_offset[TGSI_FILE_OUTPUT] + d->Range.First + j;
                        ctx->shader->output[i].interpolate = d->Interp.Interpolate;
                        ctx->shader->output[i].write_mask = d->Declaration.UsageMask;
-                       if (ctx->type == TGSI_PROCESSOR_VERTEX ||
-                           ctx->type == TGSI_PROCESSOR_GEOMETRY ||
-                           ctx->type == TGSI_PROCESSOR_TESS_EVAL) {
+                       if (ctx->type == PIPE_SHADER_VERTEX ||
+                           ctx->type == PIPE_SHADER_GEOMETRY ||
+                           ctx->type == PIPE_SHADER_TESS_EVAL) {
                                ctx->shader->output[i].spi_sid = r600_spi_sid(&ctx->shader->output[i]);
                                switch (d->Semantic.Name) {
                                case TGSI_SEMANTIC_CLIPDIST:
@@ -939,10 +940,10 @@ static int tgsi_declaration(struct r600_shader_ctx *ctx)
                                        ctx->cv_output = i;
                                        break;
                                }
-                               if (ctx->type == TGSI_PROCESSOR_GEOMETRY) {
+                               if (ctx->type == PIPE_SHADER_GEOMETRY) {
                                        ctx->gs_out_ring_offset += 16;
                                }
-                       } else if (ctx->type == TGSI_PROCESSOR_FRAGMENT) {
+                       } else if (ctx->type == PIPE_SHADER_FRAGMENT) {
                                switch (d->Semantic.Name) {
                                case TGSI_SEMANTIC_COLOR:
                                        ctx->shader->nr_ps_max_color_exports++;
@@ -1117,7 +1118,7 @@ static int allocate_system_value_inputs(struct r600_shader_ctx *ctx, int gpr_off
                } else if (parse.FullToken.Token.Type == TGSI_TOKEN_TYPE_DECLARATION) {
                        struct tgsi_full_declaration *d = &parse.FullToken.FullDeclaration;
                        if (d->Declaration.File == TGSI_FILE_SYSTEM_VALUE) {
-                               for (k = 0; k < Elements(inputs); k++) {
+                               for (k = 0; k < ARRAY_SIZE(inputs); k++) {
                                        if (d->Semantic.Name == inputs[k].name ||
                                                d->Semantic.Name == inputs[k].alternate_name) {
                                                inputs[k].enabled = true;
@@ -1129,7 +1130,7 @@ static int allocate_system_value_inputs(struct r600_shader_ctx *ctx, int gpr_off
 
        tgsi_parse_free(&parse);
 
-       for (i = 0; i < Elements(inputs); i++) {
+       for (i = 0; i < ARRAY_SIZE(inputs); i++) {
                boolean enabled = inputs[i].enabled;
                int *reg = inputs[i].reg;
                unsigned name = inputs[i].name;
@@ -1217,7 +1218,7 @@ static int evergreen_gpr_count(struct r600_shader_ctx *ctx)
 
        /* assign gpr to each interpolator according to priority */
        num_baryc = 0;
-       for (i = 0; i < Elements(ctx->eg_interpolators); i++) {
+       for (i = 0; i < ARRAY_SIZE(ctx->eg_interpolators); i++) {
                if (ctx->eg_interpolators[i].enabled) {
                        ctx->eg_interpolators[i].ij_index = num_baryc;
                        num_baryc ++;
@@ -1342,7 +1343,7 @@ static void tgsi_src(struct r600_shader_ctx *ctx,
                        r600_src->swizzle[2] = 0;
                        r600_src->swizzle[3] = 0;
                        r600_src->sel = 0;
-               } else if (ctx->type != TGSI_PROCESSOR_TESS_CTRL && ctx->info.system_value_semantic_name[tgsi_src->Register.Index] == TGSI_SEMANTIC_INVOCATIONID) {
+               } else if (ctx->type != PIPE_SHADER_TESS_CTRL && ctx->info.system_value_semantic_name[tgsi_src->Register.Index] == TGSI_SEMANTIC_INVOCATIONID) {
                        r600_src->swizzle[0] = 3;
                        r600_src->swizzle[1] = 3;
                        r600_src->swizzle[2] = 3;
@@ -1361,7 +1362,7 @@ static void tgsi_src(struct r600_shader_ctx *ctx,
                } else if (ctx->info.system_value_semantic_name[tgsi_src->Register.Index] == TGSI_SEMANTIC_TESSOUTER) {
                        r600_src->sel = 2;
                } else if (ctx->info.system_value_semantic_name[tgsi_src->Register.Index] == TGSI_SEMANTIC_VERTICESIN) {
-                       if (ctx->type == TGSI_PROCESSOR_TESS_CTRL) {
+                       if (ctx->type == PIPE_SHADER_TESS_CTRL) {
                                r600_src->sel = ctx->tess_input_info;
                                r600_src->swizzle[0] = 2;
                                r600_src->swizzle[1] = 2;
@@ -1374,13 +1375,13 @@ static void tgsi_src(struct r600_shader_ctx *ctx,
                                r600_src->swizzle[2] = 3;
                                r600_src->swizzle[3] = 3;
                        }
-               } else if (ctx->type == TGSI_PROCESSOR_TESS_CTRL && ctx->info.system_value_semantic_name[tgsi_src->Register.Index] == TGSI_SEMANTIC_PRIMID) {
+               } else if (ctx->type == PIPE_SHADER_TESS_CTRL && ctx->info.system_value_semantic_name[tgsi_src->Register.Index] == TGSI_SEMANTIC_PRIMID) {
                        r600_src->sel = 0;
                        r600_src->swizzle[0] = 0;
                        r600_src->swizzle[1] = 0;
                        r600_src->swizzle[2] = 0;
                        r600_src->swizzle[3] = 0;
-               } else if (ctx->type == TGSI_PROCESSOR_TESS_EVAL && ctx->info.system_value_semantic_name[tgsi_src->Register.Index] == TGSI_SEMANTIC_PRIMID) {
+               } else if (ctx->type == PIPE_SHADER_TESS_EVAL && ctx->info.system_value_semantic_name[tgsi_src->Register.Index] == TGSI_SEMANTIC_PRIMID) {
                        r600_src->sel = 0;
                        r600_src->swizzle[0] = 3;
                        r600_src->swizzle[1] = 3;
@@ -1853,19 +1854,19 @@ static int tgsi_split_lds_inputs(struct r600_shader_ctx *ctx)
        for (i = 0; i < inst->Instruction.NumSrcRegs; i++) {
                struct tgsi_full_src_register *src = &inst->Src[i];
 
-               if (ctx->type == TGSI_PROCESSOR_TESS_EVAL && src->Register.File == TGSI_FILE_INPUT) {
+               if (ctx->type == PIPE_SHADER_TESS_EVAL && src->Register.File == TGSI_FILE_INPUT) {
                        int treg = r600_get_temp(ctx);
                        fetch_tes_input(ctx, src, treg);
                        ctx->src[i].sel = treg;
                        ctx->src[i].rel = 0;
                }
-               if (ctx->type == TGSI_PROCESSOR_TESS_CTRL && src->Register.File == TGSI_FILE_INPUT) {
+               if (ctx->type == PIPE_SHADER_TESS_CTRL && src->Register.File == TGSI_FILE_INPUT) {
                        int treg = r600_get_temp(ctx);
                        fetch_tcs_input(ctx, src, treg);
                        ctx->src[i].sel = treg;
                        ctx->src[i].rel = 0;
                }
-               if (ctx->type == TGSI_PROCESSOR_TESS_CTRL && src->Register.File == TGSI_FILE_OUTPUT) {
+               if (ctx->type == PIPE_SHADER_TESS_CTRL && src->Register.File == TGSI_FILE_OUTPUT) {
                        int treg = r600_get_temp(ctx);
                        fetch_tcs_output(ctx, src, treg);
                        ctx->src[i].sel = treg;
@@ -2158,7 +2159,7 @@ static int generate_gs_copy_shader(struct r600_context *rctx,
 
        ctx.shader = &cshader->shader;
        ctx.bc = &ctx.shader->bc;
-       ctx.type = ctx.bc->type = TGSI_PROCESSOR_VERTEX;
+       ctx.type = ctx.bc->type = PIPE_SHADER_VERTEX;
 
        r600_bytecode_init(ctx.bc, rctx->b.chip_class, rctx->b.family,
                           rctx->screen->has_compressed_msaa_texturing);
@@ -2954,7 +2955,7 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
        ctx.bc->type = shader->processor_type;
 
        switch (ctx.type) {
-       case TGSI_PROCESSOR_VERTEX:
+       case PIPE_SHADER_VERTEX:
                shader->vs_as_gs_a = key.vs.as_gs_a;
                shader->vs_as_es = key.vs.as_es;
                shader->vs_as_ls = key.vs.as_ls;
@@ -2963,21 +2964,21 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
                if (shader->vs_as_ls)
                        lds_outputs = true;
                break;
-       case TGSI_PROCESSOR_GEOMETRY:
+       case PIPE_SHADER_GEOMETRY:
                ring_outputs = true;
                break;
-       case TGSI_PROCESSOR_TESS_CTRL:
+       case PIPE_SHADER_TESS_CTRL:
                shader->tcs_prim_mode = key.tcs.prim_mode;
                lds_outputs = true;
                lds_inputs = true;
                break;
-       case TGSI_PROCESSOR_TESS_EVAL:
+       case PIPE_SHADER_TESS_EVAL:
                shader->tes_as_es = key.tes.as_es;
                lds_inputs = true;
                if (shader->tes_as_es)
                        ring_outputs = true;
                break;
-       case TGSI_PROCESSOR_FRAGMENT:
+       case PIPE_SHADER_FRAGMENT:
                shader->two_side = key.ps.color_two_side;
                break;
        default:
@@ -3030,23 +3031,23 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
                ctx.file_offset[i] = 0;
        }
 
-       if (ctx.type == TGSI_PROCESSOR_VERTEX) {
+       if (ctx.type == PIPE_SHADER_VERTEX) {
                ctx.file_offset[TGSI_FILE_INPUT] = 1;
                r600_bytecode_add_cfinst(ctx.bc, CF_OP_CALL_FS);
        }
-       if (ctx.type == TGSI_PROCESSOR_FRAGMENT) {
+       if (ctx.type == PIPE_SHADER_FRAGMENT) {
                if (ctx.bc->chip_class >= EVERGREEN)
                        ctx.file_offset[TGSI_FILE_INPUT] = evergreen_gpr_count(&ctx);
                else
                        ctx.file_offset[TGSI_FILE_INPUT] = allocate_system_value_inputs(&ctx, ctx.file_offset[TGSI_FILE_INPUT]);
        }
-       if (ctx.type == TGSI_PROCESSOR_GEOMETRY) {
+       if (ctx.type == PIPE_SHADER_GEOMETRY) {
                /* FIXME 1 would be enough in some cases (3 or less input vertices) */
                ctx.file_offset[TGSI_FILE_INPUT] = 2;
        }
-       if (ctx.type == TGSI_PROCESSOR_TESS_CTRL)
+       if (ctx.type == PIPE_SHADER_TESS_CTRL)
                ctx.file_offset[TGSI_FILE_INPUT] = 1;
-       if (ctx.type == TGSI_PROCESSOR_TESS_EVAL) {
+       if (ctx.type == PIPE_SHADER_TESS_EVAL) {
                bool add_tesscoord = false, add_tess_inout = false;
                ctx.file_offset[TGSI_FILE_INPUT] = 1;
                for (i = 0; i < PIPE_MAX_SHADER_INPUTS; i++) {
@@ -3079,15 +3080,15 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
        ctx.bc->index_reg[0] = ctx.bc->ar_reg + 1;
        ctx.bc->index_reg[1] = ctx.bc->ar_reg + 2;
 
-       if (ctx.type == TGSI_PROCESSOR_TESS_CTRL) {
+       if (ctx.type == PIPE_SHADER_TESS_CTRL) {
                ctx.tess_input_info = ctx.bc->ar_reg + 3;
                ctx.tess_output_info = ctx.bc->ar_reg + 4;
                ctx.temp_reg = ctx.bc->ar_reg + 5;
-       } else if (ctx.type == TGSI_PROCESSOR_TESS_EVAL) {
+       } else if (ctx.type == PIPE_SHADER_TESS_EVAL) {
                ctx.tess_input_info = 0;
                ctx.tess_output_info = ctx.bc->ar_reg + 3;
                ctx.temp_reg = ctx.bc->ar_reg + 4;
-       } else if (ctx.type == TGSI_PROCESSOR_GEOMETRY) {
+       } else if (ctx.type == PIPE_SHADER_GEOMETRY) {
                ctx.gs_export_gpr_tregs[0] = ctx.bc->ar_reg + 3;
                ctx.gs_export_gpr_tregs[1] = ctx.bc->ar_reg + 4;
                ctx.gs_export_gpr_tregs[2] = ctx.bc->ar_reg + 5;
@@ -3126,7 +3127,7 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
        if (shader->vs_as_gs_a)
                vs_add_primid_output(&ctx, key.vs.prim_id_out);
 
-       if (ctx.type == TGSI_PROCESSOR_TESS_EVAL)
+       if (ctx.type == PIPE_SHADER_TESS_EVAL)
                r600_fetch_tess_io_info(&ctx);
 
        while (!tgsi_parse_end_of_tokens(&ctx.parse)) {
@@ -3240,7 +3241,7 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
                }
        }
 
-       if (ctx.type == TGSI_PROCESSOR_GEOMETRY) {
+       if (ctx.type == PIPE_SHADER_GEOMETRY) {
                struct r600_bytecode_alu alu;
                int r;
 
@@ -3262,7 +3263,7 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
                }
        }
 
-       if (ctx.type == TGSI_PROCESSOR_TESS_CTRL)
+       if (ctx.type == PIPE_SHADER_TESS_CTRL)
                r600_fetch_tess_io_info(&ctx);
 
        if (shader->two_side && ctx.colors_used) {
@@ -3287,7 +3288,7 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
                                goto out_err;
                        if ((r = tgsi_split_literal_constant(&ctx)))
                                goto out_err;
-                       if (ctx.type == TGSI_PROCESSOR_GEOMETRY) {
+                       if (ctx.type == PIPE_SHADER_GEOMETRY) {
                                if ((r = tgsi_split_gs_inputs(&ctx)))
                                        goto out_err;
                        } else if (lds_inputs) {
@@ -3304,7 +3305,7 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
                        if (r)
                                goto out_err;
 
-                       if (ctx.type == TGSI_PROCESSOR_TESS_CTRL) {
+                       if (ctx.type == PIPE_SHADER_TESS_CTRL) {
                                r = r600_store_tcs_output(&ctx);
                                if (r)
                                        goto out_err;
@@ -3372,9 +3373,9 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
        /* Add stream outputs. */
        if (so.num_outputs) {
                bool emit = false;
-               if (!lds_outputs && !ring_outputs && ctx.type == TGSI_PROCESSOR_VERTEX)
+               if (!lds_outputs && !ring_outputs && ctx.type == PIPE_SHADER_VERTEX)
                        emit = true;
-               if (!ring_outputs && ctx.type == TGSI_PROCESSOR_TESS_EVAL)
+               if (!ring_outputs && ctx.type == PIPE_SHADER_TESS_EVAL)
                        emit = true;
                if (emit)
                        emit_streamout(&ctx, &so, -1, NULL);
@@ -3382,11 +3383,11 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
        pipeshader->enabled_stream_buffers_mask = ctx.enabled_stream_buffers_mask;
        convert_edgeflag_to_int(&ctx);
 
-       if (ctx.type == TGSI_PROCESSOR_TESS_CTRL)
+       if (ctx.type == PIPE_SHADER_TESS_CTRL)
                r600_emit_tess_factor(&ctx);
 
        if (lds_outputs) {
-               if (ctx.type == TGSI_PROCESSOR_VERTEX) {
+               if (ctx.type == PIPE_SHADER_VERTEX) {
                        if (ctx.shader->noutput)
                                emit_lds_vs_writes(&ctx);
                }
@@ -3415,8 +3416,8 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
                        output[j].type = -1;
                        output[j].op = CF_OP_EXPORT;
                        switch (ctx.type) {
-                       case TGSI_PROCESSOR_VERTEX:
-                       case TGSI_PROCESSOR_TESS_EVAL:
+                       case PIPE_SHADER_VERTEX:
+                       case PIPE_SHADER_TESS_EVAL:
                                switch (shader->output[i].name) {
                                case TGSI_SEMANTIC_POSITION:
                                        output[j].array_base = 60;
@@ -3506,7 +3507,7 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
                                }
 
                                break;
-                       case TGSI_PROCESSOR_FRAGMENT:
+                       case PIPE_SHADER_FRAGMENT:
                                if (shader->output[i].name == TGSI_SEMANTIC_COLOR) {
                                        /* never export more colors than the number of CBs */
                                        if (shader->output[i].sid >= max_color_exports) {
@@ -3560,7 +3561,7 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
                                        goto out_err;
                                }
                                break;
-                       case TGSI_PROCESSOR_TESS_CTRL:
+                       case PIPE_SHADER_TESS_CTRL:
                                break;
                        default:
                                R600_ERR("unsupported processor type %d\n", ctx.type);
@@ -3575,7 +3576,7 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
                }
 
                /* add fake position export */
-               if ((ctx.type == TGSI_PROCESSOR_VERTEX || ctx.type == TGSI_PROCESSOR_TESS_EVAL) && pos_emitted == false) {
+               if ((ctx.type == PIPE_SHADER_VERTEX || ctx.type == PIPE_SHADER_TESS_EVAL) && pos_emitted == false) {
                        memset(&output[j], 0, sizeof(struct r600_bytecode_output));
                        output[j].gpr = 0;
                        output[j].elem_size = 3;
@@ -3591,7 +3592,7 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
                }
 
                /* add fake param output for vertex shader if no param is exported */
-               if ((ctx.type == TGSI_PROCESSOR_VERTEX || ctx.type == TGSI_PROCESSOR_TESS_EVAL) && next_param_base == 0) {
+               if ((ctx.type == PIPE_SHADER_VERTEX || ctx.type == PIPE_SHADER_TESS_EVAL) && next_param_base == 0) {
                        memset(&output[j], 0, sizeof(struct r600_bytecode_output));
                        output[j].gpr = 0;
                        output[j].elem_size = 3;
@@ -3607,7 +3608,7 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
                }
 
                /* add fake pixel export */
-               if (ctx.type == TGSI_PROCESSOR_FRAGMENT && shader->nr_ps_color_exports == 0) {
+               if (ctx.type == PIPE_SHADER_FRAGMENT && shader->nr_ps_color_exports == 0) {
                        memset(&output[j], 0, sizeof(struct r600_bytecode_output));
                        output[j].gpr = 0;
                        output[j].elem_size = 3;
@@ -3664,7 +3665,7 @@ static int r600_shader_from_tgsi(struct r600_context *rctx,
                goto out_err;
        }
 
-       if (ctx.type == TGSI_PROCESSOR_GEOMETRY) {
+       if (ctx.type == PIPE_SHADER_GEOMETRY) {
                if ((r = generate_gs_copy_shader(rctx, pipeshader, &so)))
                        return r;
        }
@@ -3731,7 +3732,7 @@ static void tgsi_dst(struct r600_shader_ctx *ctx,
        if (inst->Instruction.Saturate) {
                r600_dst->clamp = 1;
        }
-       if (ctx->type == TGSI_PROCESSOR_TESS_CTRL) {
+       if (ctx->type == PIPE_SHADER_TESS_CTRL) {
                if (tgsi_dst->Register.File == TGSI_FILE_OUTPUT) {
                        return;
                }
@@ -3803,9 +3804,6 @@ static int tgsi_op2_64_params(struct r600_shader_ctx *ctx, bool singledest, bool
                /* handle some special cases */
                if (i == 1 || i == 3) {
                        switch (ctx->parse.FullToken.FullInstruction.Instruction.Opcode) {
-                       case TGSI_OPCODE_SUB:
-                               r600_bytecode_src_toggle_neg(&alu.src[1]);
-                               break;
                        case TGSI_OPCODE_DABS:
                                r600_bytecode_src_set_abs(&alu.src[0]);
                                break;
@@ -3930,17 +3928,6 @@ static int tgsi_op2_s(struct r600_shader_ctx *ctx, int swap, int trans_only)
                        r600_bytecode_src(&alu.src[0], &ctx->src[1], i);
                        r600_bytecode_src(&alu.src[1], &ctx->src[0], i);
                }
-               /* handle some special cases */
-               switch (inst->Instruction.Opcode) {
-               case TGSI_OPCODE_SUB:
-                       r600_bytecode_src_toggle_neg(&alu.src[1]);
-                       break;
-               case TGSI_OPCODE_ABS:
-                       r600_bytecode_src_set_abs(&alu.src[0]);
-                       break;
-               default:
-                       break;
-               }
                if (i == lasti || trans_only) {
                        alu.last = 1;
                }
@@ -4339,25 +4326,27 @@ static int cayman_mul_double_instr(struct r600_shader_ctx *ctx)
        int lasti = tgsi_last_instruction(inst->Dst[0].Register.WriteMask);
        int t1 = ctx->temp_reg;
 
-       for (k = 0; k < 2; k++) {
-               if (!(inst->Dst[0].Register.WriteMask & (0x3 << (k * 2))))
-                       continue;
+       /* t1 would get overwritten below if we actually tried to
+        * multiply two pairs of doubles at a time. */
+       assert(inst->Dst[0].Register.WriteMask == TGSI_WRITEMASK_XY ||
+              inst->Dst[0].Register.WriteMask == TGSI_WRITEMASK_ZW);
 
-               for (i = 0; i < 4; i++) {
-                       memset(&alu, 0, sizeof(struct r600_bytecode_alu));
-                       alu.op = ctx->inst_info->op;
-                       for (j = 0; j < inst->Instruction.NumSrcRegs; j++) {
-                               r600_bytecode_src(&alu.src[j], &ctx->src[j], k * 2 + ((i == 3) ? 0 : 1));
-                       }
-                       alu.dst.sel = t1;
-                       alu.dst.chan = i;
-                       alu.dst.write = 1;
-                       if (i == 3)
-                               alu.last = 1;
-                       r = r600_bytecode_add_alu(ctx->bc, &alu);
-                       if (r)
-                               return r;
+       k = inst->Dst[0].Register.WriteMask == TGSI_WRITEMASK_XY ? 0 : 1;
+
+       for (i = 0; i < 4; i++) {
+               memset(&alu, 0, sizeof(struct r600_bytecode_alu));
+               alu.op = ctx->inst_info->op;
+               for (j = 0; j < inst->Instruction.NumSrcRegs; j++) {
+                       r600_bytecode_src(&alu.src[j], &ctx->src[j], k * 2 + ((i == 3) ? 0 : 1));
                }
+               alu.dst.sel = t1;
+               alu.dst.chan = i;
+               alu.dst.write = 1;
+               if (i == 3)
+                       alu.last = 1;
+               r = r600_bytecode_add_alu(ctx->bc, &alu);
+               if (r)
+                       return r;
        }
 
        for (i = 0; i <= lasti; i++) {
@@ -4386,10 +4375,6 @@ static int cayman_mul_double_instr(struct r600_shader_ctx *ctx)
  */
 static int tgsi_setup_trig(struct r600_shader_ctx *ctx)
 {
-       static float half_inv_pi = 1.0 /(3.1415926535 * 2);
-       static float double_pi = 3.1415926535 * 2;
-       static float neg_pi = -3.1415926535;
-
        int r;
        struct r600_bytecode_alu alu;
 
@@ -4405,7 +4390,7 @@ static int tgsi_setup_trig(struct r600_shader_ctx *ctx)
 
        alu.src[1].sel = V_SQ_ALU_SRC_LITERAL;
        alu.src[1].chan = 0;
-       alu.src[1].value = *(uint32_t *)&half_inv_pi;
+       alu.src[1].value = u_bitcast_f2u(0.5f * M_1_PI);
        alu.src[2].sel = V_SQ_ALU_SRC_0_5;
        alu.src[2].chan = 0;
        alu.last = 1;
@@ -4444,8 +4429,8 @@ static int tgsi_setup_trig(struct r600_shader_ctx *ctx)
        alu.src[2].chan = 0;
 
        if (ctx->bc->chip_class == R600) {
-               alu.src[1].value = *(uint32_t *)&double_pi;
-               alu.src[2].value = *(uint32_t *)&neg_pi;
+               alu.src[1].value = u_bitcast_f2u(2.0f * M_PI);
+               alu.src[2].value = u_bitcast_f2u(-M_PI);
        } else {
                alu.src[1].sel = V_SQ_ALU_SRC_1;
                alu.src[2].sel = V_SQ_ALU_SRC_0_5;
@@ -6569,7 +6554,7 @@ static inline boolean tgsi_tex_src_requires_loading(struct r600_shader_ctx *ctx,
                inst->Src[index].Register.File != TGSI_FILE_INPUT &&
                inst->Src[index].Register.File != TGSI_FILE_OUTPUT) ||
                ctx->src[index].neg || ctx->src[index].abs ||
-               (inst->Src[index].Register.File == TGSI_FILE_INPUT && ctx->type == TGSI_PROCESSOR_GEOMETRY);
+               (inst->Src[index].Register.File == TGSI_FILE_INPUT && ctx->type == PIPE_SHADER_GEOMETRY);
 }
 
 static inline unsigned tgsi_tex_get_src_gpr(struct r600_shader_ctx *ctx,
@@ -6704,7 +6689,6 @@ static int r600_do_buffer_txq(struct r600_shader_ctx *ctx)
 
 static int tgsi_tex(struct r600_shader_ctx *ctx)
 {
-       static float one_point_five = 1.5f;
        struct tgsi_full_instruction *inst = &ctx->parse.FullToken.FullInstruction;
        struct r600_bytecode_tex tex;
        struct r600_bytecode_alu alu;
@@ -6906,7 +6890,7 @@ static int tgsi_tex(struct r600_shader_ctx *ctx)
 
                alu.src[2].sel = V_SQ_ALU_SRC_LITERAL;
                alu.src[2].chan = 0;
-               alu.src[2].value = *(uint32_t *)&one_point_five;
+               alu.src[2].value = u_bitcast_f2u(1.5f);
 
                alu.dst.sel = ctx->temp_reg;
                alu.dst.chan = 0;
@@ -6927,7 +6911,7 @@ static int tgsi_tex(struct r600_shader_ctx *ctx)
 
                alu.src[2].sel = V_SQ_ALU_SRC_LITERAL;
                alu.src[2].chan = 0;
-               alu.src[2].value = *(uint32_t *)&one_point_five;
+               alu.src[2].value = u_bitcast_f2u(1.5f);
 
                alu.dst.sel = ctx->temp_reg;
                alu.dst.chan = 1;
@@ -6961,7 +6945,6 @@ static int tgsi_tex(struct r600_shader_ctx *ctx)
                    inst->Texture.Texture == TGSI_TEXTURE_SHADOWCUBE_ARRAY) {
                        if (ctx->bc->chip_class >= EVERGREEN) {
                                int mytmp = r600_get_temp(ctx);
-                               static const float eight = 8.0f;
                                memset(&alu, 0, sizeof(struct r600_bytecode_alu));
                                alu.op = ALU_OP1_MOV;
                                alu.src[0].sel = ctx->temp_reg;
@@ -6981,7 +6964,7 @@ static int tgsi_tex(struct r600_shader_ctx *ctx)
                                r600_bytecode_src(&alu.src[0], &ctx->src[0], 3);
                                alu.src[1].sel = V_SQ_ALU_SRC_LITERAL;
                                alu.src[1].chan = 0;
-                               alu.src[1].value = *(uint32_t *)&eight;
+                               alu.src[1].value = u_bitcast_f2u(8.0f);
                                alu.src[2].sel = mytmp;
                                alu.src[2].chan = 0;
                                alu.dst.sel = ctx->temp_reg;
@@ -7707,6 +7690,15 @@ static int tgsi_cmp(struct r600_shader_ctx *ctx)
        int i, r, j;
        int lasti = tgsi_last_instruction(inst->Dst[0].Register.WriteMask);
        int temp_regs[3];
+       unsigned op;
+
+       if (ctx->src[0].abs && ctx->src[0].neg) {
+               op = ALU_OP3_CNDE;
+               ctx->src[0].abs = 0;
+               ctx->src[0].neg = 0;
+       } else {
+               op = ALU_OP3_CNDGE;
+       }
 
        for (j = 0; j < inst->Instruction.NumSrcRegs; j++) {
                temp_regs[j] = 0;
@@ -7719,7 +7711,7 @@ static int tgsi_cmp(struct r600_shader_ctx *ctx)
                        continue;
 
                memset(&alu, 0, sizeof(struct r600_bytecode_alu));
-               alu.op = ALU_OP3_CNDGE;
+               alu.op = op;
                r = tgsi_make_src_for_op3(ctx, temp_regs[0], i, &alu.src[0], &ctx->src[0]);
                if (r)
                        return r;
@@ -8882,6 +8874,105 @@ static int tgsi_umad(struct r600_shader_ctx *ctx)
        return 0;
 }
 
+static int tgsi_pk2h(struct r600_shader_ctx *ctx)
+{
+       struct tgsi_full_instruction *inst = &ctx->parse.FullToken.FullInstruction;
+       struct r600_bytecode_alu alu;
+       int r, i;
+       int lasti = tgsi_last_instruction(inst->Dst[0].Register.WriteMask);
+
+       /* temp.xy = f32_to_f16(src) */
+       memset(&alu, 0, sizeof(struct r600_bytecode_alu));
+       alu.op = ALU_OP1_FLT32_TO_FLT16;
+       alu.dst.chan = 0;
+       alu.dst.sel = ctx->temp_reg;
+       alu.dst.write = 1;
+       r600_bytecode_src(&alu.src[0], &ctx->src[0], 0);
+       r = r600_bytecode_add_alu(ctx->bc, &alu);
+       if (r)
+               return r;
+       alu.dst.chan = 1;
+       r600_bytecode_src(&alu.src[0], &ctx->src[0], 1);
+       alu.last = 1;
+       r = r600_bytecode_add_alu(ctx->bc, &alu);
+       if (r)
+               return r;
+
+       /* dst.x = temp.y * 0x10000 + temp.x */
+       for (i = 0; i < lasti + 1; i++) {
+               if (!(inst->Dst[0].Register.WriteMask & (1 << i)))
+                       continue;
+
+               memset(&alu, 0, sizeof(struct r600_bytecode_alu));
+               alu.op = ALU_OP3_MULADD_UINT24;
+               alu.is_op3 = 1;
+               tgsi_dst(ctx, &inst->Dst[0], i, &alu.dst);
+               alu.last = i == lasti;
+               alu.src[0].sel = ctx->temp_reg;
+               alu.src[0].chan = 1;
+               alu.src[1].sel = V_SQ_ALU_SRC_LITERAL;
+               alu.src[1].value = 0x10000;
+               alu.src[2].sel = ctx->temp_reg;
+               alu.src[2].chan = 0;
+               r = r600_bytecode_add_alu(ctx->bc, &alu);
+               if (r)
+                       return r;
+       }
+
+       return 0;
+}
+
+static int tgsi_up2h(struct r600_shader_ctx *ctx)
+{
+       struct tgsi_full_instruction *inst = &ctx->parse.FullToken.FullInstruction;
+       struct r600_bytecode_alu alu;
+       int r, i;
+       int lasti = tgsi_last_instruction(inst->Dst[0].Register.WriteMask);
+
+       /* temp.x = src.x */
+       /* note: no need to mask out the high bits */
+       memset(&alu, 0, sizeof(struct r600_bytecode_alu));
+       alu.op = ALU_OP1_MOV;
+       alu.dst.chan = 0;
+       alu.dst.sel = ctx->temp_reg;
+       alu.dst.write = 1;
+       r600_bytecode_src(&alu.src[0], &ctx->src[0], 0);
+       r = r600_bytecode_add_alu(ctx->bc, &alu);
+       if (r)
+               return r;
+
+       /* temp.y = src.x >> 16 */
+       memset(&alu, 0, sizeof(struct r600_bytecode_alu));
+       alu.op = ALU_OP2_LSHR_INT;
+       alu.dst.chan = 1;
+       alu.dst.sel = ctx->temp_reg;
+       alu.dst.write = 1;
+       r600_bytecode_src(&alu.src[0], &ctx->src[0], 0);
+       alu.src[1].sel = V_SQ_ALU_SRC_LITERAL;
+       alu.src[1].value = 16;
+       alu.last = 1;
+       r = r600_bytecode_add_alu(ctx->bc, &alu);
+       if (r)
+               return r;
+
+       /* dst.wz = dst.xy = f16_to_f32(temp.xy) */
+       for (i = 0; i < lasti + 1; i++) {
+               if (!(inst->Dst[0].Register.WriteMask & (1 << i)))
+                       continue;
+               memset(&alu, 0, sizeof(struct r600_bytecode_alu));
+               tgsi_dst(ctx, &inst->Dst[0], i, &alu.dst);
+               alu.op = ALU_OP1_FLT16_TO_FLT32;
+               alu.src[0].sel = ctx->temp_reg;
+               alu.src[0].chan = i % 2;
+               alu.last = i == lasti;
+               r = r600_bytecode_add_alu(ctx->bc, &alu);
+               if (r)
+                       return r;
+       }
+
+       return 0;
+}
+
 static const struct r600_shader_tgsi_instruction r600_shader_tgsi_instruction[] = {
        [TGSI_OPCODE_ARL]       = { ALU_OP0_NOP, tgsi_r600_arl},
        [TGSI_OPCODE_MOV]       = { ALU_OP1_MOV, tgsi_op2},
@@ -8906,7 +8997,6 @@ static const struct r600_shader_tgsi_instruction r600_shader_tgsi_instruction[]
        [TGSI_OPCODE_SLT]       = { ALU_OP2_SETGT, tgsi_op2_swap},
        [TGSI_OPCODE_SGE]       = { ALU_OP2_SETGE, tgsi_op2},
        [TGSI_OPCODE_MAD]       = { ALU_OP3_MULADD, tgsi_op3},
-       [TGSI_OPCODE_SUB]       = { ALU_OP2_ADD, tgsi_op2},
        [TGSI_OPCODE_LRP]       = { ALU_OP0_NOP, tgsi_lrp},
        [TGSI_OPCODE_FMA]       = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_SQRT]      = { ALU_OP1_SQRT_IEEE, tgsi_trans_srcx_replicate},
@@ -8922,7 +9012,7 @@ static const struct r600_shader_tgsi_instruction r600_shader_tgsi_instruction[]
        [TGSI_OPCODE_POW]       = { ALU_OP0_NOP, tgsi_pow},
        [TGSI_OPCODE_XPD]       = { ALU_OP0_NOP, tgsi_xpd},
        [32]                    = { ALU_OP0_NOP, tgsi_unsupported},
-       [TGSI_OPCODE_ABS]       = { ALU_OP1_MOV, tgsi_op2},
+       [33]                    = { ALU_OP0_NOP, tgsi_unsupported},
        [34]                    = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_DPH]       = { ALU_OP2_DOT4, tgsi_dp},
        [TGSI_OPCODE_COS]       = { ALU_OP1_COS, tgsi_trig},
@@ -8994,20 +9084,20 @@ static const struct r600_shader_tgsi_instruction r600_shader_tgsi_instruction[]
        [TGSI_OPCODE_ENDSUB]    = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_TXQ_LZ]    = { FETCH_OP_GET_TEXTURE_RESINFO, tgsi_tex},
        [TGSI_OPCODE_TXQS]      = { FETCH_OP_GET_NUMBER_OF_SAMPLES, tgsi_tex},
-       [105]                   = { ALU_OP0_NOP, tgsi_unsupported},
+       [TGSI_OPCODE_RESQ]      = { ALU_OP0_NOP, tgsi_unsupported},
        [106]                   = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_NOP]       = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_FSEQ]      = { ALU_OP2_SETE_DX10, tgsi_op2},
        [TGSI_OPCODE_FSGE]      = { ALU_OP2_SETGE_DX10, tgsi_op2},
        [TGSI_OPCODE_FSLT]      = { ALU_OP2_SETGT_DX10, tgsi_op2_swap},
        [TGSI_OPCODE_FSNE]      = { ALU_OP2_SETNE_DX10, tgsi_op2_swap},
-       [112]                   = { ALU_OP0_NOP, tgsi_unsupported},
+       [TGSI_OPCODE_MEMBAR]    = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_CALLNZ]    = { ALU_OP0_NOP, tgsi_unsupported},
        [114]                   = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_BREAKC]    = { ALU_OP0_NOP, tgsi_loop_breakc},
        [TGSI_OPCODE_KILL_IF]   = { ALU_OP2_KILLGT, tgsi_kill},  /* conditional kill */
        [TGSI_OPCODE_END]       = { ALU_OP0_NOP, tgsi_end},  /* aka HALT */
-       [118]                   = { ALU_OP0_NOP, tgsi_unsupported},
+       [TGSI_OPCODE_DFMA]      = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_F2I]       = { ALU_OP1_FLT_TO_INT, tgsi_op2_trans},
        [TGSI_OPCODE_IDIV]      = { ALU_OP0_NOP, tgsi_idiv},
        [TGSI_OPCODE_IMAX]      = { ALU_OP2_MAX_INT, tgsi_op2},
@@ -9105,9 +9195,8 @@ static const struct r600_shader_tgsi_instruction eg_shader_tgsi_instruction[] =
        [TGSI_OPCODE_SLT]       = { ALU_OP2_SETGT, tgsi_op2_swap},
        [TGSI_OPCODE_SGE]       = { ALU_OP2_SETGE, tgsi_op2},
        [TGSI_OPCODE_MAD]       = { ALU_OP3_MULADD, tgsi_op3},
-       [TGSI_OPCODE_SUB]       = { ALU_OP2_ADD, tgsi_op2},
        [TGSI_OPCODE_LRP]       = { ALU_OP0_NOP, tgsi_lrp},
-       [TGSI_OPCODE_FMA]       = { ALU_OP0_NOP, tgsi_unsupported},
+       [TGSI_OPCODE_FMA]       = { ALU_OP3_FMA, tgsi_op3},
        [TGSI_OPCODE_SQRT]      = { ALU_OP1_SQRT_IEEE, tgsi_trans_srcx_replicate},
        [TGSI_OPCODE_DP2A]      = { ALU_OP0_NOP, tgsi_unsupported},
        [22]                    = { ALU_OP0_NOP, tgsi_unsupported},
@@ -9121,14 +9210,14 @@ static const struct r600_shader_tgsi_instruction eg_shader_tgsi_instruction[] =
        [TGSI_OPCODE_POW]       = { ALU_OP0_NOP, tgsi_pow},
        [TGSI_OPCODE_XPD]       = { ALU_OP0_NOP, tgsi_xpd},
        [32]                    = { ALU_OP0_NOP, tgsi_unsupported},
-       [TGSI_OPCODE_ABS]       = { ALU_OP1_MOV, tgsi_op2},
+       [33]                    = { ALU_OP0_NOP, tgsi_unsupported},
        [34]                    = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_DPH]       = { ALU_OP2_DOT4, tgsi_dp},
        [TGSI_OPCODE_COS]       = { ALU_OP1_COS, tgsi_trig},
        [TGSI_OPCODE_DDX]       = { FETCH_OP_GET_GRADIENTS_H, tgsi_tex},
        [TGSI_OPCODE_DDY]       = { FETCH_OP_GET_GRADIENTS_V, tgsi_tex},
        [TGSI_OPCODE_KILL]      = { ALU_OP2_KILLGT, tgsi_kill},  /* unconditional kill */
-       [TGSI_OPCODE_PK2H]      = { ALU_OP0_NOP, tgsi_unsupported},
+       [TGSI_OPCODE_PK2H]      = { ALU_OP0_NOP, tgsi_pk2h},
        [TGSI_OPCODE_PK2US]     = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_PK4B]      = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_PK4UB]     = { ALU_OP0_NOP, tgsi_unsupported},
@@ -9143,7 +9232,7 @@ static const struct r600_shader_tgsi_instruction eg_shader_tgsi_instruction[] =
        [TGSI_OPCODE_TEX]       = { FETCH_OP_SAMPLE, tgsi_tex},
        [TGSI_OPCODE_TXD]       = { FETCH_OP_SAMPLE_G, tgsi_tex},
        [TGSI_OPCODE_TXP]       = { FETCH_OP_SAMPLE, tgsi_tex},
-       [TGSI_OPCODE_UP2H]      = { ALU_OP0_NOP, tgsi_unsupported},
+       [TGSI_OPCODE_UP2H]      = { ALU_OP0_NOP, tgsi_up2h},
        [TGSI_OPCODE_UP2US]     = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_UP4B]      = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_UP4UB]     = { ALU_OP0_NOP, tgsi_unsupported},
@@ -9193,20 +9282,20 @@ static const struct r600_shader_tgsi_instruction eg_shader_tgsi_instruction[] =
        [TGSI_OPCODE_ENDSUB]    = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_TXQ_LZ]    = { FETCH_OP_GET_TEXTURE_RESINFO, tgsi_tex},
        [TGSI_OPCODE_TXQS]      = { FETCH_OP_GET_NUMBER_OF_SAMPLES, tgsi_tex},
-       [105]                   = { ALU_OP0_NOP, tgsi_unsupported},
+       [TGSI_OPCODE_RESQ]      = { ALU_OP0_NOP, tgsi_unsupported},
        [106]                   = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_NOP]       = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_FSEQ]      = { ALU_OP2_SETE_DX10, tgsi_op2},
        [TGSI_OPCODE_FSGE]      = { ALU_OP2_SETGE_DX10, tgsi_op2},
        [TGSI_OPCODE_FSLT]      = { ALU_OP2_SETGT_DX10, tgsi_op2_swap},
        [TGSI_OPCODE_FSNE]      = { ALU_OP2_SETNE_DX10, tgsi_op2_swap},
-       [112]                   = { ALU_OP0_NOP, tgsi_unsupported},
+       [TGSI_OPCODE_MEMBAR]    = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_CALLNZ]    = { ALU_OP0_NOP, tgsi_unsupported},
        [114]                   = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_BREAKC]    = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_KILL_IF]   = { ALU_OP2_KILLGT, tgsi_kill},  /* conditional kill */
        [TGSI_OPCODE_END]       = { ALU_OP0_NOP, tgsi_end},  /* aka HALT */
-       [118]                   = { ALU_OP0_NOP, tgsi_unsupported},
+       /* Refer below for TGSI_OPCODE_DFMA */
        [TGSI_OPCODE_F2I]       = { ALU_OP1_FLT_TO_INT, tgsi_f2i},
        [TGSI_OPCODE_IDIV]      = { ALU_OP0_NOP, tgsi_idiv},
        [TGSI_OPCODE_IMAX]      = { ALU_OP2_MAX_INT, tgsi_op2},
@@ -9298,6 +9387,7 @@ static const struct r600_shader_tgsi_instruction eg_shader_tgsi_instruction[] =
        [TGSI_OPCODE_DRCP]      = { ALU_OP2_RECIP_64, cayman_emit_double_instr},
        [TGSI_OPCODE_DSQRT]     = { ALU_OP2_SQRT_64, cayman_emit_double_instr},
        [TGSI_OPCODE_DMAD]      = { ALU_OP3_FMA_64, tgsi_op3_64},
+       [TGSI_OPCODE_DFMA]      = { ALU_OP3_FMA_64, tgsi_op3_64},
        [TGSI_OPCODE_DFRAC]     = { ALU_OP1_FRACT_64, tgsi_op2_64},
        [TGSI_OPCODE_DLDEXP]    = { ALU_OP2_LDEXP_64, tgsi_op2_64},
        [TGSI_OPCODE_DFRACEXP]  = { ALU_OP1_FREXP_64, tgsi_dfracexp},
@@ -9327,9 +9417,8 @@ static const struct r600_shader_tgsi_instruction cm_shader_tgsi_instruction[] =
        [TGSI_OPCODE_SLT]       = { ALU_OP2_SETGT, tgsi_op2_swap},
        [TGSI_OPCODE_SGE]       = { ALU_OP2_SETGE, tgsi_op2},
        [TGSI_OPCODE_MAD]       = { ALU_OP3_MULADD, tgsi_op3},
-       [TGSI_OPCODE_SUB]       = { ALU_OP2_ADD, tgsi_op2},
        [TGSI_OPCODE_LRP]       = { ALU_OP0_NOP, tgsi_lrp},
-       [TGSI_OPCODE_FMA]       = { ALU_OP0_NOP, tgsi_unsupported},
+       [TGSI_OPCODE_FMA]       = { ALU_OP3_FMA, tgsi_op3},
        [TGSI_OPCODE_SQRT]      = { ALU_OP1_SQRT_IEEE, cayman_emit_float_instr},
        [TGSI_OPCODE_DP2A]      = { ALU_OP0_NOP, tgsi_unsupported},
        [22]                    = { ALU_OP0_NOP, tgsi_unsupported},
@@ -9343,14 +9432,14 @@ static const struct r600_shader_tgsi_instruction cm_shader_tgsi_instruction[] =
        [TGSI_OPCODE_POW]       = { ALU_OP0_NOP, cayman_pow},
        [TGSI_OPCODE_XPD]       = { ALU_OP0_NOP, tgsi_xpd},
        [32]                    = { ALU_OP0_NOP, tgsi_unsupported},
-       [TGSI_OPCODE_ABS]       = { ALU_OP1_MOV, tgsi_op2},
+       [33]                    = { ALU_OP0_NOP, tgsi_unsupported},
        [34]                    = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_DPH]       = { ALU_OP2_DOT4, tgsi_dp},
        [TGSI_OPCODE_COS]       = { ALU_OP1_COS, cayman_trig},
        [TGSI_OPCODE_DDX]       = { FETCH_OP_GET_GRADIENTS_H, tgsi_tex},
        [TGSI_OPCODE_DDY]       = { FETCH_OP_GET_GRADIENTS_V, tgsi_tex},
        [TGSI_OPCODE_KILL]      = { ALU_OP2_KILLGT, tgsi_kill},  /* unconditional kill */
-       [TGSI_OPCODE_PK2H]      = { ALU_OP0_NOP, tgsi_unsupported},
+       [TGSI_OPCODE_PK2H]      = { ALU_OP0_NOP, tgsi_pk2h},
        [TGSI_OPCODE_PK2US]     = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_PK4B]      = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_PK4UB]     = { ALU_OP0_NOP, tgsi_unsupported},
@@ -9365,7 +9454,7 @@ static const struct r600_shader_tgsi_instruction cm_shader_tgsi_instruction[] =
        [TGSI_OPCODE_TEX]       = { FETCH_OP_SAMPLE, tgsi_tex},
        [TGSI_OPCODE_TXD]       = { FETCH_OP_SAMPLE_G, tgsi_tex},
        [TGSI_OPCODE_TXP]       = { FETCH_OP_SAMPLE, tgsi_tex},
-       [TGSI_OPCODE_UP2H]      = { ALU_OP0_NOP, tgsi_unsupported},
+       [TGSI_OPCODE_UP2H]      = { ALU_OP0_NOP, tgsi_up2h},
        [TGSI_OPCODE_UP2US]     = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_UP4B]      = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_UP4UB]     = { ALU_OP0_NOP, tgsi_unsupported},
@@ -9415,20 +9504,20 @@ static const struct r600_shader_tgsi_instruction cm_shader_tgsi_instruction[] =
        [TGSI_OPCODE_ENDSUB]    = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_TXQ_LZ]    = { FETCH_OP_GET_TEXTURE_RESINFO, tgsi_tex},
        [TGSI_OPCODE_TXQS]      = { FETCH_OP_GET_NUMBER_OF_SAMPLES, tgsi_tex},
-       [105]                   = { ALU_OP0_NOP, tgsi_unsupported},
+       [TGSI_OPCODE_RESQ]      = { ALU_OP0_NOP, tgsi_unsupported},
        [106]                   = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_NOP]       = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_FSEQ]      = { ALU_OP2_SETE_DX10, tgsi_op2},
        [TGSI_OPCODE_FSGE]      = { ALU_OP2_SETGE_DX10, tgsi_op2},
        [TGSI_OPCODE_FSLT]      = { ALU_OP2_SETGT_DX10, tgsi_op2_swap},
        [TGSI_OPCODE_FSNE]      = { ALU_OP2_SETNE_DX10, tgsi_op2_swap},
-       [112]                   = { ALU_OP0_NOP, tgsi_unsupported},
+       [TGSI_OPCODE_MEMBAR]    = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_CALLNZ]    = { ALU_OP0_NOP, tgsi_unsupported},
        [114]                   = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_BREAKC]    = { ALU_OP0_NOP, tgsi_unsupported},
        [TGSI_OPCODE_KILL_IF]   = { ALU_OP2_KILLGT, tgsi_kill},  /* conditional kill */
        [TGSI_OPCODE_END]       = { ALU_OP0_NOP, tgsi_end},  /* aka HALT */
-       [118]                   = { ALU_OP0_NOP, tgsi_unsupported},
+       /* Refer below for TGSI_OPCODE_DFMA */
        [TGSI_OPCODE_F2I]       = { ALU_OP1_FLT_TO_INT, tgsi_op2},
        [TGSI_OPCODE_IDIV]      = { ALU_OP0_NOP, tgsi_idiv},
        [TGSI_OPCODE_IMAX]      = { ALU_OP2_MAX_INT, tgsi_op2},
@@ -9520,6 +9609,7 @@ static const struct r600_shader_tgsi_instruction cm_shader_tgsi_instruction[] =
        [TGSI_OPCODE_DRCP]      = { ALU_OP2_RECIP_64, cayman_emit_double_instr},
        [TGSI_OPCODE_DSQRT]     = { ALU_OP2_SQRT_64, cayman_emit_double_instr},
        [TGSI_OPCODE_DMAD]      = { ALU_OP3_FMA_64, tgsi_op3_64},
+       [TGSI_OPCODE_DFMA]      = { ALU_OP3_FMA_64, tgsi_op3_64},
        [TGSI_OPCODE_DFRAC]     = { ALU_OP1_FRACT_64, tgsi_op2_64},
        [TGSI_OPCODE_DLDEXP]    = { ALU_OP2_LDEXP_64, tgsi_op2_64},
        [TGSI_OPCODE_DFRACEXP]  = { ALU_OP1_FREXP_64, tgsi_dfracexp},