radeonsi: use optimal WD settings for primitive restart on Polaris
[mesa.git] / src / gallium / drivers / radeonsi / si_shader.h
index 8059edf639561939c32d1853ed33ea9475c9838a..e16bc9c6b8c9ae8a950b9c2cc946d2538348ae46 100644 (file)
@@ -77,101 +77,155 @@ struct radeon_shader_reloc;
 
 #define SI_MAX_VS_OUTPUTS      40
 
-#define SI_SGPR_RW_BUFFERS     0  /* rings (& stream-out, VS only) */
-#define SI_SGPR_CONST_BUFFERS  2
-#define SI_SGPR_SAMPLERS       4  /* images & sampler states interleaved */
-#define SI_SGPR_IMAGES         6
-#define SI_SGPR_VERTEX_BUFFERS 8  /* VS only */
-#define SI_SGPR_BASE_VERTEX    10 /* VS only */
-#define SI_SGPR_START_INSTANCE 11 /* VS only */
-#define SI_SGPR_VS_STATE_BITS  12 /* VS(VS) only */
-#define SI_SGPR_LS_OUT_LAYOUT  12 /* VS(LS) only */
-#define SI_SGPR_TCS_OUT_OFFSETS        8  /* TCS & TES only */
-#define SI_SGPR_TCS_OUT_LAYOUT 9  /* TCS & TES only */
-#define SI_SGPR_TCS_IN_LAYOUT  10 /* TCS only */
-#define SI_SGPR_ALPHA_REF      8  /* PS only */
-
-#define SI_VS_NUM_USER_SGPR    13 /* API VS */
-#define SI_ES_NUM_USER_SGPR    12 /* API VS */
-#define SI_LS_NUM_USER_SGPR    13 /* API VS */
-#define SI_TCS_NUM_USER_SGPR   11
-#define SI_TES_NUM_USER_SGPR   10
-#define SI_GS_NUM_USER_SGPR    8
-#define SI_GSCOPY_NUM_USER_SGPR        4
-#define SI_PS_NUM_USER_SGPR    9
+/* SGPR user data indices */
+enum {
+       SI_SGPR_RW_BUFFERS,  /* rings (& stream-out, VS only) */
+       SI_SGPR_RW_BUFFERS_HI,
+       SI_SGPR_CONST_BUFFERS,
+       SI_SGPR_CONST_BUFFERS_HI,
+       SI_SGPR_SAMPLERS,  /* images & sampler states interleaved */
+       SI_SGPR_SAMPLERS_HI,
+       SI_SGPR_IMAGES,
+       SI_SGPR_IMAGES_HI,
+       SI_SGPR_SHADER_BUFFERS,
+       SI_SGPR_SHADER_BUFFERS_HI,
+       SI_NUM_RESOURCE_SGPRS,
+
+       /* all VS variants */
+       SI_SGPR_VERTEX_BUFFERS  = SI_NUM_RESOURCE_SGPRS,
+       SI_SGPR_VERTEX_BUFFERS_HI,
+       SI_SGPR_BASE_VERTEX,
+       SI_SGPR_START_INSTANCE,
+       SI_ES_NUM_USER_SGPR,
+
+       /* hw VS only */
+       SI_SGPR_VS_STATE_BITS   = SI_ES_NUM_USER_SGPR,
+       SI_VS_NUM_USER_SGPR,
+
+       /* hw LS only */
+       SI_SGPR_LS_OUT_LAYOUT   = SI_ES_NUM_USER_SGPR,
+       SI_LS_NUM_USER_SGPR,
+
+       /* both TCS and TES */
+       SI_SGPR_TCS_OFFCHIP_LAYOUT = SI_NUM_RESOURCE_SGPRS,
+       SI_TES_NUM_USER_SGPR,
+
+       /* TCS only */
+       SI_SGPR_TCS_OUT_OFFSETS = SI_TES_NUM_USER_SGPR,
+       SI_SGPR_TCS_OUT_LAYOUT,
+       SI_SGPR_TCS_IN_LAYOUT,
+       SI_TCS_NUM_USER_SGPR,
+
+       /* GS limits */
+       SI_GS_NUM_USER_SGPR = SI_NUM_RESOURCE_SGPRS,
+       SI_GSCOPY_NUM_USER_SGPR = SI_SGPR_RW_BUFFERS_HI + 1,
+
+       /* PS only */
+       SI_SGPR_ALPHA_REF       = SI_NUM_RESOURCE_SGPRS,
+       SI_PS_NUM_USER_SGPR,
+
+       /* CS only */
+       SI_SGPR_GRID_SIZE = SI_NUM_RESOURCE_SGPRS,
+       SI_CS_NUM_USER_SGPR = SI_SGPR_GRID_SIZE + 3
+};
 
 /* LLVM function parameter indices */
-#define SI_PARAM_RW_BUFFERS    0
-#define SI_PARAM_CONST_BUFFERS 1
-#define SI_PARAM_SAMPLERS      2
-#define SI_PARAM_IMAGES                3
-
-/* VS only parameters */
-#define SI_PARAM_VERTEX_BUFFERS        4
-#define SI_PARAM_BASE_VERTEX   5
-#define SI_PARAM_START_INSTANCE        6
-/* [0] = clamp vertex color */
-#define SI_PARAM_VS_STATE_BITS 7
-/* the other VS parameters are assigned dynamically */
-
-/* Offsets where TCS outputs and TCS patch outputs live in LDS:
- *   [0:15] = TCS output patch0 offset / 16, max = NUM_PATCHES * 32 * 32
- *   [16:31] = TCS output patch0 offset for per-patch / 16, max = NUM_PATCHES*32*32* + 32*32
- */
-#define SI_PARAM_TCS_OUT_OFFSETS 4 /* for TCS & TES */
+enum {
+       SI_PARAM_RW_BUFFERS,
+       SI_PARAM_CONST_BUFFERS,
+       SI_PARAM_SAMPLERS,
+       SI_PARAM_IMAGES,
+       SI_PARAM_SHADER_BUFFERS,
+       SI_NUM_RESOURCE_PARAMS,
+
+       /* VS only parameters */
+       SI_PARAM_VERTEX_BUFFERS = SI_NUM_RESOURCE_PARAMS,
+       SI_PARAM_BASE_VERTEX,
+       SI_PARAM_START_INSTANCE,
+       /* [0] = clamp vertex color, VS as VS only */
+       SI_PARAM_VS_STATE_BITS,
+       /* same value as TCS_IN_LAYOUT, VS as LS only */
+       SI_PARAM_LS_OUT_LAYOUT = SI_PARAM_START_INSTANCE + 1,
+       /* the other VS parameters are assigned dynamically */
+
+       /* Layout of TCS outputs in the offchip buffer
+        *   [0:8] = the number of patches per threadgroup.
+        *   [9:15] = the number of output vertices per patch.
+        *   [16:31] = the offset of per patch attributes in the buffer in bytes.
+        */
+       SI_PARAM_TCS_OFFCHIP_LAYOUT = SI_NUM_RESOURCE_PARAMS, /* for TCS & TES */
 
-/* Layout of TCS outputs / TES inputs:
- *   [0:12] = stride between output patches in dwords, num_outputs * num_vertices * 4, max = 32*32*4
- *   [13:20] = stride between output vertices in dwords = num_inputs * 4, max = 32*4
- *   [26:31] = gl_PatchVerticesIn, max = 32
- */
-#define SI_PARAM_TCS_OUT_LAYOUT        5 /* for TCS & TES */
+       /* TCS only parameters. */
 
-/* Layout of LS outputs / TCS inputs
- *   [0:12] = stride between patches in dwords = num_inputs * num_vertices * 4, max = 32*32*4
- *   [13:20] = stride between vertices in dwords = num_inputs * 4, max = 32*4
- */
-#define SI_PARAM_TCS_IN_LAYOUT 6 /* TCS only */
-#define SI_PARAM_LS_OUT_LAYOUT 7 /* same value as TCS_IN_LAYOUT, LS only */
-
-/* TCS only parameters. */
-#define SI_PARAM_TESS_FACTOR_OFFSET 7
-#define SI_PARAM_PATCH_ID      8
-#define SI_PARAM_REL_IDS       9
-
-/* GS only parameters */
-#define SI_PARAM_GS2VS_OFFSET  4
-#define SI_PARAM_GS_WAVE_ID    5
-#define SI_PARAM_VTX0_OFFSET   6
-#define SI_PARAM_VTX1_OFFSET   7
-#define SI_PARAM_PRIMITIVE_ID  8
-#define SI_PARAM_VTX2_OFFSET   9
-#define SI_PARAM_VTX3_OFFSET   10
-#define SI_PARAM_VTX4_OFFSET   11
-#define SI_PARAM_VTX5_OFFSET   12
-#define SI_PARAM_GS_INSTANCE_ID        13
-
-/* PS only parameters */
-#define SI_PARAM_ALPHA_REF             4
-#define SI_PARAM_PRIM_MASK             5
-#define SI_PARAM_PERSP_SAMPLE          6
-#define SI_PARAM_PERSP_CENTER          7
-#define SI_PARAM_PERSP_CENTROID                8
-#define SI_PARAM_PERSP_PULL_MODEL      9
-#define SI_PARAM_LINEAR_SAMPLE         10
-#define SI_PARAM_LINEAR_CENTER         11
-#define SI_PARAM_LINEAR_CENTROID       12
-#define SI_PARAM_LINE_STIPPLE_TEX      13
-#define SI_PARAM_POS_X_FLOAT           14
-#define SI_PARAM_POS_Y_FLOAT           15
-#define SI_PARAM_POS_Z_FLOAT           16
-#define SI_PARAM_POS_W_FLOAT           17
-#define SI_PARAM_FRONT_FACE            18
-#define SI_PARAM_ANCILLARY             19
-#define SI_PARAM_SAMPLE_COVERAGE       20
-#define SI_PARAM_POS_FIXED_PT          21
-
-#define SI_NUM_PARAMS (SI_PARAM_POS_FIXED_PT + 9) /* +8 for COLOR[0..1] */
+       /* Offsets where TCS outputs and TCS patch outputs live in LDS:
+        *   [0:15] = TCS output patch0 offset / 16, max = NUM_PATCHES * 32 * 32
+        *   [16:31] = TCS output patch0 offset for per-patch / 16, max = NUM_PATCHES*32*32* + 32*32
+        */
+       SI_PARAM_TCS_OUT_OFFSETS,
+
+       /* Layout of TCS outputs / TES inputs:
+        *   [0:12] = stride between output patches in dwords, num_outputs * num_vertices * 4, max = 32*32*4
+        *   [13:20] = stride between output vertices in dwords = num_inputs * 4, max = 32*4
+        *   [26:31] = gl_PatchVerticesIn, max = 32
+        */
+       SI_PARAM_TCS_OUT_LAYOUT,
+
+       /* Layout of LS outputs / TCS inputs
+        *   [0:12] = stride between patches in dwords = num_inputs * num_vertices * 4, max = 32*32*4
+        *   [13:20] = stride between vertices in dwords = num_inputs * 4, max = 32*4
+        */
+       SI_PARAM_TCS_IN_LAYOUT,
+
+       SI_PARAM_TCS_OC_LDS,
+       SI_PARAM_TESS_FACTOR_OFFSET,
+       SI_PARAM_PATCH_ID,
+       SI_PARAM_REL_IDS,
+
+       /* GS only parameters */
+       SI_PARAM_GS2VS_OFFSET = SI_NUM_RESOURCE_PARAMS,
+       SI_PARAM_GS_WAVE_ID,
+       SI_PARAM_VTX0_OFFSET,
+       SI_PARAM_VTX1_OFFSET,
+       SI_PARAM_PRIMITIVE_ID,
+       SI_PARAM_VTX2_OFFSET,
+       SI_PARAM_VTX3_OFFSET,
+       SI_PARAM_VTX4_OFFSET,
+       SI_PARAM_VTX5_OFFSET,
+       SI_PARAM_GS_INSTANCE_ID,
+
+       /* PS only parameters */
+       SI_PARAM_ALPHA_REF = SI_NUM_RESOURCE_PARAMS,
+       SI_PARAM_PRIM_MASK,
+       SI_PARAM_PERSP_SAMPLE,
+       SI_PARAM_PERSP_CENTER,
+       SI_PARAM_PERSP_CENTROID,
+       SI_PARAM_PERSP_PULL_MODEL,
+       SI_PARAM_LINEAR_SAMPLE,
+       SI_PARAM_LINEAR_CENTER,
+       SI_PARAM_LINEAR_CENTROID,
+       SI_PARAM_LINE_STIPPLE_TEX,
+       SI_PARAM_POS_X_FLOAT,
+       SI_PARAM_POS_Y_FLOAT,
+       SI_PARAM_POS_Z_FLOAT,
+       SI_PARAM_POS_W_FLOAT,
+       SI_PARAM_FRONT_FACE,
+       SI_PARAM_ANCILLARY,
+       SI_PARAM_SAMPLE_COVERAGE,
+       SI_PARAM_POS_FIXED_PT,
+
+       /* CS only parameters */
+       SI_PARAM_GRID_SIZE = SI_NUM_RESOURCE_PARAMS,
+       SI_PARAM_BLOCK_ID,
+       SI_PARAM_THREAD_ID,
+
+       SI_NUM_PARAMS = SI_PARAM_POS_FIXED_PT + 9, /* +8 for COLOR[0..1] */
+};
+
+/* SI-specific system values. */
+enum {
+       TGSI_SEMANTIC_DEFAULT_TESSOUTER_SI = TGSI_SEMANTIC_COUNT,
+       TGSI_SEMANTIC_DEFAULT_TESSINNER_SI,
+};
 
 struct si_shader;
 
@@ -213,6 +267,9 @@ struct si_shader_selector {
         */
        unsigned        colors_written_4bit;
 
+       /* CS parameters */
+       unsigned local_size;
+
        /* masks of "get_unique_index" bits */
        uint64_t        outputs_written;
        uint32_t        patch_outputs_written;
@@ -248,6 +305,7 @@ struct si_vs_epilog_bits {
 /* Common TCS bits between the shader key and the epilog key. */
 struct si_tcs_epilog_bits {
        unsigned        prim_mode:3;
+       uint64_t        inputs_to_copy;
 };
 
 /* Common PS bits between the shader key and the prolog key. */
@@ -297,6 +355,7 @@ union si_shader_part_key {
                unsigned        colors_read:8; /* color input components read */
                unsigned        num_interp_inputs:5; /* BCOLOR is at this location */
                unsigned        face_vgpr_index:5;
+               unsigned        wqm:1;
                char            color_attr_index[2];
                char            color_interp_vgpr_index[2]; /* -1 == constant */
        } ps_prolog;
@@ -438,6 +497,7 @@ void si_shader_dump(struct si_screen *sscreen, struct si_shader *shader,
                    FILE *f);
 void si_shader_apply_scratch_relocs(struct si_context *sctx,
                        struct si_shader *shader,
+                       struct si_shader_config *config,
                        uint64_t scratch_va);
 void si_shader_binary_read_config(struct radeon_shader_binary *binary,
                                  struct si_shader_config *conf,