vtn/variables: Compact local loads/stores into one function

This is similar to what we did for block loads/stores.

nir/spirv: Add an actual variable struct to spirv_to_nir

This allows us, among other things, to do structure splitting on-the-fly to
more correctly handle input/output structs.

nir/spirv: Split variable handling out into its own file

It's 1300 lines all by itself and it will only grow.

nir/spirv: Rework access chains

Previously, we were creating nir_deref's immediately.  Now, instead, we
have an intermediate vtn_access_chain structure.  While a little more
awkward initially, this will allow us to more easily do structure splitting
on-the-fly.

nir/spirv: Implement ModfStruct opcode.

nir/spirv: Delete stray fmod remnants.

Jason left these stray code fragments in
22804de110b97dce1415318fd02c1003e16ef14a.

vk: Do render cache flush for GEN8+

This is needed for SKL as well.

vk: Emit surface state base address before renderpass

If we're continuing a render pass, make sure we don't emit the depth and
stencil buffer addresses before we set the state base addresses.

Fixes crucible func.cmd-buffer.small-secondaries

vk: Fix indirect push constants

This currently sets the base and size of all push constants to the
entire push constant block. The idea is that we'll use the base and size
to eventually optimize the amount we actually push, but for now we don't
do that.

Merge remote-tracking branch 'jekstrand/wip/i965-uniforms' into vulkan

nir/spirv: Handle compute shared atomics

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

nir/spirv: Support workgroup (shared) variable translation

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

anv/gen8: Set SLM size in interface descriptor

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

anv/gen8+9: Invalidate color calc state when switching to the GPGPU pipeline

Port 044acb9256046bebec890cac7e42043754459fc2 to anv.

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

anv/gen8: Enable SLM in L3 cache control register

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

anv/pipeline: Set size of shared variables in prog_data

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

i965/nir: Lower nir compute shader shared variables

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

nir: Lower shared var atomics during nir_lower_io

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

nir: Add support for lowering load/stores of shared variables

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

nir: Add atomic operations on variables

This allows us to first generate atomic operations for shared
variables using these opcodes, and then later we can lower those to
the shared atomics intrinsics with nir_lower_io.

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

nir: Add compute shader shared variable storage class

Previously we were receiving shared variable accesses via a lowered
intrinsic function from glsl. This change allows us to send in
variables instead. For example, when converting from SPIR-V.

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

nir/print: Add space after shader_storage var mode

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

i965/fs/nir: Move shared variable load/store to nir_emit_cs_intrinsic

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

anv/image: Stop including gen8_pack.h in common file

isl: Add a README

Most of the file-level comment in isl.h is moved to the README.

vk: Make maxSamplerAllocationCount more reasonable

We can't allocate 4 billion samplers. Let's go with 64k.

vk/tests: Add stub for anv_gem_get_bit6_swizzle()

vk/tests: Add isl include path

nir/spirv/glsl450: Use fabs not iabs in ldexp.

This was just wrong.

isl: Add ish.h to libsil_la_SOURCES

nir/spirv/glsl450: Implement FrexpStruct

spirv/nir/glsl450: Use vtn_create_ssa_value to create SSA values

anv/device: Default to scalar GS on BDW+

nir/spirv: Pull texture dimensionality out of the image when available

anv/meta: fix UpdateBuffer in the case where we do multiple updates

anv/meta: Fix a finishme

nir/spirv: Move OpPhi handling to vtn_cfg.c

Phi handling is somewhat intrinsically tied to the CFG.  Moving it here
makes it a bit easier to handle that.  In particular, we can now do SSA
repair after we've done the phi node second-pass.  This fixes 6 CTS tests.

nir/spirv: Handle OpLine and OpNoLine in foreach_instruction

This way we don't have to explicitly handle them everywhere.

nir: Lower ldexp to arithmetic.

This is a port of Matt's GLSL IR lowering pass to NIR.  It's required
because we translate SPIR-V directly to NIR, bypassing GLSL IR.

I haven't introduced a lower_ldexp flag, as I believe all current NIR
consumers would set the flag.  i965 wants this, vc4 doesn't implement
this feature, and st_glsl_to_tgsi currently lowers ldexp
unconditionally anyway.

Signed-off-by: Kenneth Graunke <kenneth@whitecape.org>

nir: Let nir_opt_algebraic rules contain unsigned constants > INT_MAX.

struct.pack('i', val) interprets `val` as a signed integer, and dies
if `val` > INT_MAX.  For larger constants, we need to use 'I' which
interprets it as an unsigned value.

This patch makes us use 'I' for all values >= 0, and 'i' for negative
values.  This should work in all cases.

Signed-off-by: Kenneth Graunke <kenneth@whitecape.org>

anv/meta: Implement UpdateBuffer

anv/meta: Implement CmdFillBuffer

anv/meta_clear: Call emit_clear directly in ClearImage

Using the load op means that we end up with recursive meta.  We shouldn't
be doing that.

anv/meta_clear: Do save/restore in actual entry points

anv: Add support for VK_WHOLE_SIZE several places

nir/spirv/glsl450: Implement Frexp.

nir/spirv/glsl450: Blindly implement Atan2.

This is untested and probably broken.

We already passed the atan2 CTS tests before implementing this opcode.
Presumably, glslang or something was giving us a plain Atan opcode
instead of Atan2.  I don't know why.

nir/spirv/glsl450: Implement Atan.

nir/spirv/glsl450: Implement Asin and Acos.

anv/pipeline: Fix point size

getX/state: Set LOD pre-clamp to OpenGL mode

This gets us another couple hundred sampler tests

isl/device: Add a flag for bit 6 swizzling

anv/gem: Add a helper for getting bit6 swizzling information

nir/spirv: Patch through image qualifiers

nir/spirv: Implement ImageQuerySize for storage iamges

SPIR-V only has one ImageQuerySize opcode that has to work for both
textures and storage images.  Therefore, we have to special-case that one a
bit and look at the type of the incoming image handle.

nir/spirv: Insert movs around image intrinsics

Image intrinsics always take a vec4 coordinate and always return a vec4.
This simplifies the intrinsics a but but also means that they don't
actually match the incomming SPIR-V.  In order to compensate for this, we
add swizzling movs for both source and destination to get the right number
of components.

anv/meta: Improve meta clear cleanup a bit

anv: Misc allocation scope fixes

anv/meta: Add a meta allocator that uses SCOPE_DEVICE

The Vulkan spec requires all allocations that happen for device creation to
happen with SCOPE_DEVICE.  Since meta calls into other things that allocate
memory, the easiest way to do this is with an allocator.

anv/meta: Initialize a handle to null

gen8: Fix border color

The border color packet is specified as a 64-byte aligned address relative
to dynamic state base address.  The way the packing functions are currently
set up, we need to provide it with (offset >> 6) because it just shoves the
bits in where the PRM says they go and isn't really aware that it's an
address.

genX/pack: Add a __gen_fixed helper and use it for TextureLODBias

The __gen_fixed helper properly clamps the value and also handles negative
values correctly.  Eventually, we need to make the scripts generate this
and use it for more things.

anv/pack: Make TextureLODBias a proper 4.8 float

XXX: We need to update the generators so this doesn't get stompped.

nir/spirv: Handle if's where the merge is also a break or continue

nir/spirv: Hanle continues that use SSA values from the loop body

Instead of emitting the continue before the loop body we emit it
afterwards.  Then, once we've finished with the entire function, we run
nir_repair_ssa to add whatever phi nodes are needed.

nir/lower_returns: Repair SSA after doing return lowering

nir: Add a pass to repair SSA form

nir/vars_to_ssa: Use the new nir_phi_builder helper

The efficiency should be approximately the same.  We do a little more work
per phi node because we have to sort the predecessors.  However, we no
longer have to walk the blocks a second time to pop things off the stack.
The bigger advantage, however, is that we can now re-use the phi placement
and per-block SSA value tracking in other passes.

nir: Add a phi node placement helper

Right now, we have phi placement code in two places and there are other
places where it would be nice to be able to do this analysis.  Instead of
repeating it all over the place, this commit adds a helper for placing all
of the needed phi nodes for a value.

util/bitset: Allow iterating over const bitsets

nir/lower_system_values: Lower vertexID to id+base if needed

anv/batch_chain: Remove padding from the BO before emitting BUFFER_END

anv/batch_chain: Don't call current_batch_bo() again

We call it once at the top of the function and then hold on to the pointer.
It shouldn't have changed, so there's no reason to query for it again.

nir/spirv: Stop trusting the SPIR-V for the number of texture coordinates

anv: Populate SURFACE_STATE more safely

genX_image_view_init allocates up to 3 separate SURFACE_STATE structures,
and populates each from a single template. Stop mutating the template
between each final SURFACE_STATE.

anv/meta: Stop leaking renderpass and framebuffer

anv/meta: Reuse code for vkCmdClear{Color,DepthStencil}Image

The two function bodies were very similar. Move common code to
anv_cmd_clear_image().

Fixes all 'dEQP-VK.renderpass.formats.*' on Skylake.

anv/gen8: Fix SF_CLIP_VIEWPORT's Z elements

SF_CLIP_VIEWPORT does not clamp Z values. It only scales and shifts
them. Clamping to VkViewport::minDepth,maxDepth is instead handled by
CC_VIEWPORT.

Fixes dEQP-VK.renderpass.simple.depth on Broadwell.

anv/meta: Implement vkCmdClearDepthStencilImage

anv/meta: Implement vkCmdClearAttachments

anv/meta: Add VkClearRect param to emit_clear()

Prepares for vkCmdClearAttachments.

anv: Distinguish between subpass setup and subpass start

vkCmdBeginRenderPass, vkCmdNextSubpass, and vkBeginCommandBuffer with
VK_COMMAND_BUFFER_USAGE_RENDER_PASS_CONTINUE_BIT, all *setup* the
command buffer for recording commands for some subpass.  But only the
first two, vkCmdBeginRenderPass and vkCmdNextSubpass, can *start*
a subpass.

Therefore, calling anv_cmd_buffer_begin_subpass() inside
vkCmdBeginCommandBuffer is misleading. Clarify its purpose by renaming
it to anv_cmd_buffer_set_subpass() and adding comments.

anv: Emit load clears at start of each subpass

This should improve cache residency for render targets.

Pre-patch, vkCmdBeginRenderPass emitted all the meta clears for
VK_ATTACHMENT_LOAD_OP_CLEAR before any subpass began. Post-patch,
vCmdBeginRenderPass and vkCmdNextSubpass emit only the clears needed for
that current subpass.

anv/meta: Create 8 pipelines for color clears

This prepares for moving the clear ops from the start of the render pass
into each subpass.

Pipeline N will be used to clear color attachment N of the current
subpass. Currently meta color clears still create a throwaway subpass
with exactly one attachment, so currently only pipeline 0 is used.

This is an ugly hack to workaround the compiler's current inability to
dynamically set the render target index in the render target write
message.

anv: Allow override of pipeline color attachment count

Add anv_graphics_pipeline_create_info::color_attachment_count. If
non-negative, then it overrides the color attachment count in the
pipeline's subpass. Useful for meta. (All the hacks for meta!)

anv/meta: Name the nir shaders

The names appear in debug output.

anv: Move MAX_* defs to top of anv_private.h

Because I need to use MAX_RTS in struct anv_meta_state.

anv: Define zero() macro

zero(x) memsets x to zero. Eliminates bugs due to errors in memset's
size param.

anv/meta: Rename emit_load_*_clear funcs

The functions will soon handle clears unrelated to
VK_ATTACHMENT_LOAD_OP_CLEAR, namely vkCmdClearAttachments. So remove
"load" from their name:

    emit_load_color_clear -> emit_color_clear
    emit_load_depthstencil_clear -> emit_depthstencil_clear

anv/meta: Use anv_cmd_state::attachments for clears

Rewrite anv_cmd_buffer_clear_attachments, which emits the top-of-pass
clears, to use the data provided in anv_cmd_state::attachments. This
prepares for deferring each attachment clear to the first subpass that
uses the attachment.

anv: Add anv_cmd_state::attachments

This array contains attachment state when recording a renderpass instance.
It's populated on each call to anv_cmd_buffer_set_pass.

The data is currently set but unused. We'll use it later to defer each
attachment clear to the subpass that first uses the attachment.

i965/fs/generator: Change a comment as per jordan's suggestion

i965/fs: Always set hannel 2 of texture headers in some stages

i965/fs/generator: Take an actual shader stage rather than a string

anv/apply_pipeline_layout: Stomp texture array size to 1

nir/spirv: Fix texture return types

We were just hard-coding everything to a vec4.  This meant we weren't
handling shadow samplers at all and integer things were getting the wrong
return type.

vk: Fix struct field indentation

anv: Document anv_cmd_state::current_pipeline

It's the value of PIPELINE_SELECT.PipelineSelection.

anv: Make vkBeginCommandBuffer reset the command buffer

If its the command buffer's first call to vkBeginCommandBuffer, we must
*initialize* the command buffer's state. Otherwise, we must *reset* its
state. In both cases, let's use anv_ResetCommandBuffer.

From the Vulkan 1.0 spec:

   If a command buffer is in the executable state and the command buffer
   was allocated from a command pool with the
   VK_COMMAND_POOL_CREATE_RESET_COMMAND_BUFFER_BIT flag set, then
   vkBeginCommandBuffer implicitly resets the command buffer, behaving
   as if vkResetCommandBuffer had been called with
   VK_COMMAND_BUFFER_RESET_RELEASE_RESOURCES_BIT not set. It then puts
   the command buffer in the recording state.

anv: Add FIXME for vkResetCommandPool

vkResetCommandPool currently destroys its command buffers. The Vulkan
1.0 spec requires that it only reset them:

    Resetting a command pool recycles all of the resources from all of
    the command buffers allocated from the command pool back to the
    command pool. All command buffers that have been allocated from the
    command pool are put in the initial state.