anv/state: Add missing clflushes for storage image surface state.

anv/state: Factor out surface state calculation from genX_image_view_init.

Some fields of the surface state template were dependent on the
surface type, which is dependent on the usage of the image view, which
wasn't known until the bottom of the function after the template had
been constructed.  This caused failures in all image load/store CTS
tests using cubemaps.  Refactor the surface state calculation into a
function that is called once for each required usage.

i965/nir: Temporariliy disable mul+add fusion

We don't want to do this in the long-run but it's needed for passing the
NoContraction tests at the moment.  Eventually, we want to plumb this
through NIR properly.

isl: Fix indentation of isl_format_layout comment

isl/tests: Give tests less cryptic names

isl: Fix isl_surf_get_image_offset_sa for gen4_3d layout

Bug found by unit test
test_bdw_3d_r8g8b8a8_unorm_256x256x256_levels09_tiley0.

isl/tests: Add test for bdw 3d surface

test_bdw_3d_r8g8b8a8_unorm_256x256x256_levels09_tiley0

Currently fails.

isl/tests: Remove copy-paste assertion

isl/tests: Fix build

isl_device_init() acquired a new param for bit6 swizzling.

anv/batch_chain: Fix patching up of block pool relocations on Gen8+.

Relocations are 64 bits on Gen8+.  Most CTS tests that send
non-trivial work to the GPU would fail when run from a single deqp-vk
invocation because they were effectively relying on reloc presumed
offsets to be wrong so the kernel would come and apply relocations
correctly.

nir/spirv: Ignore cull distance

nir/lower_system_values: Use the correct invication id for CS

nir/spirv: Properly assign locations to split structures

nir/spirv: Improve handling of variable loads and copies

Before we were asuming that a deref would either be something in a block or
something that we could pass off to NIR directly.  However, it is possible
that someone would choose to load/store/copy a split structure all in one
go.  We need to be able to handle that.

nir/spirv: Make vectors a proper array time with an array_element

This makes dealing with single-component derefs easier

nir/spirv: Rework access chains a bit to allow for literals

This makes them much easier to construct because you can also just specify
a literal number and it doesn't have to be a valid SPIR-V id.

vtn/variables: Compact local loads/stores into one function

This is similar to what we did for block loads/stores.

nir/spirv: Add an actual variable struct to spirv_to_nir

This allows us, among other things, to do structure splitting on-the-fly to
more correctly handle input/output structs.

nir/spirv: Split variable handling out into its own file

It's 1300 lines all by itself and it will only grow.

nir/spirv: Rework access chains

Previously, we were creating nir_deref's immediately.  Now, instead, we
have an intermediate vtn_access_chain structure.  While a little more
awkward initially, this will allow us to more easily do structure splitting
on-the-fly.

nir/spirv: Implement ModfStruct opcode.

nir/spirv: Delete stray fmod remnants.

Jason left these stray code fragments in
22804de110b97dce1415318fd02c1003e16ef14a.

vk: Do render cache flush for GEN8+

This is needed for SKL as well.

vk: Emit surface state base address before renderpass

If we're continuing a render pass, make sure we don't emit the depth and
stencil buffer addresses before we set the state base addresses.

Fixes crucible func.cmd-buffer.small-secondaries

vk: Fix indirect push constants

This currently sets the base and size of all push constants to the
entire push constant block. The idea is that we'll use the base and size
to eventually optimize the amount we actually push, but for now we don't
do that.

Merge remote-tracking branch 'jekstrand/wip/i965-uniforms' into vulkan

nir/spirv: Handle compute shared atomics

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

nir/spirv: Support workgroup (shared) variable translation

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

anv/gen8: Set SLM size in interface descriptor

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

anv/gen8+9: Invalidate color calc state when switching to the GPGPU pipeline

Port 044acb9256046bebec890cac7e42043754459fc2 to anv.

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

anv/gen8: Enable SLM in L3 cache control register

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

anv/pipeline: Set size of shared variables in prog_data

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

i965/nir: Lower nir compute shader shared variables

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

nir: Lower shared var atomics during nir_lower_io

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

nir: Add support for lowering load/stores of shared variables

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

nir: Add atomic operations on variables

This allows us to first generate atomic operations for shared
variables using these opcodes, and then later we can lower those to
the shared atomics intrinsics with nir_lower_io.

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

nir: Add compute shader shared variable storage class

Previously we were receiving shared variable accesses via a lowered
intrinsic function from glsl. This change allows us to send in
variables instead. For example, when converting from SPIR-V.

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

nir/print: Add space after shader_storage var mode

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

i965/fs/nir: Move shared variable load/store to nir_emit_cs_intrinsic

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

anv/image: Stop including gen8_pack.h in common file

isl: Add a README

Most of the file-level comment in isl.h is moved to the README.

vk: Make maxSamplerAllocationCount more reasonable

We can't allocate 4 billion samplers. Let's go with 64k.

vk/tests: Add stub for anv_gem_get_bit6_swizzle()

vk/tests: Add isl include path

nir/spirv/glsl450: Use fabs not iabs in ldexp.

This was just wrong.

isl: Add ish.h to libsil_la_SOURCES

nir/spirv/glsl450: Implement FrexpStruct

spirv/nir/glsl450: Use vtn_create_ssa_value to create SSA values

anv/device: Default to scalar GS on BDW+

nir/spirv: Pull texture dimensionality out of the image when available

anv/meta: fix UpdateBuffer in the case where we do multiple updates

anv/meta: Fix a finishme

nir/spirv: Move OpPhi handling to vtn_cfg.c

Phi handling is somewhat intrinsically tied to the CFG.  Moving it here
makes it a bit easier to handle that.  In particular, we can now do SSA
repair after we've done the phi node second-pass.  This fixes 6 CTS tests.

nir/spirv: Handle OpLine and OpNoLine in foreach_instruction

This way we don't have to explicitly handle them everywhere.

nir: Lower ldexp to arithmetic.

This is a port of Matt's GLSL IR lowering pass to NIR.  It's required
because we translate SPIR-V directly to NIR, bypassing GLSL IR.

I haven't introduced a lower_ldexp flag, as I believe all current NIR
consumers would set the flag.  i965 wants this, vc4 doesn't implement
this feature, and st_glsl_to_tgsi currently lowers ldexp
unconditionally anyway.

Signed-off-by: Kenneth Graunke <kenneth@whitecape.org>

nir: Let nir_opt_algebraic rules contain unsigned constants > INT_MAX.

struct.pack('i', val) interprets `val` as a signed integer, and dies
if `val` > INT_MAX.  For larger constants, we need to use 'I' which
interprets it as an unsigned value.

This patch makes us use 'I' for all values >= 0, and 'i' for negative
values.  This should work in all cases.

Signed-off-by: Kenneth Graunke <kenneth@whitecape.org>

anv/meta: Implement UpdateBuffer

anv/meta: Implement CmdFillBuffer

anv/meta_clear: Call emit_clear directly in ClearImage

Using the load op means that we end up with recursive meta.  We shouldn't
be doing that.

anv/meta_clear: Do save/restore in actual entry points

anv: Add support for VK_WHOLE_SIZE several places

nir/spirv/glsl450: Implement Frexp.

nir/spirv/glsl450: Blindly implement Atan2.

This is untested and probably broken.

We already passed the atan2 CTS tests before implementing this opcode.
Presumably, glslang or something was giving us a plain Atan opcode
instead of Atan2.  I don't know why.

nir/spirv/glsl450: Implement Atan.

nir/spirv/glsl450: Implement Asin and Acos.

anv/pipeline: Fix point size

getX/state: Set LOD pre-clamp to OpenGL mode

This gets us another couple hundred sampler tests

isl/device: Add a flag for bit 6 swizzling

anv/gem: Add a helper for getting bit6 swizzling information

nir/spirv: Patch through image qualifiers

nir/spirv: Implement ImageQuerySize for storage iamges

SPIR-V only has one ImageQuerySize opcode that has to work for both
textures and storage images.  Therefore, we have to special-case that one a
bit and look at the type of the incoming image handle.

nir/spirv: Insert movs around image intrinsics

Image intrinsics always take a vec4 coordinate and always return a vec4.
This simplifies the intrinsics a but but also means that they don't
actually match the incomming SPIR-V.  In order to compensate for this, we
add swizzling movs for both source and destination to get the right number
of components.

anv/meta: Improve meta clear cleanup a bit

anv: Misc allocation scope fixes

anv/meta: Add a meta allocator that uses SCOPE_DEVICE

The Vulkan spec requires all allocations that happen for device creation to
happen with SCOPE_DEVICE.  Since meta calls into other things that allocate
memory, the easiest way to do this is with an allocator.

anv/meta: Initialize a handle to null

gen8: Fix border color

The border color packet is specified as a 64-byte aligned address relative
to dynamic state base address.  The way the packing functions are currently
set up, we need to provide it with (offset >> 6) because it just shoves the
bits in where the PRM says they go and isn't really aware that it's an
address.

genX/pack: Add a __gen_fixed helper and use it for TextureLODBias

The __gen_fixed helper properly clamps the value and also handles negative
values correctly.  Eventually, we need to make the scripts generate this
and use it for more things.

anv/pack: Make TextureLODBias a proper 4.8 float

XXX: We need to update the generators so this doesn't get stompped.

nir/spirv: Handle if's where the merge is also a break or continue

nir/spirv: Hanle continues that use SSA values from the loop body

Instead of emitting the continue before the loop body we emit it
afterwards.  Then, once we've finished with the entire function, we run
nir_repair_ssa to add whatever phi nodes are needed.

nir/lower_returns: Repair SSA after doing return lowering

nir: Add a pass to repair SSA form

nir/vars_to_ssa: Use the new nir_phi_builder helper

The efficiency should be approximately the same.  We do a little more work
per phi node because we have to sort the predecessors.  However, we no
longer have to walk the blocks a second time to pop things off the stack.
The bigger advantage, however, is that we can now re-use the phi placement
and per-block SSA value tracking in other passes.

nir: Add a phi node placement helper

Right now, we have phi placement code in two places and there are other
places where it would be nice to be able to do this analysis.  Instead of
repeating it all over the place, this commit adds a helper for placing all
of the needed phi nodes for a value.

util/bitset: Allow iterating over const bitsets

nir/lower_system_values: Lower vertexID to id+base if needed

anv/batch_chain: Remove padding from the BO before emitting BUFFER_END

anv/batch_chain: Don't call current_batch_bo() again

We call it once at the top of the function and then hold on to the pointer.
It shouldn't have changed, so there's no reason to query for it again.

nir/spirv: Stop trusting the SPIR-V for the number of texture coordinates

anv: Populate SURFACE_STATE more safely

genX_image_view_init allocates up to 3 separate SURFACE_STATE structures,
and populates each from a single template. Stop mutating the template
between each final SURFACE_STATE.

anv/meta: Stop leaking renderpass and framebuffer

anv/meta: Reuse code for vkCmdClear{Color,DepthStencil}Image

The two function bodies were very similar. Move common code to
anv_cmd_clear_image().

Fixes all 'dEQP-VK.renderpass.formats.*' on Skylake.

anv/gen8: Fix SF_CLIP_VIEWPORT's Z elements

SF_CLIP_VIEWPORT does not clamp Z values. It only scales and shifts
them. Clamping to VkViewport::minDepth,maxDepth is instead handled by
CC_VIEWPORT.

Fixes dEQP-VK.renderpass.simple.depth on Broadwell.

anv/meta: Implement vkCmdClearDepthStencilImage

anv/meta: Implement vkCmdClearAttachments

anv/meta: Add VkClearRect param to emit_clear()

Prepares for vkCmdClearAttachments.

anv: Distinguish between subpass setup and subpass start

vkCmdBeginRenderPass, vkCmdNextSubpass, and vkBeginCommandBuffer with
VK_COMMAND_BUFFER_USAGE_RENDER_PASS_CONTINUE_BIT, all *setup* the
command buffer for recording commands for some subpass.  But only the
first two, vkCmdBeginRenderPass and vkCmdNextSubpass, can *start*
a subpass.

Therefore, calling anv_cmd_buffer_begin_subpass() inside
vkCmdBeginCommandBuffer is misleading. Clarify its purpose by renaming
it to anv_cmd_buffer_set_subpass() and adding comments.

anv: Emit load clears at start of each subpass

This should improve cache residency for render targets.

Pre-patch, vkCmdBeginRenderPass emitted all the meta clears for
VK_ATTACHMENT_LOAD_OP_CLEAR before any subpass began. Post-patch,
vCmdBeginRenderPass and vkCmdNextSubpass emit only the clears needed for
that current subpass.

anv/meta: Create 8 pipelines for color clears

This prepares for moving the clear ops from the start of the render pass
into each subpass.

Pipeline N will be used to clear color attachment N of the current
subpass. Currently meta color clears still create a throwaway subpass
with exactly one attachment, so currently only pipeline 0 is used.

This is an ugly hack to workaround the compiler's current inability to
dynamically set the render target index in the render target write
message.