anv: Increate dynamic pool block size from 2k to 16k

This is needed because compute push constant data is replicated per
invocation. For gen7, this can be up to 64. With a push constant data
max of 128 bytes, this is 8k of data. We need additional space for
local-id payloads, so we are going with 16k for now.

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

nir/spirv: Fix a small bug in row-major matrix loading

nir/spirv: Use create_ssa_value for block_load_store

nir/spirv: Add real support for outer products

nir/spirv: Add support for add, subtract, and negate on matrices

nir/spirv: Split ALU operations out into their own file

nir/spirv: Add support for SSBO atomics

nir/spirv: Rework UBOs and SSBOs

This completely reworks all block load/store operations.  In particular, it
should get row-major matrices working.

anv/gen9: Fix cube surface state

For gen9 SURFTYPE_CUBE, the RENDER_SURFACE_STATE's Depth,
MinimumArrayElement, and RenderTargetViewExtent is in units of full
cubes and so must be divided by 6.

Fixes 'dEQP-VK.pipeline.image.view_type.cube_array.cube_array.*'.

Now all of 'dEQP-VK.pipeline.image.*' passes.

anv/gen8: Refactor genX_image_view_init()

Drop the temporary variables for RENDER_SURFACE_STATE's Depth and
RenderTargetViewExtent. Instead, assign them in-place.

This simplifies the next commit, which fixes gen9 cube surfaces.

vk: Make sure we emit binding table pointers after push constants

SKL needs this to make sure we flush the push constants. It gets a
little tricky, since we also need to emit binding tables before push
constants, since that may affect the push constants (dynamic buffer
offsets and storage image parameters).  This patch splits emitting
binding tables from emitting the pointers so that we can emit push
constants after binding tables but before emitting binding table
pointers.

vk: Implement VK_QUERY_RESULT_WITH_AVAILABILITY_BIT

vk: Add missing DepthStallEnable to OQ pipe control

vk: Issue PIPELINE_SELECT before setting up render pass

We need to make sure we're selected the 3D pipeline before we start
setting up depth and stencil buffers.

anv/gen7: Setup state to enable barrier() function

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

anv/gen8: Setup state to enable barrier() function

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

anv/meta: Fix hardcoded format size in anv_CmdCopy*

When looping through VkBufferImageCopy regions, for each region we
incremented the offset into the VkBuffer assuming the format size was 4.

Fixes CTS tests dEQP-VK.pipeline.image.view_type.cube_array.3d.* on
Skylake.

isl: Add missing break statement in array pitch calculation

Fixes regression in ed98c374bd3f1952fbab3031afaf5ff4d178ef41.

isl/gen9: Fix array pitch of 3d surfaces

For tiled 3D surfaces, the array pitch must aligned to the tile height.

From the Skylake BSpec >> RENDER_SURFACE_STATE >> Surface QPitch:

   Tile Mode != Linear: This field must be set to an integer multiple of
   the tile height

Fixes CTS tests 'dEQP-VK.pipeline.image.view_type.3d.format.r8g8b8a8_unorm.*'.
Fixes Crucible tests 'func.miptree.r8g8b8a8-unorm.aspect-color.view-3d.*'.

isl: Refactor func isl_calc_array_pitch_sa_rows

Update the function to calculate the array pitch is *element rows*, and
it rename it accordingly to isl_calc_array_pitch_el_rows.

isl: Assert that alignments are not 0 for isl_align

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

anv: Assert that alignments are not 0 for align_*

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

isl: Fix image alignment calculation

The previous code was resulting in an alignment of 0.

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

anv/state: Pull sampler vk-to-gen maps into genX_state_util.h

nir/spirv: Wrap borrow/carry ops in b2i

NIR specifies them as booleans but SPIR-V wants ints.

nir/spirv/cfg: Only set fall to true at the start of a case

Previously, we were setting it to true at the top of the switch statement.
However, this causes all of the cases to get executed until you hit a
break.  Instead, you want to be not executing at the start, start executing
when you hit your case, and end at a break.

anv: Fix build without VALGRIND

Signed-off-by: Jordan Justen <jordan.l.justen@intel.com>

i965/compiler: Enable more lowering in NIR

We don't need these for GLSL or ARB, but we need them for SPIR-V

nir/algebraic: Add more lowering

This commit adds lowering options for the following opcodes:

 - nir_op_fmod
 - nir_op_bitfield_insert
 - nir_op_uadd_carry
 - nir_op_usub_borrow

nir/opcodes: Fix the folding expression for usub_borrow

nir/spirv: Properly implement Modf

nir/builder: Add a helper for storing to a deref

anv/gen9: Teach gen9_image_view_init() about 1D surface qpitch

QPitch is usually expressed as rows of surface elements (where a surface
element is an compression block or a single surface sample. Skylake 1D
is an outlier; there QPitch is expressed as individual surface
elements.

isl: Add isl_surf_get_array_pitch_el()

Will be needed to program SurfaceQPitch for Skylake 1D arrays.

isl/gen9: Support ISL_DIM_LAYOUT_GEN9_1D

isl: Don't align phys_slice0_sa.width twice

It's already aligned to the format's block width. Don't align it again
in isl_calc_row_pitch().

isl: Fix the documented units of isl_surf::row_pitch

It's the pitch between surface elements, not between surface samples.

anv/gen9: Fix oob lookup of surface halign, valign

For 1D surfaces and for surfaces with Yf or Ys tiling, the hardware
ignores SurfaceVerticalAlignment and SurfaceHorizontalAlignment.
Moreover, the anv_halign[] and anv_valign[] lookup tables may not even
contain the surface's actual alignment values. So don't do the lookup
for those surfaces.

anv/meta: Teach meta how to blit from a 1D image

Meta needed a VkShader with a 1D sampler type.

nir/spirv: Fix switch statements with duplicate cases

nir/spirv/cfg: Assert that blocks only ever get added once

This effectively prevents infinite loops in cfg_walk_blocks.

nir/spirv: Simplify phi node handling

Instead of trying to crawl through predecessor chains and build phi nodes,
we just do a poor-man's out-of-ssa on the spot.  The into-SSA pass will
deal with putting the actual phi nodes in for us.

anv/pipeline: Lower indirect temporaries and inputs

nir: Add an indirect deref lowering pass

vk: Implement a basic pipeline cache

This is not really a cache yet, but it allows us to share one state
stream for all pipelines, which means we can bump the block size without
wasting a lot of memory.

vk: Destroy device->mutex when destroying the device

isl: Don't force linear for 1d surfaces in gen7_filter_tiling()

gen7_filter_tiling() should filter out only tiling flags that are
incompatible with the surface. It shouldn't make performance decisions,
such as forcing linear for 1D; that's the role of the caller.

isl: Document gen7_filter_tiling()

isl: Prefer linear tiling for 1D surfaces

isl: Remove isl_format_layout::bpb

struct isl_format_layout contained two near-redundant members: bpb (bits
per block) and bs (block size). There do exist some hardware formats for
which bpb != 8 * bs, but Vulkan does not use them. Therefore we don't
need bpb.

anv: Use isl_format_layout::bs instead of ::bpb

For all formats used by Vulkan, 8 * bs == bpb.
(bs=block_size_in_bytes, bpb=bits_per_block)

isl: Align isl_surf::phys_level0_sa to the format's compression block

isl: Fix mis-documented units of isl_surf::phys_level_sa

It's in physical surface samples. Hence the _sa suffix.

nir/spirv: Add support for the ControlBarrier instruction

anv/UpdateDescriptorSets: Use the correct index for the buffer view

nir/spirv: Implement extended add, sub, and mul

nir/spirv: Add support for bitfield operations

nir/spirv: Add support for msb/lsb opcodes

nir/spirv: Add a documenting assert for OpConstantSampler

nir/spirv: Add initial support for ConstantNull

isl: Align single-level 2D surfaces to compression block

This fixes an assertion failure at isl.c:1003.

Reported-by: Nanley Chery <nanley.g.chery@intel.com>

anv/formats: Hand out different formats based on tiled vs. linear

anv/image_view: Separate vulkan and isl formats

Previously, anv_image_view had a anv_format pointer that we used for
everything.  This commit replaces that pointer with a VkFormat enum copied
from the API and an isl_format.  In order to implement RGB formats, we have
to use a different isl_format for the actual surface state than the obvious
one from the VkFormat.  Separating the two helps us keep things streight.

anv_get_isl_format: Support depth+stencil aspect value

You just get the depth format in this case.

anv/image: Do more work in anv_image_view_init

There was a bunch of common code in gen7/8_image_view_init that we really
should be sharing.

anv/formats: Rework GetPhysicalDeviceFormatProperties

It now calls get_isl_format to get both linear and tiled views of the
format and determines linear/tiled properties from that.  Buffer properties
are determined from the linear format.

anv/formats: Add a tiling parameter to get_isl_format

Currently, this parameter does nothing.

isl/format: Add some helpers for working with RGB formats

isl: Add a file for format helpers

genX/state: Pull some generic helpers into a shared header

meta/blit: Rework how format and aspect choices are made

This commit does two things.  First, it introduces choose_* functions for
chosing formats and aspects.  Second, it changes the copy (not blit) code
to use appropreately sized UINT formats for everything except depth.  There
are two main reasons for this:  First, it means that compressed and other
non-renderable texture upload should "just work" because it won't be
tripping over non-renderable formats.  Second, it allows us to easly copy
an RGB buffer to and from an RGBX image because the formats will get
switched over to their UINT variants and the shader will deal with the
extra channel for us.

anv/image: Add a vk_format field

We've been trying to move away from anv_format for a while and this should
help with the transition.  There are cases (mostly in meta) where we need
the original format for the image and not the isl_format.  These will be
moved over to the new vk_format and everythign else will use the isl_format
from the particular anv_surface.

isl: Document mnemonic in Yf and Ys tiling

The 'f' means "four K". The 's' means "sixty-four K".

isl: Use isl_align_npot for row_pitch

Many formats are not power-of-two bytes per pixels and we need the
non-power-of-two align macro here.

This reverts the revert from 4f9a211b, but keeps the change from a827b553
that fixed the yuv if-else mix-up.

vk: Don't leak pipeline if initialization fails

vk: Allocate subpass attachment in one big block

This avoids making a lot of small allocations and handles allocation
failure correctly.

Fixes dEQP-VK.api.object_management.alloc_callback_fail.* failures.

vk: Handle allocation failures in meta init paths

Fixes dEQP-VK.api.object_management.alloc_callback_fail.* failures.

vk: Handle allocation failure in anv_pipeline_init()

Fixes dEQP-VK.api.object_management.alloc_callback_fail.* failures.

vk: Call vk_error when we generate a VK_ERROR

vk: Only finish wayland wsi if we created it

Failure during instance creation will leave instance->wayland_wsi
undefined. When we then try to clean that up we crash. Set
instance->wayland_wsi to NULL on failure and only clean it up if it's
non-NULL.

Fixes part of dEQP-VK.api.object_management.alloc_callback_fail.*

isl: Fix row pitch for linear buffers

isl always aligned the row pitch to the surface's image alignment.  This
was sometimes wrong when the surface backed a VkBuffer. For a VkBuffer,
the surface's row pitch is set by VkBufferImageCopy::bufferRowLength,
whose required alignment is only that of the VkFormat.

In particular, VkBuffer rows are packed in many dEQP and Crucible tests.
And packed rows are rarely aligned to the surface's image alignment.

Fixes: dEQP-VK.pipeline.image.view_type.2d.format.r8g8b8a8_unorm.size.13x13

isl: Fix swapped if-else in isl_calc_row_pitch

The YUV case was applied to non-YUV formats. Oops.

nir/spirv: Fix group decorations

They were completely bogus before.  For one thing, OpDecorationGroup
created a value of type undef rather than decoration_group.  Also
OpGroupMemberDecorate didn't properly apply the decoration to the different
members of the different groups.  It *should* be correct now but there's no
good way to test it yet.

anv/device: Only allocate whole pages in AllocateMemory

The kernel is going to give us whole pages anyway, so allocating part of a
page doesn't help.  And this ensures that we can always work with whole
pages.

anv/device: Handle non-4k-aligned calls to MapMemory

As per the spec:

   minMemoryMapAlignment is the minimum required alignment, in bytes, of
   host-visible memory allocations within the host address space. When
   mapping a memory allocation with vkMapMemory, subtracting offset bytes
   from the returned pointer will always produce a multiple of the value of
   this limit.

anv/format: Get rid of num_channels

anv/cmd_buffer: Fix a pointer-cast typo

isl: Document some isl_surf::phys_level0_sa invariants

isl_dim_layout restricts the range of isl_surf::phys_level0_sa.

anv/pipeline: Better vertex input channel setup

First off, it now uses isl formats instead of anv_format.  Also, it
properly handles integer vs. floating-point default channels and can
properly handle alpha-only channels.  (Not sure if those are allowed).

anv/pipeline: Move vk_to_gen tables into a shared header

isl: Better document surface units

Logical pixels, physical surface samples, and physical surface elements.

Requested-by: Jason Ekstrand <jason.ekstrand@intel.com>

isl: Document the 3D block extent of isl_format

nir/spirv: Add a missing break statement in handle_image

Revert "isl: Fix assertion failure for npot pixel formats"

This reverts commit 96d1baa88d37c51c94579f650cfd9465d28634f4.

nir/spirv: Handle push constants after decorations

anv/device: Place memory types at heapIndex == 0

Previously, they were at heapIndex == 1 even though we only advertised one
heap.

nir/spirv: Fix constant num_elements and allocation

Thanks to the addition of nir_clone, we now have a num_elements field in
nir_constant which we weren't setting.  Also, constants have to be parented
to the variable they initialize, so we have to make a copy.

nir/lower_outputs_to_temporaries: Reparent constant initializers

nir/clone: Expose nir_constant_clone

nir/gather_info: Add support for end_primitive_with_counter