Merge branch 'glsl2-head' into glsl2

This brings in the standalone GLSL compiler that we are planning on
replacing the existing Mesa GLSL compiler.  It currently targets GLSL
1.20 and the Mesa IR.

glsl2: Add a README file for the new compiler.

glsl2: Move the compiler to the subdirectory it will live in in Mesa.

Merge branch 'mesa'

This brings in the ir_to_mesa.cpp code I've been developing to codegen
to the Mesa IR.  It does not actually generate a complete Mesa
fragment/vertex program yet.

Move the talloc_parent lookup down in a few hot paths.

talloc_parent is still 80% of our runtime, but likely talloc_parent
lookups will be reduced as we improve the handling of memory
ownership.

Merge remote branch 'cworth/master'

Conflicts:
ast_to_hir.cpp
ir.cpp

This brings in the talloc-based memory management work, so that the
compiler (almost) no longer leaks memory.

ir_to_mesa: Handle a limited subset of matrix multiplication.

glsl-mvp.vert now generates believable code, and mesa mode fails only
5 tests that master doesn't.  I must have left out some asserts...

ir_to_mesa: Handle constant matrices.

There's not much to it since we're not actually storing constant data yet.

ir_to_mesa: Fix copy-and-wasted second argument to compare expresssion ops.

Fixes CorrectParse2.vert assertion due to uninitialized values.

ir_to_mesa: Don't allocate temps for swizzles.

We do them in place by actually, you know, swizzling.

ir_to_mesa: Set up storage for uniform vars.

ir_to_mesa: Move the classes into the file now that we don't have the burg.

At 1kloc, it doesn't look like I'll want to split the ir_to_mesa file
up even once it's feature-complete.  Move definitions closer to usage,
and prevent rebuilding the world when changing the definitions.

ir_to_mesa: Remove old monoburg structure.

ir_to_mesa: Restrict dst writemasks like we did in the monoburg setup.

ir_to_mesa: Fix copy-and-wasted DIV instruction sequence.

ir_to_mesa: Remove the BURG code.

The promise of the BURG was to recognize multi-instruction sequences
and emit reduced sequences for them.  It would have worked well for
recognizing MUL+ADD -> MAD and possibly even MIN(MAX(val, 0), 1) ->
MOV_SAT with some grammar changes.  However, that potential benefit in
making those optimizations easy is outweighed by the fragility of
monoburg, the amount of (incorrect, as I wrote it) code for using it,
and the burden it was going to cause for handling operations on
aggregate types.

ir_to_mesa: Fix mapping of FS texcoord inputs and color output.

ir_to_mesa: Try to fix up the dereference handling for the visitor rework.

One of the gstreamer shaders I play with now compiles, but input
mappings are wrong.

ir_to_mesa: Implement min and max expressions.

fixes glsl-orangebook-ch06-bump.frag.

ir_to_mesa: Don't assert over assignments with a constant-true condition.

ir_to_mesa: Add support for trunc/ceil/floor.

ir_to_mesa: Implement neg expression.

ir_to_mesa: Add sin/cos.

ir_to_mesa: Start trying to support struct storage.

ir_to_mesa: Fix up array indexing.

The grammar for array_reference_vec4_vec4 was set up wrong, so we
weren't generating instructions if necessary for the array index.

ir_to_mesa: Remove stale comment about monoburg.

ir_to_mesa: Add support for variable indexing of temporary arrays.

Fixes loop-01.vert, loop-02.vert.

ir_to_mesa: Clean up some handling of builtins and arrays.

Constant-index dereferences of arrays should work now.  One test is
regressed, but it should have been failing before this commit, too.

ir_to_mesa: Add support for loops.

Fixes CorrectParse1 and the glsl2 loop tests that don't use arrays.

Make loop jump mode public so I can switch on it.

ir_to_mesa: Add logic_or and logic_and to get CorrectFunction1.vert working.

ir_to_mesa: add logic_xor to get CorrectParse2.vert working.

ir_to_mesa: add logic_not and f2b to get CorrectParse2.frag working.

ir_to_mesa: Add support for ir_if.

ir_to_mesa: Add support for comparison operations.

ir_to_mesa: Introduce shorthand for common Mesa IR emit patterns.

ir_to_mesa: Add ir_unop_f2i -> OPCODE_TRUNC.

ir_to_mesa: Add codegen for rsq expression operation.

ir_to_mesa: Add exp/log expression operations.

ir_to_mesa: Add (almost) the rest of the builtin varyings.

ir_to_mesa: Support gl_Position output.

ir_to_mesa: Support gl_FragData[] output.

ir_to_mesa: Support gl_FragData[] output.

ir_to_mesa: Start doing some int support.

ir_to_mesa: Fix bugs in swizzle handling for scalar operations.

Looking at a vec2 / float codegen, the writemasks on the RCPs were wrong and
the swizzle on the multiply by the RCP results was wrong.

ir_to_mesa: Fix copy'n'paste bug where divide multiplied left by 1/left.

Multiply left by 1/right, please.

ir_to_mesa: Emit more reduced writemasks for ops on small types.

This should help prevent Mesa from having to be smart to give
channel-wise drivers better information.

ir_to_mesa: Handle swizzles on LHS of assignment (writemasks).

ir_to_mesa: Produce multiple scalar ops when required to produce vec4s.

Fixes the code emitted in a test shader for vec2 texcoord / vec2 tex_size.

ir_to_mesa: Get temps allocated at the right times.

The alloced_vec4/vec4 distinction was an experiment to expose the cost
of temps to the codegen.  But the problem is that the temporary
production rule gets called after the emit rule that was using the
temp.  We could have the args to emit_op be pointers to where the temp
would get allocated later, but that seems overly hard while just
trying to bring this thing up.  Besides, the temps used in expressions
bear only the vaguest relation to how many temps will be used after
register allocation.

ir_to_mesa: Make the first temp index we use 1 to show off bugs.

Regs aren't allocated at the right times yet, so we see TEMP[0] a lot.

ir_to_mesa: Fix up the assign rule to use left and right correctly.

The destination of assign is in left, not in the node itself.

ir_to_mesa: Do my best to explain how the codegen rules work.

ir_to_mesa: Print out the ir along with the Mesa IR.

Ideally this would be hooked up by ir_print_visitor dumping into a
string that we could include as prog_instruction->Comment when in
debug mode, and not try keeping ir_instruction trees around after
conversion to Mesa.  The ir_print_visitor isn't set up to do that for
us today.

ir_to_mesa: Fix up src reg swizzling.

ir_to_mesa: Remove dead code from when this was an ARB_fp printer.

ir_to_mesa: Fill in more bits of dest resg.

ir_to_mesa: Print out the resulting program.

Add missing dist file.

Ignore the generated codegen files for now.

Later we'll throw them in revision control.

ir_to_mesa: Start building GLSL IR to Mesa IR conversion.

There are major missing pieces here.  Most operations aren't
supported.  Matrices need to be broken down to vector ops before we
get here.  Scalar operations (RSQ, RCP) are handled incorrectly.
Arrays and structures are not even considered.

Make inlined function variables auto, not in/out.

Make sure that symbols aren't multiply defined in the same scope.

The assembly parser is already checking this, but we're relying on the
symbol table handling it in glsl2.

Attach a pointer to variable names in LIR dumping.

Since variable names are not unique, and we like to make lots of
__retvals and assignment_tmps and a,b,c,d this helps in debugging.

Quiet unused arg warning for ir_constant cloning.

Move ir_constant cloning alongside the other cloning functions.

Don't forget to add the declaration of our temporary variable for assigns.

Otherwise, dead code elimination gets confused since it relies on
seeing decls.

ir_function_inlining: Re-add the "s/return/retval =/" functionality.

I ripped it out with the cloning changes yesterday, and should have
tested and noticed that there were now returns all over.

Fix variable remapping in function cloning.

It's (ht, data, key) not (ht, key, data).

glsl2 main: Switch from realloc to talloc_realloc to construct program source.

This closes 1 leak in the glsl-orangebook-ch06-bump.frag test leaving
4 to go, (all of which are inside hash_table.c).

glsl_type: Add a talloc-based new

And hook it up at the two sites it's called.

Note that with this change we still don't use glsl_type* objects as
talloc contexts, (see things like get_array_instance that accept both
a talloc 'ctx' as well as a glsl_type*). The reason for this is that
the code is still using many instance of glsl_type objects not created
with new.

This closes 3 leaks in the glsl-orangebook-ch06-bump.frag test:

total heap usage: 55,623 allocs, 55,618

Leaving only 5 leaks to go.

Close memory leaks in glsl_type (constructor and get_array_instance)

Add a talloc ctx to both get_array_instance and the glsl_type
constructor in order to be able to call talloc_size instead of
malloc.

This fix now makes glsl-orangebook-ch06-bump.frag 99.99% leak free:

total heap usage: 55,623 allocs, 55,615

Only 8 missing frees now.

Close memory leak in lexer.

Simply call talloc_strdup rather than strdup, (using the talloc_parent
of our 'state' object, (known here as yyextra).

This fix now makes glsl-orangebook-ch06-bump.frag 99.97% leak free:

total heap usage: 55,623 allocs, 55,609 frees

Only 14 missing frees now.

main: Close memory leak of shader string from load_text_file.

Could have just added a call to free() to main, but since we're using
talloc everywhere else, we might as well just use it here too. So pass
a new 'ctx' argument to load_text_file.

This removes a single memory leak from all invocations of the
standalone glsl compiler.

s_symbol: Close memory leak of symbol name.

Easily done now that s_expression is allocated with talloc. Simply
switch from new to talloc_strdup and the job is done.

This closes the great majority (11263) of the remaining leaks in the
glsl-orangebook-ch06-bump.frag test:

total heap usage: 55,623 allocs, 55,546 frees
(was 44,283 frees)

This test is now 99.86% leak-free.

Close memory leak in ir_call::get_error_instruction.

By propagating a 'ctx' parameter through these calls.

This fix happens to have no impact on glsl-orangebook-ch06-bump.frag,
(since it doesn't trigger any errors).

Close memory leaks from generate_constructor_intro

By simply propagating a 'ctx' parameter through these function
calls. (We do this because these function are otherwise only receiving
an exec_list, which is not a valid talloc context.)

This closes 1611 leaks in the glsl-orangebook-ch06-bump.frag test:

total heap usage: 55,623 allocs, 44,283 frees
(was 42,672 frees)

exec_node: Add new talloc-based new()

And fix all callers to use the tallbac-based new for exec_node
construction. We make ready use of talloc_parent in order to get
valid, (and appropriate) talloc owners for everything we construct
without having to add new 'ctx' parameters up and down all the call
trees.

This closes the majority of the memory leaks in the
glsl-orangebook-ch06-bump.frag test:

total heap usage: 55,623 allocs, 42,672 frees
(was 14,533 frees)

Now 76.7% leak-free. Woo-hoo!

ast_node: Add new talloc-based new()

And use the talloc-based new for all of the ast objects created by the
parser.  This closes a lot of memory leaks, and will allow us to use
these ast objects as talloc parents in the future, (for things like
exec_nodes, etc.).

This closes 164 leaks in the glsl-orangebook-ch06-bump.frag test:

total heap usage: 55,623 allocs, 14,553 frees
(was 14,389 frees)

exec_node: Remove destructor from exec_node and all descendants.

Two of these destructors are non-empty, (s_symbol and s_list), so this
commit could potentially introduce memory leaks, (though, no additional
leaks are found in glsl-orangebook-ch06-bump.frag at least---perhaps
the current code is never calling delete on these classes?).

Going forward, we will switch to talloc for exec_node so we won't need
explicit destrcutors to free up any memory used.

glsl_symbol_table: Add new talloc-based new()

We take advantage of overloading of the new operator (with an
additional parameter!) to make this look as "C++ like" as possible.

This closes 507 memory leaks when compiling glsl-orangebook-ch06-bump.frag
when measured with:

valgrind ./glsl glsl-orangebook-ch06-bump.frag

as seen here:

total heap usage: 55,623 allocs, 14,389 frees
(was 13,882 frees before)

glsl2 main: Use talloc to allocate _mesa_glsl_parse_state

This is a short-lived object. It exists only for the duration of the
compile_shader() function, (as opposed to the shader and whole_program
which live longer).

The state is created with the same talloc parent as the shader, so
that other allocation can be done with talloc_parent(state) as the
owner in order to attach to a long-lived object.

glsl2 main: Use talloc to allocate whole_program struct.

This way, whole_program can be our top-level talloc context object,
allowing us to free the lot with a single talloc_free in the end.

ast_node: Remove empty destructor.

This wasn't serving any purpose. So delete it.

preprocessor: Initialize a potentially uninitialized variable.

My current reading of the relevant static functions suggests that last
is never used without being uninitialized, (we only use it if the
expansion function returned non-NULL and the expansion functions
always set it before returning non-NULL).

Apparently gcc isn't coming to the same conclusion. Initializing this
to NULL nicely quites gcc and will guarantee a nice, early segfault if
my anaylsis turns out to be wrong.

preprocessor: Remove dead code _token_list_length

As gcc noticed, this function is not currently being used. Good-bye.

preprocessor: Remove dead code _string_list_append_list

As gcc noticed, this function is not currently being used. Good-bye.

configure: Ensure that config.h can be safely included multiple times.

Use AH_TOP and AH_BOTTOM macros so that the standard include guard
mechanisms are emitted by autoheader into the generated config.h file.

configure: Remove some dead code.

This block of code is useless because a (nearly-equivalent) assignment
is made immediately after. The only difference is the omission of
-Wunreadchable-code in the assignment being used. Presumably, that was
intended to be -Wunreachable-code (without the first 'd'), but since
this hasn't been being used we just drop it.

Fix typos of "variable" as "varaible"

One of these was just in a comment. But ther other was in an enum
tag, (which is apparently not being used anywhere yet).

ir_variable: Add some missing initialization to the constructor.

Thanks to valgrind for noticing this problem.

Fix double usage of the post-inc/dec's temporary pre-inc/dec copy.

Fixes CorrectSwizzle3.frag.

Avoid using the RHS of an assignment twice.

This would fix double-evaluation of assignment RHS expressions,
including possible side effects.

get_lvalue_copy doesn't need all the checking of do_assignment().

ast_to_hir: Clone LHS derefs of assignment expressions.

ir_function_inlining: Allow inlining of loops and conditionals.

The new cloning code handles them.

Add a virtual clone() method to ir_instruction.

This will be used by function inlining, the linker, and avoiding double
usage of the LHS deref chains in ++, *=, and similar operations.

Avoid using the same ir_constant 0.0 multiple times in mat constructors.

glcpp: Support line continuations within preprocessor directives.

Fixes CorrectPreprocess5.frag.

glcpp: Make standalone binary use preprocess().

This prevents the two code paths from getting out of sync.  Also, future
work will need the shader source as a string anyway.

Unfortunately, this copies and pastes load_text_file from main.cpp, with
small changes (support for reading from stdin, talloc).