projects / mesa.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | tree
raw | inline | side by side
st/mesa: add null pointer checking in query object functions
[mesa.git] / src / mesa / x86 / 3dnow_normal.S
diff --git a/src/mesa/x86/3dnow_normal.S b/src/mesa/x86/3dnow_normal.S
index f13392e0706d75b7a006a7ce9786ec06819c0de3..ca95f254896aab21196e54b128f54ec9132d0f26 100644 (file)
--- a/src/mesa/x86/3dnow_normal.S
+++ b/src/mesa/x86/3dnow_normal.S
@@ -1,10 +1,8 @@
-/* $Id: 3dnow_normal.S,v 1.2 2001/10/22 01:21:16 brianp Exp $ */
 
 /*
  * Mesa 3-D graphics library
- * Version:  3.5
  *
- * Copyright (C) 1999-2001  Brian Paul   All Rights Reserved.
+ * Copyright (C) 1999-2003  Brian Paul   All Rights Reserved.
  *
  * Permission is hereby granted, free of charge, to any person obtaining a
  * copy of this software and associated documentation files (the "Software"),
@@ -19,15 +17,19 @@
  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS
  * OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL
- * BRIAN PAUL BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN
- * AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
- * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
+ * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR
+ * OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE,
+ * ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR
+ * OTHER DEALINGS IN THE SOFTWARE.
  */
 
 /*
  * 3Dnow assembly code by Holger Waechtler
  */
 
+#ifdef USE_3DNOW_ASM
+
+#include "assyntax.h"
 #include "matypes.h"
 #include "norm_args.h"
 
@@ -39,9 +41,10 @@
 
 ALIGNTEXT16
 GLOBL GLNAME(_mesa_3dnow_transform_normalize_normals)
+HIDDEN(_mesa_3dnow_transform_normalize_normals)
 GLNAME(_mesa_3dnow_transform_normalize_normals):
 
- #define FRAME_OFFSET 12
+#define FRAME_OFFSET 12
 
     PUSH_L     ( EDI )
     PUSH_L     ( ESI )
@@ -50,25 +53,25 @@ GLNAME(_mesa_3dnow_transform_normalize_normals):
     MOV_L      ( ARG_LENGTHS, EDI )
     MOV_L      ( ARG_IN, ESI )
     MOV_L      ( ARG_DEST, EAX )
-    MOV_L      ( REGOFF(V3F_COUNT, ESI), EBP ) /*  dest->count = in->count   */
-    MOV_L      ( EBP, REGOFF(V3F_COUNT, EAX) )
-    MOV_L      ( REGOFF(V3F_START, ESI), EDX ) /*  in->start    */
-    MOV_L      ( REGOFF(V3F_START, EAX), EAX ) /*  dest->start  */
+    MOV_L      ( REGOFF(V4F_COUNT, ESI), EBP ) /*  dest->count = in->count   */
+    MOV_L      ( EBP, REGOFF(V4F_COUNT, EAX) )
+    MOV_L      ( REGOFF(V4F_START, ESI), EDX ) /*  in->start    */
+    MOV_L      ( REGOFF(V4F_START, EAX), EAX ) /*  dest->start  */
     MOV_L      ( ARG_MAT, ECX )
     MOV_L      ( REGOFF(MATRIX_INV, ECX), ECX ) /*  mat->inv     */
 
     CMP_L      ( CONST(0), EBP )        /*   count > 0 ??  */
     JE         ( LLBL (G3TN_end) )
 
-    MOV_L      ( REGOFF (V3F_COUNT, ESI), EBP )
+    MOV_L      ( REGOFF (V4F_COUNT, ESI), EBP )
     FEMMS
 
     PUSH_L     ( EBP )
     PUSH_L     ( EAX )
     PUSH_L     ( EDX )                  /*  save counter & pointer for   */
                                         /*  the normalize pass           */
- #undef  FRAME_OFFSET
- #define FRAME_OFFSET 24
+#undef  FRAME_OFFSET
+#define FRAME_OFFSET 24
 
     MOVQ       ( M(0), MM3 )            /*  m1              | m0         */
     MOVQ       ( M(4), MM4 )            /*  m5              | m4         */
@@ -101,7 +104,7 @@ LLBL (G3TN_transform):
     PUNPCKLDQ  ( MM2, MM2 )             /*  x2              | x2           */
 
     PFMUL      ( MM3, MM0 )             /*  x1*m1           | x0*m0        */
-    ADD_L      ( CONST(12), EAX )       /*  next r                         */
+    ADD_L      ( CONST(16), EAX )       /*  next r                         */
 
     PREFETCHW  ( REGIND(EAX) )
 
@@ -112,7 +115,7 @@ LLBL (G3TN_transform):
     PFADD      ( MM2, MM0 )             /* x0*m4+x1*m5+x2*m6| x0*m0+...+x2**/
 
     MOVQ       ( REGIND (EDX), MM1 )    /*  x1           | x0              */
-    MOVQ       ( MM0, REGOFF(-12, EAX) ) /* write r0, r1                   */
+    MOVQ       ( MM0, REGOFF(-16, EAX) ) /* write r0, r1                   */
 
     PFMUL      ( MM6, MM1 )             /* x1*m9         | x0*m8           */
     MOVD       ( REGOFF (8, EDX), MM2 ) /*               | x2              */
@@ -125,9 +128,9 @@ LLBL (G3TN_transform):
 
     PREFETCH   ( REGIND(EDX) )
 
-    MOVD       ( MM1, REGOFF(-4, EAX) ) /*  write r2                       */
-    DEC_L      ( EBP )                  /*  decrement normal counter       */
-    JA         ( LLBL (G3TN_transform) )
+    MOVD       ( MM1, REGOFF(-8, EAX) ) /*  write r2                       */
+    SUB_L      ( CONST(1), EBP )                  /*  decrement normal counter       */
+    JNZ        ( LLBL (G3TN_transform) )
 
 
     POP_L      ( EDX )                  /*  end of transform ---           */
@@ -160,10 +163,10 @@ LLBL (G3TN_norm_w_lengths):
     MOVQ       ( MM0, REGIND(EAX) )     /*  write new x0, x1               */
     MOVD       ( MM1, REGOFF(8, EAX) )  /*  write new x2                   */
 
-    ADD_L      ( CONST(12), EAX )       /*  next r                         */
-    DEC_L      ( EBP )                  /*  decrement normal counter       */
+    ADD_L      ( CONST(16), EAX )       /*  next r                         */
+    SUB_L      ( CONST(1), EBP )        /*  decrement normal counter       */
 
-    JA         ( LLBL (G3TN_norm_w_lengths) )
+    JNZ        ( LLBL (G3TN_norm_w_lengths) )
     JMP        ( LLBL (G3TN_exit_3dnow) )
 
 ALIGNTEXT32
@@ -171,11 +174,14 @@ LLBL (G3TN_norm):
 
     PREFETCHW  ( REGIND(EAX) )
 
+    MOVQ       ( REGIND (EAX), MM0 )    /*  x1             | x0           */
+    MOVD       ( REGOFF(8, EAX), MM1 )  /*                 | x2           */
+
     MOVQ       ( MM0, MM3 )             /*  x1              | x0           */
     MOVQ       ( MM1, MM4 )             /*                  | x2           */
 
     PFMUL      ( MM0, MM3 )             /*  x1*x1           | x0*x0        */
-    ADD_L      ( CONST(12), EAX )       /*  next r                         */
+    ADD_L      ( CONST(16), EAX )       /*  next r                         */
 
     PFMUL      ( MM1, MM4 )             /*                  | x2*x2        */
     PFADD      ( MM4, MM3 )             /*                  | x0*x0+x2*x2  */
@@ -186,7 +192,7 @@ LLBL (G3TN_norm):
     MOVQ       ( MM5, MM4 )
     PUNPCKLDQ  ( MM3, MM3 )
 
-    DEC_L      ( EBP )                  /*  decrement normal counter       */
+    SUB_L      ( CONST(1), EBP )                  /*  decrement normal counter       */
     PFMUL      ( MM5, MM5 )
 
     PFRSQIT1   ( MM3, MM5 )
@@ -194,14 +200,11 @@ LLBL (G3TN_norm):
 
     PFMUL      ( MM5, MM0 )             /*  x1 (normalized) | x0 (normalize*/
 
-    MOVQ       ( MM0, REGOFF(-12, EAX) ) /*  write new x0, x1              */
+    MOVQ       ( MM0, REGOFF(-16, EAX) ) /*  write new x0, x1              */
     PFMUL      ( MM5, MM1 )             /*                 | x2 (normalize*/
 
-    MOVD       ( MM1, REGOFF(-4, EAX) ) /*  write new x2                  */
-    MOVQ       ( REGIND (EAX), MM0 )    /*  x1             | x0           */
-
-    MOVD       ( REGOFF(8, EAX), MM1 )  /*                 | x2           */
-    JA         ( LLBL (G3TN_norm) )
+    MOVD       ( MM1, REGOFF(-8, EAX) ) /*  write new x2                  */
+    JNZ        ( LLBL (G3TN_norm) )
 
 LLBL (G3TN_exit_3dnow):
     FEMMS
@@ -216,10 +219,11 @@ LLBL (G3TN_end):
 
 ALIGNTEXT16
 GLOBL GLNAME(_mesa_3dnow_transform_normalize_normals_no_rot)
+HIDDEN(_mesa_3dnow_transform_normalize_normals_no_rot)
 GLNAME(_mesa_3dnow_transform_normalize_normals_no_rot):
 
- #undef FRAME_OFFSET
- #define FRAME_OFFSET 12
+#undef FRAME_OFFSET
+#define FRAME_OFFSET 12
 
     PUSH_L     ( EDI )
     PUSH_L     ( ESI )
@@ -228,12 +232,12 @@ GLNAME(_mesa_3dnow_transform_normalize_normals_no_rot):
     MOV_L      ( ARG_LENGTHS, EDI )
     MOV_L      ( ARG_IN, ESI )
     MOV_L      ( ARG_DEST, EAX )
-    MOV_L      ( REGOFF(V3F_COUNT, ESI), EBP ) /*  dest->count = in->count   */
-    MOV_L      ( EBP, REGOFF(V3F_COUNT, EAX) )
+    MOV_L      ( REGOFF(V4F_COUNT, ESI), EBP ) /*  dest->count = in->count   */
+    MOV_L      ( EBP, REGOFF(V4F_COUNT, EAX) )
     MOV_L      ( ARG_MAT, ECX )
-    MOV_L      ( REGOFF(V3F_START, EAX), EAX ) /*  dest->start  */
+    MOV_L      ( REGOFF(V4F_START, EAX), EAX ) /*  dest->start  */
     MOV_L      ( REGOFF(MATRIX_INV, ECX), ECX ) /*  mat->inv     */
-    MOV_L      ( REGOFF(V3F_START, ESI), EDX ) /*  in->start    */
+    MOV_L      ( REGOFF(V4F_START, ESI), EDX ) /*  in->start    */
 
     CMP_L      ( CONST(0), EBP ) /*   count > 0 ??  */
     JE         ( LLBL (G3TNNR_end) )
@@ -277,7 +281,7 @@ LLBL (G3TNNR_norm_w_lengths):           /* use precalculated lengths          */
     PREFETCH   ( REGIND(EDX) )
 
     PFMUL      ( MM2, MM7 )             /*               | x2*m10             */
-    ADD_L      ( CONST(12), EAX )       /* next r                             */
+    ADD_L      ( CONST(16), EAX )       /* next r                             */
 
     PFMUL      ( MM3, MM7 )             /*               | x2 (normalized)  */
     PUNPCKLDQ  ( MM3, MM3 )             /* length (x)    | length (x)       */
@@ -285,13 +289,13 @@ LLBL (G3TNNR_norm_w_lengths):           /* use precalculated lengths          */
     ADD_L      ( CONST(4), EDI )        /* next length                        */
     PFMUL      ( MM3, MM6 )             /* x1 (normalized) | x0 (normalized)  */
 
-    DEC_L      ( EBP )                  /* decrement normal counter           */
-    MOVQ       ( MM6, REGOFF(-12, EAX) ) /* write r0, r1                      */
+    SUB_L      ( CONST(1), EBP )        /* decrement normal counter           */
+    MOVQ       ( MM6, REGOFF(-16, EAX) ) /* write r0, r1                      */
 
-    MOVD       ( MM7, REGOFF(-4, EAX) ) /* write r2                           */
+    MOVD       ( MM7, REGOFF(-8, EAX) ) /* write r2                           */
     MOVD       ( REGIND(EDI), MM3 )     /*                 | length (x)       */
 
-    JA         ( LLBL (G3TNNR_norm_w_lengths) )
+    JNZ        ( LLBL (G3TNNR_norm_w_lengths) )
     JMP        ( LLBL (G3TNNR_exit_3dnow) )
 
 ALIGNTEXT32
@@ -303,7 +307,7 @@ LLBL (G3TNNR_norm):                     /* need to calculate lengths          */
     MOVD       ( REGOFF(8, EDX), MM7 )  /*                 | x2               */
 
     PFMUL      ( MM0, MM6 )             /* x1*m5           | x0*m0            */
-    ADD_L      ( CONST(12), EAX )       /* next r                             */
+    ADD_L      ( CONST(16), EAX )       /* next r                             */
 
     PFMUL      ( MM2, MM7 )             /*                 | x2*m10           */
     MOVQ       ( MM6, MM3 )             /* x1 (transformed)| x0 (transformed) */
@@ -327,16 +331,16 @@ LLBL (G3TNNR_norm):                     /* need to calculate lengths          */
     PFMUL      ( MM5, MM5 )
 
     PFRSQIT1   ( MM3, MM5 )
-    DEC_L      ( EBP )                  /* decrement normal counter           */
+    SUB_L      ( CONST(1), EBP )        /* decrement normal counter           */
 
     PFRCPIT2   ( MM4, MM5 )
     PFMUL      ( MM5, MM6 )             /* x1 (normalized) | x0 (normalized)  */
 
-    MOVQ       ( MM6, REGOFF(-12, EAX) ) /* write r0, r1                      */
+    MOVQ       ( MM6, REGOFF(-16, EAX) ) /* write r0, r1                      */
     PFMUL      ( MM5, MM7 )             /*                 | x2 (normalized)  */
 
-    MOVD       ( MM7, REGOFF(-4, EAX) ) /* write r2                           */
-    JA         ( LLBL (G3TNNR_norm) )
+    MOVD       ( MM7, REGOFF(-8, EAX) ) /* write r2                           */
+    JNZ        ( LLBL (G3TNNR_norm) )
 
 
 LLBL (G3TNNR_exit_3dnow):
@@ -355,10 +359,11 @@ LLBL (G3TNNR_end):
 
 ALIGNTEXT16
 GLOBL GLNAME(_mesa_3dnow_transform_rescale_normals_no_rot)
+HIDDEN(_mesa_3dnow_transform_rescale_normals_no_rot)
 GLNAME(_mesa_3dnow_transform_rescale_normals_no_rot):
 
- #undef FRAME_OFFSET
- #define FRAME_OFFSET 12
+#undef FRAME_OFFSET
+#define FRAME_OFFSET 12
 
     PUSH_L     ( EDI )
     PUSH_L     ( ESI )
@@ -366,13 +371,13 @@ GLNAME(_mesa_3dnow_transform_rescale_normals_no_rot):
 
     MOV_L      ( ARG_IN, EAX )
     MOV_L      ( ARG_DEST, EDX )
-    MOV_L      ( REGOFF(V3F_COUNT, EAX), EBP ) /*  dest->count = in->count   */
-    MOV_L      ( EBP, REGOFF(V3F_COUNT, EDX) )
+    MOV_L      ( REGOFF(V4F_COUNT, EAX), EBP ) /*  dest->count = in->count   */
+    MOV_L      ( EBP, REGOFF(V4F_COUNT, EDX) )
     MOV_L      ( ARG_IN, ESI )
     MOV_L      ( ARG_MAT, ECX )
     MOV_L      ( REGOFF(MATRIX_INV, ECX), ECX ) /*  mat->inv     */
-    MOV_L      ( REGOFF(V3F_START, EDX), EAX ) /*  dest->start  */
-    MOV_L      ( REGOFF(V3F_START, ESI), EDX ) /*  in->start    */
+    MOV_L      ( REGOFF(V4F_START, EDX), EAX ) /*  dest->start  */
+    MOV_L      ( REGOFF(V4F_START, ESI), EDX ) /*  in->start    */
 
     CMP_L      ( CONST(0), EBP )
     JE         ( LLBL (G3TRNR_end) )
@@ -404,13 +409,13 @@ LLBL (G3TRNR_rescale):
     PREFETCH   ( REGIND(EDX) )
 
     PFMUL      ( MM2, MM5 )             /*               | x2*m10             */
-    ADD_L      ( CONST(12), EAX )       /* next r                             */
+    ADD_L      ( CONST(16), EAX )       /* next r                             */
 
-    DEC_L      ( EBP )                  /* decrement normal counter           */
-    MOVQ       ( MM4, REGOFF(-12, EAX) ) /* write r0, r1                      */
+    SUB_L      ( CONST(1), EBP )        /* decrement normal counter           */
+    MOVQ       ( MM4, REGOFF(-16, EAX) ) /* write r0, r1                      */
 
-    MOVD       ( MM5, REGOFF(-4, EAX) ) /* write r2                           */
-    JA         ( LLBL (G3TRNR_rescale) ) /* cnt > 0 ? -> process next normal  */
+    MOVD       ( MM5, REGOFF(-8, EAX) ) /* write r2                           */
+    JNZ        ( LLBL (G3TRNR_rescale) ) /* cnt > 0 ? -> process next normal  */
 
     FEMMS
 
@@ -426,10 +431,11 @@ LLBL (G3TRNR_end):
 
 ALIGNTEXT16
 GLOBL GLNAME(_mesa_3dnow_transform_rescale_normals)
+HIDDEN(_mesa_3dnow_transform_rescale_normals)
 GLNAME(_mesa_3dnow_transform_rescale_normals):
 
- #undef  FRAME_OFFSET
- #define FRAME_OFFSET 8
+#undef  FRAME_OFFSET
+#define FRAME_OFFSET 8
 
     PUSH_L     ( EDI )
     PUSH_L     ( ESI )
@@ -437,10 +443,10 @@ GLNAME(_mesa_3dnow_transform_rescale_normals):
     MOV_L      ( ARG_IN, ESI )
     MOV_L      ( ARG_DEST, EAX )
     MOV_L      ( ARG_MAT, ECX )
-    MOV_L      ( REGOFF(V3F_COUNT, ESI), EDI ) /*  dest->count = in->count   */
-    MOV_L      ( EDI, REGOFF(V3F_COUNT, EAX) )
-    MOV_L      ( REGOFF(V3F_START, EAX), EAX ) /*  dest->start  */
-    MOV_L      ( REGOFF(V3F_START, ESI), EDX ) /*  in->start    */
+    MOV_L      ( REGOFF(V4F_COUNT, ESI), EDI ) /*  dest->count = in->count   */
+    MOV_L      ( EDI, REGOFF(V4F_COUNT, EAX) )
+    MOV_L      ( REGOFF(V4F_START, EAX), EAX ) /*  dest->start  */
+    MOV_L      ( REGOFF(V4F_START, ESI), EDX ) /*  in->start    */
     MOV_L      ( REGOFF(MATRIX_INV, ECX), ECX ) /*  mat->inv     */
 
     CMP_L      ( CONST(0), EDI )
@@ -481,7 +487,7 @@ LLBL (G3TR_rescale):
     PUNPCKLDQ  ( MM2, MM2 )             /* x2            | x2                 */
 
     PFMUL      ( MM3, MM0 )             /* x1*m1         | x0*m0              */
-    ADD_L      ( CONST(12), EAX )       /* next r                             */
+    ADD_L      ( CONST(16), EAX )       /* next r                             */
 
     PFMUL      ( MM4, MM1 )             /* x1*m5         | x0*m4              */
     PFACC      ( MM1, MM0 )             /* x0*m4+x1*m5   | x0*m0+x1*m1        */
@@ -496,17 +502,17 @@ LLBL (G3TR_rescale):
 
     PREFETCH   ( REGIND(EDX) )
 
-    MOVQ       ( MM0, REGOFF(-12, EAX) ) /* write r0, r1                      */
+    MOVQ       ( MM0, REGOFF(-16, EAX) ) /* write r0, r1                      */
     PFMUL      ( MM6, MM1 )             /* x1*m9         | x0*m8              */
 
     PFMUL      ( MM7, MM2 )             /*               | x2*m10             */
     PFACC      ( MM1, MM1 )             /* *not used*    | x0*m8+x1*m9        */
 
     PFADD      ( MM2, MM1 )             /* *not used*    | x0*m8+x1*m9+x2*m10 */
-    MOVD       ( MM1, REGOFF(-4, EAX) ) /* write r2                           */
+    MOVD       ( MM1, REGOFF(-8, EAX) ) /* write r2                           */
 
-    DEC_L      ( EDI )                  /* decrement normal counter           */
-    JA         ( LLBL (G3TR_rescale) )
+    SUB_L      ( CONST(1), EDI )        /* decrement normal counter           */
+    JNZ        ( LLBL (G3TR_rescale) )
 
     FEMMS
 
@@ -523,10 +529,11 @@ LLBL (G3TR_end):
 
 ALIGNTEXT16
 GLOBL GLNAME(_mesa_3dnow_transform_normals_no_rot)
+HIDDEN(_mesa_3dnow_transform_normals_no_rot)
 GLNAME(_mesa_3dnow_transform_normals_no_rot):
 
- #undef  FRAME_OFFSET
- #define FRAME_OFFSET 8
+#undef  FRAME_OFFSET
+#define FRAME_OFFSET 8
 
     PUSH_L     ( EDI )
     PUSH_L     ( ESI )
@@ -534,10 +541,10 @@ GLNAME(_mesa_3dnow_transform_normals_no_rot):
     MOV_L      ( ARG_IN, ESI )
     MOV_L      ( ARG_DEST, EAX )
     MOV_L      ( ARG_MAT, ECX )
-    MOV_L      ( REGOFF(V3F_COUNT, ESI), EDI ) /*  dest->count = in->count   */
-    MOV_L      ( EDI, REGOFF(V3F_COUNT, EAX) )
-    MOV_L      ( REGOFF(V3F_START, EAX), EAX ) /*  dest->start  */
-    MOV_L      ( REGOFF(V3F_START, ESI), EDX ) /*  in->start    */
+    MOV_L      ( REGOFF(V4F_COUNT, ESI), EDI ) /*  dest->count = in->count   */
+    MOV_L      ( EDI, REGOFF(V4F_COUNT, EAX) )
+    MOV_L      ( REGOFF(V4F_START, EAX), EAX ) /*  dest->start  */
+    MOV_L      ( REGOFF(V4F_START, ESI), EDX ) /*  in->start    */
     MOV_L      ( REGOFF(MATRIX_INV, ECX), ECX ) /*  mat->inv     */
 
     CMP_L      ( CONST(0), EDI )
@@ -565,13 +572,13 @@ LLBL (G3TNR_transform):
     PREFETCH   ( REGIND(EDX) )
 
     PFMUL      ( MM2, MM5 )             /*               | x2*m10             */
-    ADD_L      ( CONST(12), EAX )       /* next r                             */
+    ADD_L      ( CONST(16), EAX )       /* next r                             */
 
-    DEC_L      ( EDI )                  /* decrement normal counter           */
-    MOVQ       ( MM4, REGOFF(-12, EAX) ) /* write r0, r1                      */
+    SUB_L      ( CONST(1), EDI )        /* decrement normal counter           */
+    MOVQ       ( MM4, REGOFF(-16, EAX) ) /* write r0, r1                      */
 
-    MOVD       ( MM5, REGOFF(-4, EAX) ) /* write r2                           */
-    JA         ( LLBL (G3TNR_transform) )
+    MOVD       ( MM5, REGOFF(-8, EAX) ) /* write r2                           */
+    JNZ        ( LLBL (G3TNR_transform) )
 
     FEMMS
 
@@ -589,10 +596,11 @@ LLBL (G3TNR_end):
 
 ALIGNTEXT16
 GLOBL GLNAME(_mesa_3dnow_transform_normals)
+HIDDEN(_mesa_3dnow_transform_normals)
 GLNAME(_mesa_3dnow_transform_normals):
 
- #undef  FRAME_OFFSET
- #define FRAME_OFFSET 8
+#undef  FRAME_OFFSET
+#define FRAME_OFFSET 8
 
     PUSH_L     ( EDI )
     PUSH_L     ( ESI )
@@ -600,10 +608,10 @@ GLNAME(_mesa_3dnow_transform_normals):
     MOV_L      ( ARG_IN, ESI )
     MOV_L      ( ARG_DEST, EAX )
     MOV_L      ( ARG_MAT, ECX )
-    MOV_L      ( REGOFF(V3F_COUNT, ESI), EDI ) /*  dest->count = in->count   */
-    MOV_L      ( EDI, REGOFF(V3F_COUNT, EAX) )
-    MOV_L      ( REGOFF(V3F_START, EAX), EAX ) /*  dest->start  */
-    MOV_L      ( REGOFF(V3F_START, ESI), EDX ) /*  in->start    */
+    MOV_L      ( REGOFF(V4F_COUNT, ESI), EDI ) /*  dest->count = in->count   */
+    MOV_L      ( EDI, REGOFF(V4F_COUNT, EAX) )
+    MOV_L      ( REGOFF(V4F_START, EAX), EAX ) /*  dest->start  */
+    MOV_L      ( REGOFF(V4F_START, ESI), EDX ) /*  in->start    */
     MOV_L      ( REGOFF(MATRIX_INV, ECX), ECX ) /*  mat->inv     */
 
     CMP_L      ( CONST(0), EDI )        /* count > 0 ??                       */
@@ -632,7 +640,7 @@ LLBL (G3T_transform):
     PUNPCKLDQ  ( MM2, MM2 )             /* x2            | x2                 */
 
     PFMUL      ( MM3, MM0 )             /* x1*m1         | x0*m0              */
-    ADD_L      ( CONST(12), EAX )       /* next r                             */
+    ADD_L      ( CONST(16), EAX )       /* next r                             */
 
     PFMUL      ( MM4, MM1 )             /* x1*m5         | x0*m4              */
     PFACC      ( MM1, MM0 )             /* x0*m4+x1*m5   | x0*m0+x1*m1        */
@@ -641,7 +649,7 @@ LLBL (G3T_transform):
     PFADD      ( MM2, MM0 )             /* x0*m4...+x2*m6| x0*m0+x1*m1+x2*m2  */
 
     MOVQ       ( REGIND(EDX), MM1 )     /* x1            | x0                 */
-    MOVQ       ( MM0, REGOFF(-12, EAX) ) /* write r0, r1                      */
+    MOVQ       ( MM0, REGOFF(-16, EAX) ) /* write r0, r1                      */
 
     PFMUL      ( MM6, MM1 )             /* x1*m9         | x0*m8              */
     MOVD       ( REGOFF(8, EDX), MM2 )  /*               | x2                 */
@@ -654,10 +662,10 @@ LLBL (G3T_transform):
     PFACC      ( MM1, MM1 )             /* *not used*    | x0*m8+x1*m9        */
     PFADD      ( MM2, MM1 )             /* *not used*    | x0*m8+x1*m9+x2*m10 */
 
-    MOVD       ( MM1, REGOFF(-4, EAX) ) /* write r2                           */
-    DEC_L      ( EDI )                  /* decrement normal counter           */
+    MOVD       ( MM1, REGOFF(-8, EAX) ) /* write r2                           */
+    SUB_L      ( CONST(1), EDI )        /* decrement normal counter           */
 
-    JA         ( LLBL (G3T_transform) )
+    JNZ        ( LLBL (G3T_transform) )
 
     FEMMS
 
@@ -673,10 +681,11 @@ LLBL (G3T_end):
 
 ALIGNTEXT16
 GLOBL GLNAME(_mesa_3dnow_normalize_normals)
+HIDDEN(_mesa_3dnow_normalize_normals)
 GLNAME(_mesa_3dnow_normalize_normals):
 
- #undef  FRAME_OFFSET
- #define FRAME_OFFSET 12
+#undef  FRAME_OFFSET
+#define FRAME_OFFSET 12
 
     PUSH_L     ( EDI )
     PUSH_L     ( ESI )
@@ -684,10 +693,10 @@ GLNAME(_mesa_3dnow_normalize_normals):
 
     MOV_L      ( ARG_IN, ESI )
     MOV_L      ( ARG_DEST, EAX )
-    MOV_L      ( REGOFF(V3F_COUNT, ESI), EBP ) /*  dest->count = in->count   */
-    MOV_L      ( EBP, REGOFF(V3F_COUNT, EAX) )
-    MOV_L      ( REGOFF(V3F_START, EAX), EAX ) /*  dest->start  */
-    MOV_L      ( REGOFF(V3F_START, ESI), ECX ) /*  in->start    */
+    MOV_L      ( REGOFF(V4F_COUNT, ESI), EBP ) /*  dest->count = in->count   */
+    MOV_L      ( EBP, REGOFF(V4F_COUNT, EAX) )
+    MOV_L      ( REGOFF(V4F_START, EAX), EAX ) /*  dest->start  */
+    MOV_L      ( REGOFF(V4F_START, ESI), ECX ) /*  in->start    */
     MOV_L      ( ARG_LENGTHS, EDX )
 
     CMP_L      ( CONST(0), EBP ) /* count > 0 ?? */
@@ -718,12 +727,12 @@ LLBL (G3N_norm1):                       /* use precalculated lengths          */
     MOVQ       ( MM0, REGIND(EAX) )     /* write new x0, x1                   */
 
     MOVD       ( MM1, REGOFF(8, EAX) )  /* write new x2                       */
-    ADD_L      ( CONST(12), EAX )       /* next r                             */
+    ADD_L      ( CONST(16), EAX )       /* next r                             */
 
     ADD_L      ( CONST(4), EDX )        /* next length                        */
-    DEC_L      ( EBP )                  /* decrement normal counter           */
+    SUB_L      ( CONST(1), EBP )        /* decrement normal counter           */
 
-    JA         ( LLBL (G3N_norm1) )
+    JNZ        ( LLBL (G3N_norm1) )
 
     JMP        ( LLBL (G3N_end1) )
 
@@ -732,18 +741,18 @@ LLBL (G3N_norm2):                       /* need to calculate lengths          */
 
     PREFETCHW  ( REGIND(EAX) )
 
-    MOVQ       ( MM0, MM3 )             /* x1              | x0               */
-    ADD_L      ( STRIDE, ECX )          /* next normal    */
-
     PREFETCH   ( REGIND(ECX) )
 
     MOVQ       ( REGIND(ECX), MM0 )     /* x1              | x0               */
     MOVD       ( REGOFF(8, ECX), MM1 )  /*                 | x2               */
 
+    MOVQ       ( MM0, MM3 )             /* x1              | x0               */
+    ADD_L      ( STRIDE, ECX )          /* next normal    */
+
     PFMUL      ( MM0, MM3 )             /* x1*x1           | x0*x0            */
     MOVQ       ( MM1, MM4 )             /*                 | x2               */
 
-    ADD_L      ( CONST(12), EAX )       /* next r                             */
+    ADD_L      ( CONST(16), EAX )       /* next r                             */
     PFMUL      ( MM1, MM4 )             /*                 | x2*x2            */
 
     PFADD      ( MM4, MM3 )             /*                 | x0*x0+x2*x2      */
@@ -756,17 +765,17 @@ LLBL (G3N_norm2):                       /* need to calculate lengths          */
     PFMUL      ( MM5, MM5 )
 
     PFRSQIT1   ( MM3, MM5 )
-    DEC_L      ( EBP )                  /* decrement normal counter           */
+    SUB_L      ( CONST(1), EBP )        /* decrement normal counter           */
 
     PFRCPIT2   ( MM4, MM5 )
 
     PFMUL      ( MM5, MM0 )             /* x1 (normalized) | x0 (normalized)  */
-    MOVQ       ( MM0, REGOFF(-12, EAX) ) /* write new x0, x1                  */
+    MOVQ       ( MM0, REGOFF(-16, EAX) ) /* write new x0, x1                  */
 
     PFMUL      ( MM5, MM1 )             /*                 | x2 (normalized)  */
-    MOVD       ( MM1, REGOFF(-4, EAX) ) /* write new x2                       */
+    MOVD       ( MM1, REGOFF(-8, EAX) ) /* write new x2                       */
 
-    JA         ( LLBL (G3N_norm2) )
+    JNZ        ( LLBL (G3N_norm2) )
 
 LLBL (G3N_end1):
     FEMMS
@@ -784,19 +793,20 @@ LLBL (G3N_end):
 
 ALIGNTEXT16
 GLOBL GLNAME(_mesa_3dnow_rescale_normals)
+HIDDEN(_mesa_3dnow_rescale_normals)
 GLNAME(_mesa_3dnow_rescale_normals):
 
- #undef  FRAME_OFFSET
- #define FRAME_OFFSET 8
+#undef  FRAME_OFFSET
+#define FRAME_OFFSET 8
     PUSH_L     ( EDI )
     PUSH_L     ( ESI )
 
     MOV_L      ( ARG_IN, ESI )
     MOV_L      ( ARG_DEST, EAX )
-    MOV_L      ( REGOFF(V3F_COUNT, ESI), EDX ) /*  dest->count = in->count   */
-    MOV_L      ( EDX, REGOFF(V3F_COUNT, EAX) )
-    MOV_L      ( REGOFF(V3F_START, EAX), EAX ) /*  dest->start  */
-    MOV_L      ( REGOFF(V3F_START, ESI), ECX ) /*  in->start    */
+    MOV_L      ( REGOFF(V4F_COUNT, ESI), EDX ) /*  dest->count = in->count   */
+    MOV_L      ( EDX, REGOFF(V4F_COUNT, EAX) )
+    MOV_L      ( REGOFF(V4F_START, EAX), EAX ) /*  dest->start  */
+    MOV_L      ( REGOFF(V4F_START, ESI), ECX ) /*  in->start    */
 
     CMP_L      ( CONST(0), EDX )
     JE         ( LLBL (G3R_end) )
@@ -820,13 +830,13 @@ LLBL (G3R_rescale):
     PREFETCH   ( REGIND(ECX) )
 
     PFMUL      ( MM0, MM2 )             /*               | x2*scale           */
-    ADD_L      ( CONST(12), EAX )       /* next r                             */
+    ADD_L      ( CONST(16), EAX )       /* next r                             */
 
-    MOVQ       ( MM1, REGOFF(-12, EAX) ) /* write r0, r1                      */
-    MOVD       ( MM2, REGOFF(-4, EAX) ) /* write r2                           */
+    MOVQ       ( MM1, REGOFF(-16, EAX) ) /* write r0, r1                      */
+    MOVD       ( MM2, REGOFF(-8, EAX) ) /* write r2                           */
 
-    DEC_L      ( EDX )                  /* decrement normal counter           */
-    JA         ( LLBL (G3R_rescale) )
+    SUB_L      ( CONST(1), EDX )        /* decrement normal counter           */
+    JNZ        ( LLBL (G3R_rescale) )
 
     FEMMS
 
@@ -834,3 +844,9 @@ LLBL (G3R_end):
     POP_L      ( ESI )
     POP_L      ( EDI )
     RET
+
+#endif
+       
+#if defined (__ELF__) && defined (__linux__)
+       .section .note.GNU-stack,"",%progbits
+#endif