nv50/ir: add support for indirect BRA,CALL
[mesa.git] / src / gallium / drivers / nv50 / nv50_push.c
index e8ad1ddd38a42bb9e14b99b49c6137dbdd5d0c58..eb6bfbccfa7fd6bc475c99a02115c8ecc20a3ef4 100644 (file)
@@ -11,9 +11,9 @@
 #include "nv50_3d.xml.h"
 
 struct push_context {
-   struct nouveau_channel *chan;
+   struct nouveau_pushbuf *push;
 
-   void *idxbuf;
+   const void *idxbuf;
 
    float edgeflag;
    int edgeflag_attr;
@@ -74,20 +74,20 @@ emit_vertices_i08(struct push_context *ctx, unsigned start, unsigned count)
 
       size = ctx->vertex_words * nr;
 
-      BEGIN_RING_NI(ctx->chan, RING_3D(VERTEX_DATA), size);
+      BEGIN_NI04(ctx->push, NV50_3D(VERTEX_DATA), size);
 
       ctx->translate->run_elts8(ctx->translate, elts, nr, ctx->instance_id,
-                                ctx->chan->cur);
+                                ctx->push->cur);
 
-      ctx->chan->cur += size;
+      ctx->push->cur += size;
       count -= nr;
       elts += nr;
 
       if (nr != push) {
          count--;
          elts++;
-         BEGIN_RING(ctx->chan, RING_3D(VB_ELEMENT_U32), 1);
-         OUT_RING  (ctx->chan, ctx->restart_index);
+         BEGIN_NV04(ctx->push, NV50_3D(VB_ELEMENT_U32), 1);
+         PUSH_DATA (ctx->push, ctx->restart_index);
       }
    }
 }
@@ -107,20 +107,20 @@ emit_vertices_i16(struct push_context *ctx, unsigned start, unsigned count)
 
       size = ctx->vertex_words * nr;
 
-      BEGIN_RING_NI(ctx->chan, RING_3D(VERTEX_DATA), size);
+      BEGIN_NI04(ctx->push, NV50_3D(VERTEX_DATA), size);
 
       ctx->translate->run_elts16(ctx->translate, elts, nr, ctx->instance_id,
-                                 ctx->chan->cur);
+                                 ctx->push->cur);
 
-      ctx->chan->cur += size;
+      ctx->push->cur += size;
       count -= nr;
       elts += nr;
 
       if (nr != push) {
          count--;
          elts++;
-         BEGIN_RING(ctx->chan, RING_3D(VB_ELEMENT_U32), 1);
-         OUT_RING  (ctx->chan, ctx->restart_index);
+         BEGIN_NV04(ctx->push, NV50_3D(VB_ELEMENT_U32), 1);
+         PUSH_DATA (ctx->push, ctx->restart_index);
       }
    }
 }
@@ -140,20 +140,20 @@ emit_vertices_i32(struct push_context *ctx, unsigned start, unsigned count)
 
       size = ctx->vertex_words * nr;
 
-      BEGIN_RING_NI(ctx->chan, RING_3D(VERTEX_DATA), size);
+      BEGIN_NI04(ctx->push, NV50_3D(VERTEX_DATA), size);
 
       ctx->translate->run_elts(ctx->translate, elts, nr, ctx->instance_id,
-                               ctx->chan->cur);
+                               ctx->push->cur);
 
-      ctx->chan->cur += size;
+      ctx->push->cur += size;
       count -= nr;
       elts += nr;
 
       if (nr != push) {
          count--;
          elts++;
-         BEGIN_RING(ctx->chan, RING_3D(VB_ELEMENT_U32), 1);
-         OUT_RING  (ctx->chan, ctx->restart_index);
+         BEGIN_NV04(ctx->push, NV50_3D(VB_ELEMENT_U32), 1);
+         PUSH_DATA (ctx->push, ctx->restart_index);
       }
    }
 }
@@ -165,11 +165,11 @@ emit_vertices_seq(struct push_context *ctx, unsigned start, unsigned count)
       unsigned push = MIN2(count, ctx->packet_vertex_limit);
       unsigned size = ctx->vertex_words * push;
 
-      BEGIN_RING_NI(ctx->chan, RING_3D(VERTEX_DATA), size);
+      BEGIN_NI04(ctx->push, NV50_3D(VERTEX_DATA), size);
 
       ctx->translate->run(ctx->translate, start, push, ctx->instance_id,
-                          ctx->chan->cur);
-      ctx->chan->cur += size;
+                          ctx->push->cur);
+      ctx->push->cur += size;
       count -= push;
       start += push;
    }
@@ -210,38 +210,56 @@ nv50_push_vbo(struct nv50_context *nv50, const struct pipe_draw_info *info)
 {
    struct push_context ctx;
    unsigned i, index_size;
-   unsigned inst = info->instance_count;
+   unsigned inst_count = info->instance_count;
+   unsigned vert_count = info->count;
    boolean apply_bias = info->indexed && info->index_bias;
 
-   ctx.chan = nv50->screen->base.channel;
+   ctx.push = nv50->base.pushbuf;
    ctx.translate = nv50->vertex->translate;
    ctx.packet_vertex_limit = nv50->vertex->packet_vertex_limit;
    ctx.vertex_words = nv50->vertex->vertex_size;
 
    for (i = 0; i < nv50->num_vtxbufs; ++i) {
-      uint8_t *data;
-      struct pipe_vertex_buffer *vb = &nv50->vtxbuf[i];
-      struct nv04_resource *res = nv04_resource(vb->buffer);
+      const struct pipe_vertex_buffer *vb = &nv50->vtxbuf[i];
+      const uint8_t *data;
 
-      data = nouveau_resource_map_offset(&nv50->base, res,
-                                         vb->buffer_offset, NOUVEAU_BO_RD);
+      if (unlikely(vb->buffer))
+         data = nouveau_resource_map_offset(&nv50->base,
+            nv04_resource(vb->buffer), vb->buffer_offset, NOUVEAU_BO_RD);
+      else
+         data = vb->user_buffer;
 
       if (apply_bias && likely(!(nv50->vertex->instance_bufs & (1 << i))))
-         data += info->index_bias * vb->stride;
+         data += (ptrdiff_t)info->index_bias * vb->stride;
 
       ctx.translate->set_buffer(ctx.translate, i, data, vb->stride, ~0);
    }
 
    if (info->indexed) {
-      ctx.idxbuf = nouveau_resource_map_offset(&nv50->base,
-                                               nv04_resource(nv50->idxbuf.buffer),
-                                               nv50->idxbuf.offset, NOUVEAU_BO_RD);
+      if (nv50->idxbuf.buffer) {
+         ctx.idxbuf = nouveau_resource_map_offset(&nv50->base,
+            nv04_resource(nv50->idxbuf.buffer), nv50->idxbuf.offset,
+            NOUVEAU_BO_RD);
+      } else {
+         ctx.idxbuf = nv50->idxbuf.user_buffer;
+      }
       if (!ctx.idxbuf)
          return;
       index_size = nv50->idxbuf.index_size;
       ctx.primitive_restart = info->primitive_restart;
       ctx.restart_index = info->restart_index;
    } else {
+      if (unlikely(info->count_from_stream_output)) {
+         struct pipe_context *pipe = &nv50->base.pipe;
+         struct nv50_so_target *targ;
+         targ = nv50_so_target(info->count_from_stream_output);
+         if (!targ->pq) {
+            NOUVEAU_ERR("draw_stream_output not supported on pre-NVA0 cards\n");
+            return;
+         }
+         pipe->get_query_result(pipe, targ->pq, TRUE, (void *)&vert_count);
+         vert_count /= targ->stride;
+      }
       ctx.idxbuf = NULL;
       index_size = 0;
       ctx.primitive_restart = FALSE;
@@ -252,46 +270,40 @@ nv50_push_vbo(struct nv50_context *nv50, const struct pipe_draw_info *info)
    ctx.prim = nv50_prim_gl(info->mode);
 
    if (info->primitive_restart) {
-      BEGIN_RING(ctx.chan, RING_3D(PRIM_RESTART_ENABLE), 2);
-      OUT_RING  (ctx.chan, 1);
-      OUT_RING  (ctx.chan, info->restart_index);
+      BEGIN_NV04(ctx.push, NV50_3D(PRIM_RESTART_ENABLE), 2);
+      PUSH_DATA (ctx.push, 1);
+      PUSH_DATA (ctx.push, info->restart_index);
    } else
    if (nv50->state.prim_restart) {
-      BEGIN_RING(ctx.chan, RING_3D(PRIM_RESTART_ENABLE), 1);
-      OUT_RING  (ctx.chan, 0);
+      BEGIN_NV04(ctx.push, NV50_3D(PRIM_RESTART_ENABLE), 1);
+      PUSH_DATA (ctx.push, 0);
    }
    nv50->state.prim_restart = info->primitive_restart;
 
-   while (inst--) {
-      BEGIN_RING(ctx.chan, RING_3D(VERTEX_BEGIN_GL), 1);
-      OUT_RING  (ctx.chan, ctx.prim);
+   while (inst_count--) {
+      BEGIN_NV04(ctx.push, NV50_3D(VERTEX_BEGIN_GL), 1);
+      PUSH_DATA (ctx.push, ctx.prim);
       switch (index_size) {
       case 0:
-         emit_vertices_seq(&ctx, info->start, info->count);
+         emit_vertices_seq(&ctx, info->start, vert_count);
          break;
       case 1:
-         emit_vertices_i08(&ctx, info->start, info->count);
+         emit_vertices_i08(&ctx, info->start, vert_count);
          break;
       case 2:
-         emit_vertices_i16(&ctx, info->start, info->count);
+         emit_vertices_i16(&ctx, info->start, vert_count);
          break;
       case 4:
-         emit_vertices_i32(&ctx, info->start, info->count);
+         emit_vertices_i32(&ctx, info->start, vert_count);
          break;
       default:
          assert(0);
          break;
       }
-      BEGIN_RING(ctx.chan, RING_3D(VERTEX_END_GL), 1);
-      OUT_RING  (ctx.chan, 0);
+      BEGIN_NV04(ctx.push, NV50_3D(VERTEX_END_GL), 1);
+      PUSH_DATA (ctx.push, 0);
 
       ctx.instance_id++;
       ctx.prim |= NV50_3D_VERTEX_BEGIN_GL_INSTANCE_NEXT;
    }
-
-   if (info->indexed)
-      nouveau_resource_unmap(nv04_resource(nv50->idxbuf.buffer));
-
-   for (i = 0; i < nv50->num_vtxbufs; ++i)
-      nouveau_resource_unmap(nv04_resource(nv50->vtxbuf[i].buffer));
 }