i965: Track last location of bo used for the batch
[mesa.git] / src / mesa / drivers / dri / i965 / brw_bufmgr.h
index c05b67dda7fe3e0b875c1faf514c24c0e31cda7e..d09bc74c9c258bc0ed688bf77842000f4ee095c1 100644 (file)
@@ -37,6 +37,7 @@
 #include <stdbool.h>
 #include <stdint.h>
 #include <stdio.h>
+#include "util/u_atomic.h"
 #include "util/list.h"
 
 #if defined(__cplusplus)
@@ -44,113 +45,136 @@ extern "C" {
 #endif
 
 struct gen_device_info;
+struct brw_context;
 
 struct brw_bo {
-       /**
-        * Size in bytes of the buffer object.
-        *
-        * The size may be larger than the size originally requested for the
-        * allocation, such as being aligned to page size.
-        */
-       unsigned long size;
-
-       /**
-        * Alignment requirement for object
-        *
-        * Used for GTT mapping & pinning the object.
-        */
-       unsigned long align;
-
-       /**
-        * Virtual address for accessing the buffer data.  Only valid while
-        * mapped.
-        */
-#ifdef __cplusplus
-       void *virt;
-#else
-       void *virtual;
+   /**
+    * Size in bytes of the buffer object.
+    *
+    * The size may be larger than the size originally requested for the
+    * allocation, such as being aligned to page size.
+    */
+   uint64_t size;
+
+   /**
+    * Alignment requirement for object
+    *
+    * Used for GTT mapping & pinning the object.
+    */
+   uint64_t align;
+
+   /** Buffer manager context associated with this buffer object */
+   struct brw_bufmgr *bufmgr;
+
+   /** The GEM handle for this buffer object. */
+   uint32_t gem_handle;
+
+   /**
+    * Last seen card virtual address (offset from the beginning of the
+    * aperture) for the object.  This should be used to fill relocation
+    * entries when calling brw_bo_emit_reloc()
+    */
+   uint64_t offset64;
+
+   /**
+    * The validation list index for this buffer, or -1 when not in a batch.
+    * Note that a single buffer may be in multiple batches (contexts), and
+    * this is a global field, which refers to the last batch using the BO.
+    * It should not be considered authoritative, but can be used to avoid a
+    * linear walk of the validation list in the common case by guessing that
+    * exec_bos[bo->index] == bo and confirming whether that's the case.
+    */
+   unsigned index;
+
+   /**
+    * Boolean of whether the GPU is definitely not accessing the buffer.
+    *
+    * This is only valid when reusable, since non-reusable
+    * buffers are those that have been shared with other
+    * processes, so we don't know their state.
+    */
+   bool idle;
+
+   int refcount;
+   const char *name;
+
+#ifndef EXEC_OBJECT_CAPTURE
+#define EXEC_OBJECT_CAPTURE            (1<<7)
 #endif
-
-       /** Buffer manager context associated with this buffer object */
-       struct brw_bufmgr *bufmgr;
-
-       /** The GEM handle for this buffer object. */
-       uint32_t gem_handle;
-
-       /**
-        * Last seen card virtual address (offset from the beginning of the
-        * aperture) for the object.  This should be used to fill relocation
-        * entries when calling brw_bo_emit_reloc()
-        */
-       uint64_t offset64;
-
-       /**
-        * Boolean of whether the GPU is definitely not accessing the buffer.
-        *
-        * This is only valid when reusable, since non-reusable
-        * buffers are those that have been shared with other
-        * processes, so we don't know their state.
-        */
-       bool idle;
-
-       int refcount;
-       const char *name;
-
-       /**
-        * Kenel-assigned global name for this object
-         *
-         * List contains both flink named and prime fd'd objects
-        */
-       unsigned int global_name;
-
-       /**
-        * Current tiling mode
-        */
-       uint32_t tiling_mode;
-       uint32_t swizzle_mode;
-       unsigned long stride;
-
-       time_t free_time;
-
-       /** Mapped address for the buffer, saved across map/unmap cycles */
-       void *mem_virtual;
-       /** GTT virtual address for the buffer, saved across map/unmap cycles */
-       void *gtt_virtual;
-       /** WC CPU address for the buffer, saved across map/unmap cycles */
-       void *wc_virtual;
-       int map_count;
-       struct list_head vma_list;
-
-       /** BO cache list */
-       struct list_head head;
-
-       /**
-        * Boolean of whether this buffer can be re-used
-        */
-       bool reusable;
+   uint64_t kflags;
+
+   /**
+    * Kenel-assigned global name for this object
+    *
+    * List contains both flink named and prime fd'd objects
+    */
+   unsigned int global_name;
+
+   /**
+    * Current tiling mode
+    */
+   uint32_t tiling_mode;
+   uint32_t swizzle_mode;
+   uint32_t stride;
+
+   time_t free_time;
+
+   /** Mapped address for the buffer, saved across map/unmap cycles */
+   void *map_cpu;
+   /** GTT virtual address for the buffer, saved across map/unmap cycles */
+   void *map_gtt;
+   /** WC CPU address for the buffer, saved across map/unmap cycles */
+   void *map_wc;
+
+   /** BO cache list */
+   struct list_head head;
+
+   /**
+    * Boolean of whether this buffer can be re-used
+    */
+   bool reusable;
+
+   /**
+    * Boolean of whether this buffer has been shared with an external client.
+    */
+   bool external;
+
+   /**
+    * Boolean of whether this buffer is cache coherent
+    */
+   bool cache_coherent;
 };
 
 #define BO_ALLOC_FOR_RENDER (1<<0)
+#define BO_ALLOC_ZEROED     (1<<1)
 
 /**
  * Allocate a buffer object.
  *
  * Buffer objects are not necessarily initially mapped into CPU virtual
  * address space or graphics device aperture.  They must be mapped
- * using bo_map() or brw_bo_map_gtt() to be used by the CPU.
+ * using brw_bo_map() to be used by the CPU.
  */
 struct brw_bo *brw_bo_alloc(struct brw_bufmgr *bufmgr, const char *name,
-                                unsigned long size, unsigned int alignment);
+                            uint64_t size, uint64_t alignment);
+
 /**
- * Allocate a buffer object, hinting that it will be used as a
- * render target.
+ * Allocate a tiled buffer object.
  *
- * This is otherwise the same as bo_alloc.
+ * Alignment for tiled objects is set automatically; the 'flags'
+ * argument provides a hint about how the object will be used initially.
+ *
+ * Valid tiling formats are:
+ *  I915_TILING_NONE
+ *  I915_TILING_X
+ *  I915_TILING_Y
  */
-struct brw_bo *brw_bo_alloc_for_render(struct brw_bufmgr *bufmgr,
-                                           const char *name,
-                                           unsigned long size,
-                                           unsigned int alignment);
+struct brw_bo *brw_bo_alloc_tiled(struct brw_bufmgr *bufmgr,
+                                  const char *name,
+                                  uint64_t size,
+                                  uint32_t tiling_mode,
+                                  uint32_t pitch,
+                                  unsigned flags);
 
 /**
  * Allocate a tiled buffer object.
@@ -167,15 +191,19 @@ struct brw_bo *brw_bo_alloc_for_render(struct brw_bufmgr *bufmgr,
  * 'tiling_mode' field on return, as well as the pitch value, which
  * may have been rounded up to accommodate for tiling restrictions.
  */
-struct brw_bo *brw_bo_alloc_tiled(struct brw_bufmgr *bufmgr,
-                                      const char *name,
-                                      int x, int y, int cpp,
-                                      uint32_t *tiling_mode,
-                                      unsigned long *pitch,
-                                      unsigned long flags);
+struct brw_bo *brw_bo_alloc_tiled_2d(struct brw_bufmgr *bufmgr,
+                                     const char *name,
+                                     int x, int y, int cpp,
+                                     uint32_t tiling_mode,
+                                     uint32_t *pitch,
+                                     unsigned flags);
 
 /** Takes a reference on a buffer object */
-void brw_bo_reference(struct brw_bo *bo);
+static inline void
+brw_bo_reference(struct brw_bo *bo)
+{
+   p_atomic_inc(&bo->refcount);
+}
 
 /**
  * Releases a reference on a buffer object, freeing the data if
@@ -183,27 +211,33 @@ void brw_bo_reference(struct brw_bo *bo);
  */
 void brw_bo_unreference(struct brw_bo *bo);
 
+/* Must match MapBufferRange interface (for convenience) */
+#define MAP_READ        GL_MAP_READ_BIT
+#define MAP_WRITE       GL_MAP_WRITE_BIT
+#define MAP_ASYNC       GL_MAP_UNSYNCHRONIZED_BIT
+#define MAP_PERSISTENT  GL_MAP_PERSISTENT_BIT
+#define MAP_COHERENT    GL_MAP_COHERENT_BIT
+/* internal */
+#define MAP_INTERNAL_MASK       (0xff << 24)
+#define MAP_RAW                 (0x01 << 24)
+
 /**
  * Maps the buffer into userspace.
  *
  * This function will block waiting for any existing execution on the
- * buffer to complete, first.  The resulting mapping is available at
- * buf->virtual.
+ * buffer to complete, first.  The resulting mapping is returned.
  */
-int brw_bo_map(struct brw_bo *bo, int write_enable);
+MUST_CHECK void *brw_bo_map(struct brw_context *brw, struct brw_bo *bo, unsigned flags);
 
 /**
  * Reduces the refcount on the userspace mapping of the buffer
  * object.
  */
-int brw_bo_unmap(struct brw_bo *bo);
+static inline int brw_bo_unmap(struct brw_bo *bo) { return 0; }
 
 /** Write data into an object. */
-int brw_bo_subdata(struct brw_bo *bo, unsigned long offset,
-                        unsigned long size, const void *data);
-/** Read data from an object. */
-int brw_bo_get_subdata(struct brw_bo *bo, unsigned long offset,
-                            unsigned long size, void *data);
+int brw_bo_subdata(struct brw_bo *bo, uint64_t offset,
+                   uint64_t size, const void *data);
 /**
  * Waits for rendering to an object by the GPU to have completed.
  *
@@ -218,14 +252,6 @@ void brw_bo_wait_rendering(struct brw_bo *bo);
  */
 void brw_bufmgr_destroy(struct brw_bufmgr *bufmgr);
 
-/**
- * Ask that the buffer be placed in tiling mode
- *
- * \param buf Buffer to set tiling mode for
- * \param tiling_mode desired, and returned tiling mode
- */
-int brw_bo_set_tiling(struct brw_bo *bo, uint32_t * tiling_mode,
-                           uint32_t stride);
 /**
  * Get the current tiling (and resulting swizzling) mode for the bo.
  *
@@ -233,8 +259,8 @@ int brw_bo_set_tiling(struct brw_bo *bo, uint32_t * tiling_mode,
  * \param tiling_mode returned tiling mode
  * \param swizzle_mode returned swizzling mode
  */
-int brw_bo_get_tiling(struct brw_bo *bo, uint32_t * tiling_mode,
-                           uint32_t * swizzle_mode);
+int brw_bo_get_tiling(struct brw_bo *bo, uint32_t *tiling_mode,
+                      uint32_t *swizzle_mode);
 
 /**
  * Create a visible name for a buffer which can be used by other apps
@@ -242,7 +268,7 @@ int brw_bo_get_tiling(struct brw_bo *bo, uint32_t * tiling_mode,
  * \param buf Buffer to create a name for
  * \param name Returned name
  */
-int brw_bo_flink(struct brw_bo *bo, uint32_t * name);
+int brw_bo_flink(struct brw_bo *bo, uint32_t *name);
 
 /**
  * Returns 1 if mapping the buffer for write could cause the process
@@ -264,22 +290,6 @@ int brw_bo_busy(struct brw_bo *bo);
  */
 int brw_bo_madvise(struct brw_bo *bo, int madv);
 
-/**
- * Disable buffer reuse for buffers which will be shared in some way,
- * as with scanout buffers. When the buffer reference count goes to
- * zero, it will be freed and not placed in the reuse list.
- *
- * \param bo Buffer to disable reuse for
- */
-int brw_bo_disable_reuse(struct brw_bo *bo);
-
-/**
- * Query whether a buffer is reusable.
- *
- * \param bo Buffer to query
- */
-int brw_bo_is_reusable(struct brw_bo *bo);
-
 /* drm_bacon_bufmgr_gem.c */
 struct brw_bufmgr *brw_bufmgr_init(struct gen_device_info *devinfo,
                                    int fd, int batch_size);
@@ -287,16 +297,6 @@ struct brw_bo *brw_bo_gem_create_from_name(struct brw_bufmgr *bufmgr,
                                            const char *name,
                                            unsigned int handle);
 void brw_bufmgr_enable_reuse(struct brw_bufmgr *bufmgr);
-void brw_bufmgr_gem_set_vma_cache_size(struct brw_bufmgr *bufmgr,
-                                            int limit);
-int brw_bo_map_unsynchronized(struct brw_bo *bo);
-int brw_bo_map_gtt(struct brw_bo *bo);
-
-void *brw_bo_map__cpu(struct brw_bo *bo);
-void *brw_bo_map__gtt(struct brw_bo *bo);
-void *brw_bo_map__wc(struct brw_bo *bo);
-
-void brw_bo_start_gtt_access(struct brw_bo *bo, int write_enable);
 
 int brw_bo_wait(struct brw_bo *bo, int64_t timeout_ns);
 
@@ -305,14 +305,14 @@ void brw_destroy_hw_context(struct brw_bufmgr *bufmgr, uint32_t ctx_id);
 
 int brw_bo_gem_export_to_prime(struct brw_bo *bo, int *prime_fd);
 struct brw_bo *brw_bo_gem_create_from_prime(struct brw_bufmgr *bufmgr,
-                                               int prime_fd, int size);
+                                            int prime_fd);
 
-int brw_reg_read(struct brw_bufmgr *bufmgr, uint32_t offset, uint64_t *result);
+int brw_reg_read(struct brw_bufmgr *bufmgr, uint32_t offset,
+                 uint64_t *result);
 
 /** @{ */
 
 #if defined(__cplusplus)
 }
 #endif
-
 #endif /* INTEL_BUFMGR_H */