elf: Set p_align to the minimum page size if possible
authorH.J. Lu <hjl.tools@gmail.com>
Tue, 14 Dec 2021 03:46:04 +0000 (19:46 -0800)
committerH.J. Lu <hjl.tools@gmail.com>
Wed, 5 Jan 2022 13:06:18 +0000 (05:06 -0800)
Currently, on 32-bit and 64-bit ARM, it seems that ld generates p_align
values of 0x10000 even if no section alignment is greater than 0x1000.
The issue is more general and probably affects other targets with multiple
page sizes.

While file layout absolutely must take 64K page size into account, that
does not have to be reflected in the p_align value.  If running on a 64K
kernel, the file will be loaded at a 64K page boundary by necessity. On
a 4K kernel, 64K alignment is not needed.

The glibc loader has been fixed to honor p_align:

https://sourceware.org/bugzilla/show_bug.cgi?id=28676

similar to kernel:

commit ce81bb256a224259ab686742a6284930cbe4f1fa
Author: Chris Kennelly <ckennelly@google.com>
Date:   Thu Oct 15 20:12:32 2020 -0700

    fs/binfmt_elf: use PT_LOAD p_align values for suitable start address

This means that on 4K kernels, we will start to do extra work for 64K
p_align, but this pointless for pretty much all binaries (whose section
alignment rarely exceeds 16).

The minimum page size is used, instead of the maximum section alignment
due to this glibc bug:

https://sourceware.org/bugzilla/show_bug.cgi?id=28688

It has been fixed in glibc 2.35.  But linker output must work on existing
glibc binaries.

1. Set p_align to the minimum page size while laying out segments aligning
to the maximum page size or section alignment.  The run-time loader can
align segments to the minimum page size or above, depending on system page
size.
2. If -z max-page-size=NNN is used, p_align will be set to the maximum
page size or the largest section alignment.
3. If a section requires alignment higher than the minimum page size,
don't set p_align to the minimum page size.
4. If a section requires alignment higher than the maximum page size,
set p_align to the section alignment.
5. For objcopy, when the minimum page size != the maximum page size,
p_align may be set to the minimum page size while segments are aligned
to the maximum page size.  In this case, the input p_align will be
ignored and the maximum page size will be used to align the ouput
segments.
6. Update linker to disallow the common page size > the maximum page size.
7. Update linker to avoid the common page size > the maximum page size.
8. Adjust pru_irq_map-1.d to expect p_align == sh_addralign:

Section Headers:
  [Nr] Name   Type            Addr     Off    Size   ES Flg Lk Inf Al
  [ 0]        NULL            00000000 000000 000000 00      0   0  0
  [ 1] .text  PROGBITS        20000000 00007c 000004 00  AX  0   0  4
...
Program Headers:
  Type           Offset   VirtAddr   PhysAddr   FileSiz MemSiz  Flg Align
  LOAD           0x000074 0x00000000 0x00000000 0x00008 0x00008 RW  0x1
  LOAD           0x00007c 0x20000000 0x20000000 0x00004 0x00004 R E 0x4

vs.

Section Headers:
  [Nr] Name   Type            Addr     Off    Size   ES Flg Lk Inf Al
  [ 0]        NULL            00000000 000000 000000 00      0   0  0
  [ 1] .text  PROGBITS        20000000 00007c 000004 00  AX  0   0  4
...
Program Headers:
  Type           Offset   VirtAddr   PhysAddr   FileSiz MemSiz  Flg Align
  LOAD           0x000074 0x00000000 0x00000000 0x00008 0x00008 RW  0x1
  LOAD           0x00007c 0x20000000 0x20000000 0x00004 0x00004 R E 0x1

To enable this linker optimization, the backend should define ELF_P_ALIGN
to ELF_MINPAGESIZE.

bfd/

PR ld/28689
PR ld/28695
* elf-bfd.h (elf_backend_data): Add p_align.
* elf.c (assign_file_positions_for_load_sections): Set p_align
to the default p_align value while laying out segments aligning
to maximum page size or section alignment.
(elf_is_p_align_valid): New function.
(copy_elf_program_header): Call elf_is_p_align_valid to determine
if p_align is valid.
* elfxx-target.h (ELF_P_ALIGN): New.  Default to 0.
(elfNN_bed): Add ELF_P_ALIGN.
* elfxx-x86.h (ELF_P_ALIGN): New.  Set to ELF_MINPAGESIZE.

include/

PR ld/28689
PR ld/28695
* bfdlink.h (bfd_link_info): Add maxpagesize_is_set.

ld/

PR ld/28689
PR ld/28695
* emultempl/elf.em (gld${EMULATION_NAME}_handle_option): Set
link_info.maxpagesize_is_set for -z max-page-size=NNN.
* ldelf.c (ldelf_after_parse): Disallow link_info.commonpagesize
> link_info.maxpagesize.
* testsuite/ld-elf/elf.exp: Pass -z max-page-size=0x4000 to
linker to build mbind2a and mbind2b.
* testsuite/ld-elf/header.d: Add -z common-page-size=0x100.
* testsuite/ld-elf/linux-x86.exp: Add PR ld/28689 tests.
* testsuite/ld-elf/p_align-1.c: New file.
* testsuite/ld-elf/page-size-1.d: New test.
* testsuite/ld-elf/pr26936.d: Add -z common-page-size=0x1000.
* testsuite/ld-elf/seg.d: Likewise.
* testsuite/ld-scripts/rgn-at5.d: Likewise.
* testsuite/ld-pru/pru_irq_map-1.d: Append 1 to name.  Adjust
expected PT_LOAD segment alignment.
* testsuite/ld-pru/pru_irq_map-2.d: Append 2 to name.
* testsuite/ld-scripts/pr23571.d: Add -z max-page-size=0x1000.

18 files changed:
bfd/elf-bfd.h
bfd/elf.c
bfd/elfxx-target.h
bfd/elfxx-x86.h
include/bfdlink.h
ld/emultempl/elf.em
ld/ldelf.c
ld/testsuite/ld-elf/elf.exp
ld/testsuite/ld-elf/header.d
ld/testsuite/ld-elf/linux-x86.exp
ld/testsuite/ld-elf/p_align-1.c [new file with mode: 0644]
ld/testsuite/ld-elf/page-size-1.d [new file with mode: 0644]
ld/testsuite/ld-elf/pr26936.d
ld/testsuite/ld-elf/seg.d
ld/testsuite/ld-pru/pru_irq_map-1.d
ld/testsuite/ld-pru/pru_irq_map-2.d
ld/testsuite/ld-scripts/pr23571.d
ld/testsuite/ld-scripts/rgn-at5.d

index 19abd59efd768bfe13c0117c1dba49ffd8b5a59a..896aa08fd76455a6fae34cf2a65741d6fe228744 100644 (file)
@@ -945,6 +945,10 @@ struct elf_backend_data
   /* The value of commonpagesize to use when -z relro for this backend.  */
   bfd_vma relropagesize;
 
+  /* The p_align value for this backend.  If it is set, p_align of
+      PT_LOAD alignment will be to p_align by default.  */
+  bfd_vma p_align;
+
   /* The BFD flags applied to sections created for dynamic linking.  */
   flagword dynamic_sec_flags;
 
index 7e8a2ecf77e398cfe10e2ee612ece7853d5364bc..1003bd2cdbedba3a3849a4a421f10cb45574325c 100644 (file)
--- a/bfd/elf.c
+++ b/bfd/elf.c
@@ -5407,6 +5407,8 @@ assign_file_positions_for_load_sections (bfd *abfd,
   Elf_Internal_Phdr *p;
   file_ptr off;  /* Octets.  */
   bfd_size_type maxpagesize;
+  bfd_size_type p_align;
+  bool p_align_p = false;
   unsigned int alloc, actual;
   unsigned int i, j;
   struct elf_segment_map **sorted_seg_map;
@@ -5491,6 +5493,7 @@ assign_file_positions_for_load_sections (bfd *abfd,
     qsort (sorted_seg_map, alloc, sizeof (*sorted_seg_map),
           elf_sort_segments);
 
+  p_align = bed->p_align;
   maxpagesize = 1;
   if ((abfd->flags & D_PAGED) != 0)
     {
@@ -5561,6 +5564,15 @@ assign_file_positions_for_load_sections (bfd *abfd,
             segment.  */
          if (m->p_align_valid)
            maxpagesize = m->p_align;
+         else if (p_align != 0
+                  && (link_info == NULL
+                      || !link_info->maxpagesize_is_set))
+           /* Set p_align to the default p_align value while laying
+              out segments aligning to the maximum page size or the
+              largest section alignment.  The run-time loader can
+              align segments to the default p_align value or the
+              maximum page size, depending on system page size.  */
+           p_align_p = true;
 
          p->p_align = maxpagesize;
        }
@@ -5598,7 +5610,22 @@ assign_file_positions_for_load_sections (bfd *abfd,
                }
              align = (bfd_size_type) 1 << align_power;
              if (align < maxpagesize)
-               align = maxpagesize;
+               {
+                 /* If a section requires alignment higher than the
+                    default p_align value, don't set p_align to the
+                    default p_align value.  */
+                 if (align > p_align)
+                   p_align_p = false;
+                 align = maxpagesize;
+               }
+             else
+               {
+                 /* If a section requires alignment higher than the
+                    maximum page size, set p_align to the section
+                    alignment.  */
+                 p_align_p = true;
+                 p_align = align;
+               }
            }
 
          for (i = 0; i < m->count; i++)
@@ -5977,6 +6004,9 @@ assign_file_positions_for_load_sections (bfd *abfd,
                  print_segment_map (m);
                }
            }
+
+         if (p_align_p)
+           p->p_align = p_align;
        }
     }
 
@@ -7484,6 +7514,40 @@ rewrite_elf_program_header (bfd *ibfd, bfd *obfd, bfd_vma maxpagesize)
   return true;
 }
 
+/* Return true if p_align in the ELF program header in ABFD is valid.  */
+
+static bool
+elf_is_p_align_valid (bfd *abfd)
+{
+  unsigned int i;
+  Elf_Internal_Phdr *segment;
+  unsigned int num_segments;
+  const struct elf_backend_data *bed = get_elf_backend_data (abfd);
+  bfd_size_type maxpagesize = bed->maxpagesize;
+  bfd_size_type p_align = bed->p_align;
+
+  /* Return true if the default p_align value isn't set or the maximum
+     page size is the same as the minimum page size.  */
+  if (p_align == 0 || maxpagesize == bed->minpagesize)
+    return true;
+
+  /* When the default p_align value is set, p_align may be set to the
+     default p_align value while segments are aligned to the maximum
+     page size.  In this case, the input p_align will be ignored and
+     the maximum page size will be used to align the output segments.  */
+  segment = elf_tdata (abfd)->phdr;
+  num_segments = elf_elfheader (abfd)->e_phnum;
+  for (i = 0; i < num_segments; i++, segment++)
+    if (segment->p_type == PT_LOAD
+       && (segment->p_align != p_align
+           || vma_page_aligned_bias (segment->p_vaddr,
+                                     segment->p_offset,
+                                     maxpagesize) != 0))
+      return true;
+
+  return false;
+}
+
 /* Copy ELF program header information.  */
 
 static bool
@@ -7498,6 +7562,7 @@ copy_elf_program_header (bfd *ibfd, bfd *obfd)
   unsigned int num_segments;
   bool phdr_included = false;
   bool p_paddr_valid;
+  bool p_palign_valid;
   unsigned int opb = bfd_octets_per_byte (ibfd, NULL);
 
   iehdr = elf_elfheader (ibfd);
@@ -7518,6 +7583,8 @@ copy_elf_program_header (bfd *ibfd, bfd *obfd)
        break;
       }
 
+  p_palign_valid = elf_is_p_align_valid (ibfd);
+
   for (i = 0, segment = elf_tdata (ibfd)->phdr;
        i < num_segments;
        i++, segment++)
@@ -7560,7 +7627,7 @@ copy_elf_program_header (bfd *ibfd, bfd *obfd)
       map->p_paddr = segment->p_paddr;
       map->p_paddr_valid = p_paddr_valid;
       map->p_align = segment->p_align;
-      map->p_align_valid = 1;
+      map->p_align_valid = p_palign_valid;
       map->p_vaddr_offset = 0;
 
       if (map->p_type == PT_GNU_RELRO
index b9af57804de5374f0ec508683fcb0447074ac5c2..360b056ff58f5ddfeb6c789e095d9740b88fa015 100644 (file)
 # error ELF_MINPAGESIZE > ELF_RELROPAGESIZE
 #endif
 
+#ifndef ELF_P_ALIGN
+#define ELF_P_ALIGN 0
+#endif
+
 #ifndef ELF_DYNAMIC_SEC_FLAGS
 /* Note that we set the SEC_IN_MEMORY flag for these sections.  */
 #define ELF_DYNAMIC_SEC_FLAGS                  \
@@ -813,6 +817,7 @@ static const struct elf_backend_data elfNN_bed =
   ELF_MINPAGESIZE,             /* minpagesize */
   ELF_COMMONPAGESIZE,          /* commonpagesize */
   ELF_RELROPAGESIZE,           /* commonpagesize to use with -z relro */
+  ELF_P_ALIGN,                 /* p_align */
   ELF_DYNAMIC_SEC_FLAGS,       /* dynamic_sec_flags */
   elf_backend_arch_data,
   elf_info_to_howto,
index eedb162827a29a86953bc382b06285fe0ef06532..25791af27d7acd60791ad81119dc541cd42e053b 100644 (file)
@@ -755,6 +755,8 @@ extern void _bfd_x86_elf_link_report_relative_reloc
 #define elf_backend_fixup_gnu_properties \
   _bfd_x86_elf_link_fixup_gnu_properties
 
+#define ELF_P_ALIGN ELF_MINPAGESIZE
+
 /* Return true if H is a __start_SECNAME/__stop_SECNAME symbol for the
    SECNAME section which has been garbage collected by --gc-sections
    -z start-stop-gc.  */
index 6a61d7e658c93084da673716d35c9292d23c7b44..01f57c22edfceaabc83d232d259b7394d5869e67 100644 (file)
@@ -525,6 +525,9 @@ struct bfd_link_info
   /* TRUE if all symbol names should be unique.  */
   unsigned int unique_symbol : 1;
 
+  /* TRUE if maxpagesize is set on command-line.  */
+  unsigned int maxpagesize_is_set : 1;
+
   /* Char that may appear as the first char of a symbol, but should be
      skipped (like symbol_leading_char) when looking up symbols in
      wrap_hash.  Used by PowerPC Linux for 'dot' symbols.  */
index 9c8e792c7dff0019c9cc33be733835f71cb89b23..59775260b0620ac5bc2d4d45516f5ac683a3f0df 100644 (file)
@@ -721,6 +721,7 @@ fragment <<EOF
              || (link_info.maxpagesize & (link_info.maxpagesize - 1)) != 0)
            einfo (_("%F%P: invalid maximum page size \`%s'\n"),
                   optarg + 14);
+         link_info.maxpagesize_is_set = true;
        }
       else if (startswith (optarg, "common-page-size="))
        {
index 00caa6bef474ac12201a4401a4574e86e1afe226..d15f027e91a663149d1ba46546cc4b85898fd77e 100644 (file)
@@ -72,6 +72,9 @@ ldelf_after_parse (void)
       link_info.dynamic_undefined_weak = 0;
     }
   after_parse_default ();
+  if (link_info.commonpagesize > link_info.maxpagesize)
+    einfo (_("%F%P: common page size (0x%v) > maximum page size (0x%v)\n"),
+          link_info.commonpagesize, link_info.maxpagesize);
 }
 
 /* Handle the generation of DT_NEEDED tags.  */
index 119908cda4e2d03c320f9715b46d93c98f089008..16128c2989f8b5e364474886a1164beaee4ba5ef 100644 (file)
@@ -365,7 +365,7 @@ if { [istarget *-*-linux*]
     run_ld_link_exec_tests [list \
        [list \
            "Run mbind2a" \
-           "$NOPIE_LDFLAGS -Wl,-z,common-page-size=0x4000" \
+           "$NOPIE_LDFLAGS -Wl,-z,common-page-size=0x4000,-z,max-page-size=0x4000" \
            "" \
            { mbind2a.s mbind2b.c } \
            "mbind2a" \
@@ -374,7 +374,7 @@ if { [istarget *-*-linux*]
        ] \
        [list \
            "Run mbind2b" \
-           "-static -Wl,-z,common-page-size=0x4000" \
+           "-static -Wl,-z,common-page-size=0x4000,-z,max-page-size=0x4000" \
            "" \
            { mbind2a.s mbind2b.c } \
            "mbind2b" \
index c4d174a98da7462860afd8ccc31015d7927b3556..67f0c981920f4392cea5118a490784ec3edee92a 100644 (file)
@@ -1,5 +1,5 @@
 # target: *-*-linux* *-*-gnu* *-*-vxworks arm*-*-uclinuxfdpiceabi
-# ld: -T header.t -z max-page-size=0x100
+# ld: -T header.t -z max-page-size=0x100 -z common-page-size=0x100
 # objdump: -hpw
 
 #...
index f48c19608ababb1aaff1c412ab688906afc605a0..2e0cbd37f1764ebc0e7d2ae308150b1d051972f3 100644 (file)
@@ -185,6 +185,42 @@ run_ld_link_exec_tests [list \
        "" \
        "tmpdir/indirect-extern-access-2.so" \
     ] \
+    [list \
+       "Run p_align-1a without PIE" \
+       "$NOPIE_LDFLAGS" \
+       "" \
+       { p_align-1.c } \
+       "p_align-1a" \
+       "pass.out" \
+       "$NOPIE_CFLAGS" \
+    ] \
+    [list \
+       "Run p_align-1b with PIE" \
+       "-pie" \
+       "" \
+       { p_align-1.c } \
+       "p_align-1b" \
+       "pass.out" \
+       "-fpie" \
+    ] \
+    [list \
+       "Run p_align-1c with -Wl,-z,max-page-size=0x1000 without PIE" \
+       "$NOPIE_LDFLAGS -Wl,-z,max-page-size=0x1000" \
+       "" \
+       { p_align-1.c } \
+       "p_align-1c" \
+       "pass.out" \
+       "$NOPIE_CFLAGS" \
+    ] \
+    [list \
+       "Run p_align-1d with -Wl,-z,max-page-size=0x1000 with PIE" \
+       "-pie -Wl,-z,max-page-size=0x1000" \
+       "" \
+       { p_align-1.c } \
+       "p_align-1d" \
+       "pass.out" \
+       "-fpie" \
+    ] \
 ]
 
 proc elfedit_test { options test output } {
diff --git a/ld/testsuite/ld-elf/p_align-1.c b/ld/testsuite/ld-elf/p_align-1.c
new file mode 100644 (file)
index 0000000..6579cd7
--- /dev/null
@@ -0,0 +1,25 @@
+#include <stdio.h>
+#include <stdint.h>
+#include <stdlib.h>
+
+#ifndef ALIGN
+# define ALIGN 0x800000
+#endif
+
+int
+__attribute__ ((weak))
+is_aligned (void *p, int align)
+{
+  return (((uintptr_t) p) & (align - 1)) == 0;
+}
+
+int foo __attribute__ ((aligned (ALIGN))) = 1;
+
+int
+main (void)
+{
+  if (!is_aligned (&foo, ALIGN))
+    abort ();
+  printf ("PASS\n");
+  return 0;
+}
diff --git a/ld/testsuite/ld-elf/page-size-1.d b/ld/testsuite/ld-elf/page-size-1.d
new file mode 100644 (file)
index 0000000..04d2153
--- /dev/null
@@ -0,0 +1,4 @@
+#source: dummy.s
+#ld: -z common-page-size=0x4000 -z max-page-size=0x1000
+#error: common page size \(0x4000\) > maximum page size \(0x1000\)
+#target: *-*-linux-gnu *-*-gnu* arm*-*-uclinuxfdpiceabi
index 0a2831ddba8f2dcfa3dcc0260ee471652f7ffb91..c479f475829b7d3cc21298dee9ddb056c160e720 100644 (file)
@@ -2,7 +2,7 @@
 #source: pr26936b.s
 #source: pr26936c.s
 #as: --gen-debug
-#ld: -z noseparate-code -Ttext-segment 0x10000 -z max-page-size=0x1000
+#ld: -z noseparate-code -Ttext-segment 0x10000 -z max-page-size=0x1000 -z common-page-size=0x1000
 #readelf: -wL -W
 #target: [check_shared_lib_support]
 # Assembly source file for the HPPA assembler is renamed and modifed by
index 3ff7aba31668197931b87d90675aa5ef0825c6a4..9dce11e59e32ae37c3c8acdb920f23341f2a2665 100644 (file)
@@ -1,6 +1,6 @@
 #target: *-*-linux* *-*-gnu* *-*-vxworks arm*-*-uclinuxfdpiceabi
 #source: seg.s
-#ld: -T seg.t -z max-page-size=0x1000
+#ld: -T seg.t -z max-page-size=0x1000 -z common-page-size=0x1000
 #readelf: -l --wide
 
 #...
index bbdf5b6ce4e68f888b63de7abd0c0c1351686b20..2538f4c4edb787cf2134645f4eb44c0d1b677dd1 100644 (file)
@@ -1,4 +1,4 @@
-#name: pru_irq_map special section for host
+#name: pru_irq_map special section for host 1
 #source: pru_irq_map.s
 #ld: --defsym=__HEAP_SIZE=0 --defsym=__STACK_SIZE=0
 #readelf: -l --wide
@@ -9,7 +9,7 @@
 Program Headers:
  +Type +Offset +VirtAddr +PhysAddr +FileSiz +MemSiz +Flg +Align
  +LOAD +0x[0-9a-f]+ 0x0+ 0x0+ 0x0+8 0x0+8 RW  0x1
- +LOAD +0x[0-9a-f]+ 0x20+ 0x20+ 0x0+4 0x0+4 R E 0x1
+ +LOAD +0x[0-9a-f]+ 0x20+ 0x20+ 0x0+4 0x0+4 R E 0x4
 
  Section to Segment mapping:
  +Segment Sections...
index 31665955de78792bce067fc0ef405bd3852aa928..d6c583f1d9c7e303b58d10fceb145b2ea47ce7ea 100644 (file)
@@ -1,4 +1,4 @@
-#name: pru_irq_map special section for host
+#name: pru_irq_map special section for host 2
 #source: pru_irq_map.s
 #ld: --defsym=__HEAP_SIZE=0 --defsym=__STACK_SIZE=0
 #readelf: -S --wide
index adf479660bb47267f9d4987bf9f98dfa19a674c2..45b40592d3b721de10e774b29cf56e552195367d 100644 (file)
@@ -1,5 +1,5 @@
 #source: align2a.s
-#ld: -T pr23571.t -z common-page-size=0x1000
+#ld: -T pr23571.t -z common-page-size=0x1000 -z max-page-size=0x1000
 #objdump: -h -w
 
 .*: +file format .*
index 767285ca6ab15e816a067c26f381c0a94fc56e4b..e9ab08123dfa33263bce2235cc52d4798621523a 100644 (file)
@@ -1,6 +1,6 @@
 # name: rgn-at5
 # source: rgn-at5.s
-# ld: -T rgn-at5.t -z max-page-size=0x1000
+# ld: -T rgn-at5.t -z max-page-size=0x1000 -z common-page-size=0x1000
 # objdump: -w -h
 # target: *-*-linux* *-*-gnu* arm*-*-uclinuxfdpiceabi
 # xfail: rx-*-*