[gdb] Fix gdb crash when reading core file
authorTom de Vries <tdevries@suse.de>
Thu, 1 Nov 2018 08:21:18 +0000 (09:21 +0100)
committerTom de Vries <tdevries@suse.de>
Tue, 6 Nov 2018 22:15:41 +0000 (23:15 +0100)
Consider the test-case from this patch, compiled with O0.

The executable segfaults, and generates a core dump:
...
$ ./a.out
Segmentation fault (core dumped)
...

When loading the core file, limiting stack size to 4MB, gdb crashes:
...
$ ulimit -s 4096
$ gdb -batch ./a.out core.saved
[New LWP 19379]
Segmentation fault (core dumped)
...

The crash originates here in linux_vsyscall_range_raw, where we call alloca
with phdrs_size == 4194112 (roughly 4MB):
...
      phdrs = (Elf_Internal_Phdr *) alloca (phdrs_size);
...

While for this test-case gdb runs fine with the system default stack limit of
8MB, there are cases reported of 12MB phdrs_size where gdb also crashes with
the system default stack limit.

Fix this by using xmalloc instead of alloca, which prevents the crash provided
the stack limit is at least 112kb.

Build and reg-tested on x86_64-linux.

2018-11-06  Tom de Vries  <tdevries@suse.de>

* linux-tdep.c (linux_vsyscall_range_raw): Use xmalloc to allocate
program headers.

* gdb.base/many-headers.c: New test.
* gdb.base/many-headers.exp: New file.

gdb/ChangeLog
gdb/linux-tdep.c
gdb/testsuite/ChangeLog
gdb/testsuite/gdb.base/many-headers.c [new file with mode: 0644]
gdb/testsuite/gdb.base/many-headers.exp [new file with mode: 0644]

index af6c497763e09f016a4b7d38c186af5123a294aa..92a69c3ad34f01fda790f5dcd952fa60c9831413 100644 (file)
@@ -1,3 +1,8 @@
+2018-11-06  Tom de Vries  <tdevries@suse.de>
+
+       * linux-tdep.c (linux_vsyscall_range_raw): Use xmalloc to allocate
+       program headers.
+
 2018-11-06  Max Filippov  <jcmvbkbc@gmail.com>
 
        * configure.tgt (xtensa*-*-linux*): Change to xtensa*-*-*linux*
index c958c0dfe9dbcd2bd10d6e4bcc4ee6def96fd36e..2c766808f0862e6a795678f93e8dd06bcd7c1abd 100644 (file)
@@ -2269,7 +2269,6 @@ linux_vsyscall_range_raw (struct gdbarch *gdbarch, struct mem_range *range)
      the vDSO.  */
   if (!target_has_execution)
     {
-      Elf_Internal_Phdr *phdrs;
       long phdrs_size;
       int num_phdrs, i;
 
@@ -2277,16 +2276,17 @@ linux_vsyscall_range_raw (struct gdbarch *gdbarch, struct mem_range *range)
       if (phdrs_size == -1)
        return 0;
 
-      phdrs = (Elf_Internal_Phdr *) alloca (phdrs_size);
-      num_phdrs = bfd_get_elf_phdrs (core_bfd, phdrs);
+      gdb::unique_xmalloc_ptr<Elf_Internal_Phdr>
+       phdrs ((Elf_Internal_Phdr *) xmalloc (phdrs_size));
+      num_phdrs = bfd_get_elf_phdrs (core_bfd, phdrs.get ());
       if (num_phdrs == -1)
        return 0;
 
       for (i = 0; i < num_phdrs; i++)
-       if (phdrs[i].p_type == PT_LOAD
-           && phdrs[i].p_vaddr == range->start)
+       if (phdrs.get ()[i].p_type == PT_LOAD
+           && phdrs.get ()[i].p_vaddr == range->start)
          {
-           range->length = phdrs[i].p_memsz;
+           range->length = phdrs.get ()[i].p_memsz;
            return 1;
          }
 
index 24e4c9236dfc2ed39318887ee96f69bcb0ccab7d..b52819069d8574c27a84741f239cd76f03fed3a1 100644 (file)
@@ -1,3 +1,8 @@
+2018-11-06  Tom de Vries  <tdevries@suse.de>
+
+       * gdb.base/many-headers.c: New test.
+       * gdb.base/many-headers.exp: New file.
+
 2018-11-06  Jim Wilson  <jimw@sifive.com>
 
        * gdb.base/code_elim.exp: For riscv, set additional_flags
diff --git a/gdb/testsuite/gdb.base/many-headers.c b/gdb/testsuite/gdb.base/many-headers.c
new file mode 100644 (file)
index 0000000..49675b4
--- /dev/null
@@ -0,0 +1,50 @@
+/* This testcase is part of GDB, the GNU debugger.
+
+   Copyright 2018 Free Software Foundation, Inc.
+
+   This program is free software; you can redistribute it and/or modify
+   it under the terms of the GNU General Public License as published by
+   the Free Software Foundation; either version 3 of the License, or
+   (at your option) any later version.
+
+   This program is distributed in the hope that it will be useful,
+   but WITHOUT ANY WARRANTY; without even the implied warranty of
+   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+   GNU General Public License for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with this program.  If not, see <http://www.gnu.org/licenses/>.  */
+
+#include <stdio.h>
+#include <malloc.h>
+#include <sys/mman.h>
+
+int
+main (void)
+{
+  char *ptr;
+  int ind, cnt;
+
+  cnt = 100000;
+  for (ind = 0; ind < cnt; ind++)
+    {
+      ptr = mmap (NULL, 100, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0);
+      if (ptr == NULL)
+       {
+         fprintf (stderr, "Error allocating memory using mmap\n");
+         return -1;
+       }
+
+      ptr = mmap (NULL, 100, PROT_NONE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0);
+      if (ptr == NULL)
+       {
+         fprintf (stderr, "Error allocating memory using mmap\n");
+         return -1;
+       }
+    }
+
+  ptr = NULL;
+  *ptr = '\0';
+
+  return 0;
+}
diff --git a/gdb/testsuite/gdb.base/many-headers.exp b/gdb/testsuite/gdb.base/many-headers.exp
new file mode 100644 (file)
index 0000000..f02b291
--- /dev/null
@@ -0,0 +1,67 @@
+# Copyright 2018 Free Software Foundation, Inc.
+
+# This program is free software; you can redistribute it and/or modify
+# it under the terms of the GNU General Public License as published by
+# the Free Software Foundation; either version 3 of the License, or
+# (at your option) any later version.
+#
+# This program is distributed in the hope that it will be useful,
+# but WITHOUT ANY WARRANTY; without even the implied warranty of
+# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+# GNU General Public License for more details.
+#
+# You should have received a copy of the GNU General Public License
+# along with this program.  If not, see <http://www.gnu.org/licenses/>.
+
+# Test if gdb can read a core file with a program header size of 4MB, if the
+# stack size is limited to 4MB.
+
+if { [target_info gdb_protocol] != "" } {
+    # Even though the feature under features being tested are supported by
+    # gdbserver, the way this test is written doesn't make it easy with a
+    # remote target.
+    unsupported "not native"
+    return
+}
+
+standard_testfile
+
+if {[prepare_for_testing "failed to prepare" $testfile $srcfile debug]} {
+    return -1
+}
+
+# Generate core file.
+set corefile [core_find $binfile]
+if {$corefile == ""} {
+    return 0
+}
+
+# Limit is in kb, so this is 4MB.
+set stack_limit 4096
+
+# Verify if we can set the stack limit.
+catch {
+    system [concat \
+               "(" \
+               "ulimit -s $stack_limit;" \
+               ")"]
+} msg
+if { "$msg" != "" } {
+    untested "Can't set stack limit"
+    return -1
+}
+
+# Run gdb with stack limit
+catch {
+    system [concat \
+               "(" \
+               "ulimit -s $stack_limit;" \
+               "$GDB $INTERNAL_GDBFLAGS $GDBFLAGS -batch -core=$corefile" \
+               ")"]
+} msg
+set test "read core file"
+if { "$msg" == "" } {
+    pass "$test"
+} else {
+    fail "$test"
+}