Compressed sections (#152)

* Add constants, enums and structs for compressed section

* ELFStructs: update comments for new section numbers in Oracle docs

* Make the ELFFile's stream/structs available to all Section instances

This harmonizes the signature of Section constructors. Besides, structs
will be required to read compressed sections.

* ELFFile._read_dwarf_section: use Section.data to read the section

An upcoming change will add compressed sections handling. In this
context, the DWARF must be parsed from the decompressed data, so reading
the ELFFile stream will be wrong.

* Add ELF compressed debug sections handling

Adding new OS ABI to ELF header parsing (#153)

* Add OS ABI to ELF header

* Add new OS ABI to description

Cosmetic fixups

Better support for core dumps (in particular, fix issue #93) (#147)

* Better support for core dumps (in particular, fix notes issue)

* Fix readelf.py for python3.

* Edits after code review. Introduce structure for NT_PRPSINFO. Add unittest.

Update reserved machine arch idents (#148)

* Update reserved machine arch idents

* Accidentally repeated a value

Clean up a bit after previous PR

NULL termination with IAR Embedded Workbench compiler (#146)

* Exectued changes for IAR Embedded Workbench output .elf File

* applied review findings

Make elffile and elfstructs on Dynamic public (#141)

Fix running tests on Travis

Remove setup_syspath entirely

It's vestigial remains from the early days of pyelftools which was originally
developed on Windows, running the tests through an editor rather than on the
command line.

Not setting the run path in the code is safer - it's more reliable to control where the code is found outside the code itself now

Remove conditional unittest2 imports from tests

We require 2.7+ now

Also remove setup_syspath calls

Reformat new test and add comment header

Add .stab section parser (#137)

* Add .stab section parser

* Replace tabs with spaces

* Add unit test for stabs parser

 Fix parsing string table (#134)

If for any reason parse_cstring_from_stream() cannot get a string in the given offset, it'll return None causing the following line raises an exception when it tries to get the decoded ascii string from the None object.

Merge pull request #132 from jwilk/spelling

Remove duplicated word

Remove duplicated word

Merge pull request #131 from shuxin/patch-2

Update enums.py

Update enums.py

add an mips tag

Fix more potential Python 3 issues in construct

Use b"" strings for paddings/align and anything else dealing with binary data

Merge pull request #127 from mefistotelis/pullrequest

Fix for padding encoding in Python 3.

Fix for padding encoding in Python 3.

The padding used a string literal instead of byte literal for the
pattern character, which caused invalid type error in Python 3.

This fix marks the pattern as byte literal, which does nothing on
Python >= 2.7 and creates byres array instead of str in Python >= 3.

Merge pull request #126 from chriscz/master

Fix typo relocation_bytesize  --> relocation.bytesize

Fix relocation_bytesize typo

Update CHANGES + cosmetic cleanup

Cosmetic changes

Remove the PT_ARM_UNWIND enum

According to the ARM ABI it's an alias for PT_ARM_EXIDX; having them both in the
same enum value confuses parsing. Keeping EXIDX rather than UNWIND because
binutils seems to be using it.

Related to #121

Issue #119: readelf - don't do hex/string dumps for SHT_NOBITS sections

Add py35 to tox.ini

Merge pull request #118 from tezeb/patch-1

Check for header attribute when comparing

Check for header attribute when comparing

When checking against None it throws exception, while it's quite
easy to prevent(and check against None seems quite obvious).

fromdos setup.py

Getting ready to release 0.24

Add Python 3.5 testing to travis

Update CHANGES with a few more recent changes

Whitespace cleanup

Merge pull request #109 from gbenson/master

Support SHT_NOTE sections

Support SHT_NOTE sections

This commit adds a new NoteSection class with an iter_notes
iterator which operates in much the same way as NoteSegment's
iter_notes.  An example to illustrate usage is added, and its
reference output is added for the test suite.

Merge pull request #108 from dorothychen/aranges

parse .debug_aranges section

parsed .debug_aranges section, simple interface mapping address ranges to CU offsets

fixed bug in finding correct arange entry, given an addr

cosmetic changes per pull request thread #108, and updated relevant tests

minor arange test changes

filled in comments

update test formatting for aranges

update test formatting for aranges

Fix off-by-one bug

For real this time. If the query addr == beginning address, bisect_left won't work.

Merge pull request #107 from DavidSpickett/master

Fix Windows import error by getting page size using 'mmap' module if 'resource' is not available.

Get page size using 'mmap' module if 'resource' is not available.
The resource module is Unix only, use mmap for Windows.

Merge pull request #102 from ttsugriy/master

Support ZLIB compressed debug sections

Support ZLIB compressed debug sections

objcopy --compress-debug-sections uses ZLIB compression to reduce debug
sections, which can sometimes be larger than the size of the binary
itself. This change makes pyelftools consider compressed debug sections
when checking for DWARF data.

readelf tool supports other types of compressed sections
(https://github.com/facebook/binutils/blob/master/binutils/readelf.c#L12038)
but their support is outside of scope of this change.

Test plan:
  $ ./test/run_all_unittests.py

Signed-off-by: Stanislas P1kachu Lejay <p1kachu@lse.epita.fr>

Merge pull request #104 from P1kachu/master

Fix case where struct is None

Fix case where struct is None

Signed-off-by: Stanislas P1kachu Lejay <p1kachu@lse.epita.fr>

Fix descriptions._data_member_location_extra to handle DW_FORM_sdata

Taken from #98 - contributed by @bseifers

Merge pull request #89 from sethml/feature/improved-DWARFv4

Improved DWARFv4 support.

Merge pull request #91 from sethml/feature/DW_TAG_GNU_call_site

Add DW_TAG_GNU_call_site* for better dumping.

Improved DWARFv4 support.

Handle DW_AT_data_member_location attributes with type DW_FORM_data*, which
store a simple integer offset rather than dwarf expression. This seems to come
up with struct members, at least on ARM.

Handle DW_AT_location attributes with type DW_FORM_sec_offset as not having
dwarf expressions, as allowed by the DWARFv4 standard. This seems to come up
with some local variables, at least on ARM.

Test DW_FORM_sec_offset support in location lists and DW_AT_data_member_location formatting support.
Test code, compiled with gcc (Ubuntu 4.8.4-2ubuntu1~14.04) 4.8.4 on x86-64:

struct Foo {
  char bim : 8;
  char bar : 3;
  char baz : 5;
};

int get_bar(struct Foo foo) {
  return foo.bar;
}

int f1(int a, char b) {
  return a+b;
}

Add DW_TAG_GNU_call_site* for better tail-call debug descriptions.

This comes up for functions which have tail-calls optimized.
Describe location list for DW_AT_GNU_call_site_* to match readelf.
Add test elf file to demonstrate that we match readelf for DW_AT_GNU_call_site_*. C source is:
  extern int f2(int a, char b);
  extern char var;
  int f1(void) { return f2(666, var); }

Merge pull request #90 from sethml/feature/readelf-formatting

Minor changes to readelf formatting.

Minor changes to readelf formatting.

This makes the output more similar to GNU readelf.
It's not identical - in particular there are still a lot of whitespace
differences - but at least gets you within striking distance of no changes when
comparing with "diff -w".

Cosmetic changes

Merge pull request #82 from Tustvold/master

Added support for DWARF v4 line program headers.

Added support for DWARF v4 lineprograms

DWARF v4 lineprograms add additional debugging information for VLIW architectures, specifically they add an op_index field identifying the operation within the instruction to which this lineprogram refers.

This field has been added to the LineState object. On non-VLIW architectures and for non DWARF v4 lineprograms this field will always be 0.

Run dwarf/constants.py through fromdos

Better DWARF v4 support for decoding function ranges.

Whitespace cleanup

Merge pull request #79 from michalmalik/patch-2

Added DT_MIPS_* constants to ENUM_D_TAG

Whitespace cleanup

Flip Python 3 version for tox testing to 3.4

Added DT_MIPS_* constants

Defined from here http://lxr.free-electrons.com/source/arch/mips/include/asm/elf.h#L49

Make example tests work again

The example test runner now passes a special --test flag as the first
command-line argument. This affects the behavior of the examples - making them
aim at testing. Only very simple command-line flag "parsing" is used here for
the sake of minimality.

Cosmetic changes

Improve dwarf_decode_address sample a bit

Accept file + address from command line, instead of hard-coding an address.

Merge pull request #78 from michalmalik/patch-1

Added SHT_GNU_LIBLIST constant to ENUM_SH_TYPE

Added SHT_GNU_LIBLIST constant to ENUM_SH_TYPE

fix incorrect pull request number

Update CHANGES to reflect recent changes after the last release.

Cosmetic cleanup

Merge pull request #76 from JaySon-Huang/strings

get_string of StringTableSection return ascii-decoded strings now

get_string of StringTableSection return ascii-decoded strings now

fix bugs

Merge pull request #69 from Smattr/5f62439e-b6a7-456c-b1d1-b8313d9b6abe

ELF: Find all symbols of a given name in `get_symbol_by_name`.

ELF: Find all symbols of a given name in `get_symbol_by_name`.

It is possible for an ELF file's symbol table to contain multiple entries under
the same symbol name. Prior to this commit, it was only possible to retrieve
the first of these via `get_symbol_by_name`. This commit alters this function
to return a list of all symbols under the given name, rather than just the
first entry. Functionality when a symbol name does not exist remains
unaffected.

Merge pull request #58 from Smattr/symbol-by-name

Functionality for retrieving a symbol by name

ELF: Add `get_symbol_by_name` functionality.

This commit implements the equivalent of `get_section_by_name` for symbols for
ELF files.

Changes for release 0.23

Remove outdated TODO instruction

Bump minimal Python 2.x version to 2.7

This lets me banish a local version of OrderedDict, which has issues submitted
against it (e.g. pull request #53).

Python 2.7 has been out for a while now, it's time to move on. I haven't been
testing pyelftools on 2.6 for some time anyway.

Merge pull request #56 from KarlVogel/mips-support

Mips support

Basic MIPS support

Merge pull request #48 from deymo/elf_note

Parse PT_NOTE segment.

Parse PT_NOTE segment and expose it with the new '-n' option to readelf.

The PT_NOTE segment includes a list of notes with a header, name and
description. GNU ld includes in this segment the GNU build-id and GNU
ABI version information.

The '-n' or '--notes' option to readelf displays the notes contained
in the ELF file.

Merge pull request #45 from postmasters/parse-symtab-from-dt_symtab

Support parsing symbol table in dynamic segment.

Support parsing symbol table in dynamic segment.

Unlike SymbolTableSection, this patch reads from DT_SYMTAB, and
DT_STRTAB in PT_DYNAMIC segment. It heuristically determines the end of
DT_SYMTAB by finding the next higher pointer in the same segment. GNU
libc (dl-addr.c) assumes that DT_STRTAB comes after DT_SYMTAB.

Merge pull request #43 from frewsxcv/patch-1

Run tests on Python 3.4

Run tests on Python 3.4

Merge pull request #40 from vapier/master

fix parsing of dynamic ELFs w/out section headers

Merge pull request #42 from vapier/misc

add Blackfin description

add Blackfin description

Some cleanup after the last merges.

Merge pull request #31 from vadmium/message

BaseException.message is deprecated in Python 2.6 and gone in 3

Merge pull request #37 from vadmium/map

Add ELFFile.map() method to get file offset from memory address

Add ELFFile.address_offsets() to get file offsets from a memory address

BaseException.message is deprecated in Python 2.6 and gone in 3

Merge pull request #34 from vadmium/hash

Implement Section.__hash__() to avoid Python 2’s DeprecationWarning

Merge pull request #35 from vadmium/warning

Avoid BytesWarning in debugging messages in Python 3

Merge pull request #36 from vadmium/unused

Drop unused imports

Merge pull request #33 from vadmium/div

Use integer division in Python 3

Merge pull request #32 from vadmium/tuples

Use tuples with str.endswith(), supported since Python 2.5