Add basic parallel execution capabilities to readelf tests

Add timings for steps of execution in running these tests

Switch readelf.py to using argparse instead of optparse

Switch run_readelf_tests to use argparse instead of optparse

Fix DW_CFA_remember_state (#184)

* Fix #103

* Fix description for DW_CFA_def_cfa_expression

* Add test file for issue #103

Choose members of the dynamic tag enum based on the current machine (#183)

* Only use processor/os specific dynamic tags if that processor or os is in use

* Add testcase for machine-specific dynamic tags

* Clarify layout of ENUM_D_TAG

Convert all ascii decoding to utf-8 decoding (#182)

* Convert all ascii-decoding to utf-8 decoding

* Add testcase for unicode symbols

Fix #181 for real

EM_BLAKCFIN --> EM_BLACKFIN

Merge branch 'master' of github.com:eliben/pyelftools

Fix a typo EM_BLAFKIN --> EM_BLACKFIN

Fixes #181

Update README

Do not crash if CIE doesn't define CFA (#177)

Mention recent changes in CHANGES

e_machine-dependent p_type parsing;

This should address #71 and #121, hopefully

Implement e_machine-based section type decoding

Adding a dict-merging utility

Some whitespace fixes

Don't include 'meta-tag' markers in descriptions of ENUM_D_TAG (#176)

Fixes #150

Add a local .vimrc for pyelftools

Fix merge conflicts for ABIFLAGS branch (#168)

Arm exidx (#172)

* Fix merge conflicts for ABIFLAGS branch

* Fix EXIDX output to match binutils readelf -e

Many improvements to MIPS flags handling to make output consistent with GNU binutils readelf + typo (#165)

* Add EF_MIPS_PIC for E_FLAGS for statically linked MIPS-I executable produced by MUSL

pyelftools picked up CPIC but not PIC

binutils readelf says:
  Flags:                             0x1007, noreorder, pic, cpic, o32, mips1

pyelftools said (before this change):
  Flags:                             0x1007, noreorder, cpic, o32, mips1

Reproduce with the binary available at:

https://github.com/mzpqnxow/embedded-toolkit/blob/master/prebuilt_static_bins/gdbserver/gdbserver-6.8-mips-i-rtl819x-lexra

* Fix order of fix, was "cpic, pic" needs to be "pic, cpic", reordered the if statement to address this

* - Improve reporting on MIPS flags, fix many inconsistencies with GNU binutils
- Fix `desrciption` typo that raises fatal exception when encountering an unknown ABI
- Add E_FLAGS_MASKS constants to simplify ABI logic

* Add masks for E_FLAGS to simplify ABI logic

Add TLS and PowerPC to Machine and Program Headers description tables to match binutils output (#163)

Before:
...
  Machine:                           <unknown>
...
Program Headers:
...
  <unknown>      0x0bcd0c 0x100ccd0c 0x100ccd0c 0x00000 0x00008 R   0x4
...

After:
...
  Machine:                           PowerPC
Program Headers:
...
  TLS            0x0bcd0c 0x100ccd0c 0x100ccd0c 0x00000 0x00008 R   0x4
...

Reproduced and then tested change against statically linked PPC binary produced by MUSL:

https://github.com/mzpqnxow/embedded-toolkit/blob/master/prebuilt_static_bins/gdbserver/gdbserver-7.12-ppc-sysv

ARM build attributes section parsing (#160)

DIE.__repr__ typo: s/chidren/children/ (#161)

Clean up some whitespace

Fix - ELFFile#address_offsets should consider PT_LOAD only (#159)

* fix - ELFFile#address_offsets should consider PT_LOAD only

create inital wheel support (#158)

Update the shipped `readelf` (#157)

* elftools.elf.description: re-indent describe_note according to PEP8

* Update the embedded `readelf`, update readelf.py accordingly

Clean up py3compat a bit and add some tests

Add parsing and readelf dumping for .eh_frame (#155)

* Fix the byte size for R_X86_64_PC32 relocations

* Describe the address for DW_CFA_advance_loc with only 8 columns

* Add .eh_frame section decoding and dump in readelf.py

Minor testsuite improvements (#154)

* run_readelf_tests.py: add an option to continue tests after a failure

Also add a counter to display the number of failed tests over the number
of tests run.

* run_readelf_tests.py: run tests in alphabetical order

This gives deterministic runs, which is handy to run edit/test
development cycles.

Compressed sections (#152)

* Add constants, enums and structs for compressed section

* ELFStructs: update comments for new section numbers in Oracle docs

* Make the ELFFile's stream/structs available to all Section instances

This harmonizes the signature of Section constructors. Besides, structs
will be required to read compressed sections.

* ELFFile._read_dwarf_section: use Section.data to read the section

An upcoming change will add compressed sections handling. In this
context, the DWARF must be parsed from the decompressed data, so reading
the ELFFile stream will be wrong.

* Add ELF compressed debug sections handling

Adding new OS ABI to ELF header parsing (#153)

* Add OS ABI to ELF header

* Add new OS ABI to description

Cosmetic fixups

Better support for core dumps (in particular, fix issue #93) (#147)

* Better support for core dumps (in particular, fix notes issue)

* Fix readelf.py for python3.

* Edits after code review. Introduce structure for NT_PRPSINFO. Add unittest.

Update reserved machine arch idents (#148)

* Update reserved machine arch idents

* Accidentally repeated a value

Clean up a bit after previous PR

NULL termination with IAR Embedded Workbench compiler (#146)

* Exectued changes for IAR Embedded Workbench output .elf File

* applied review findings

Make elffile and elfstructs on Dynamic public (#141)

Fix running tests on Travis

Remove setup_syspath entirely

It's vestigial remains from the early days of pyelftools which was originally
developed on Windows, running the tests through an editor rather than on the
command line.

Not setting the run path in the code is safer - it's more reliable to control where the code is found outside the code itself now

Remove conditional unittest2 imports from tests

We require 2.7+ now

Also remove setup_syspath calls

Reformat new test and add comment header

Add .stab section parser (#137)

* Add .stab section parser

* Replace tabs with spaces

* Add unit test for stabs parser

 Fix parsing string table (#134)

If for any reason parse_cstring_from_stream() cannot get a string in the given offset, it'll return None causing the following line raises an exception when it tries to get the decoded ascii string from the None object.

Merge pull request #132 from jwilk/spelling

Remove duplicated word

Remove duplicated word

Merge pull request #131 from shuxin/patch-2

Update enums.py

Update enums.py

add an mips tag

Fix more potential Python 3 issues in construct

Use b"" strings for paddings/align and anything else dealing with binary data

Merge pull request #127 from mefistotelis/pullrequest

Fix for padding encoding in Python 3.

Fix for padding encoding in Python 3.

The padding used a string literal instead of byte literal for the
pattern character, which caused invalid type error in Python 3.

This fix marks the pattern as byte literal, which does nothing on
Python >= 2.7 and creates byres array instead of str in Python >= 3.

Merge pull request #126 from chriscz/master

Fix typo relocation_bytesize  --> relocation.bytesize

Fix relocation_bytesize typo

Update CHANGES + cosmetic cleanup

Cosmetic changes

Remove the PT_ARM_UNWIND enum

According to the ARM ABI it's an alias for PT_ARM_EXIDX; having them both in the
same enum value confuses parsing. Keeping EXIDX rather than UNWIND because
binutils seems to be using it.

Related to #121

Issue #119: readelf - don't do hex/string dumps for SHT_NOBITS sections

Add py35 to tox.ini

Merge pull request #118 from tezeb/patch-1

Check for header attribute when comparing

Check for header attribute when comparing

When checking against None it throws exception, while it's quite
easy to prevent(and check against None seems quite obvious).

fromdos setup.py

Getting ready to release 0.24

Add Python 3.5 testing to travis

Update CHANGES with a few more recent changes

Whitespace cleanup

Merge pull request #109 from gbenson/master

Support SHT_NOTE sections

Support SHT_NOTE sections

This commit adds a new NoteSection class with an iter_notes
iterator which operates in much the same way as NoteSegment's
iter_notes.  An example to illustrate usage is added, and its
reference output is added for the test suite.

Merge pull request #108 from dorothychen/aranges

parse .debug_aranges section

parsed .debug_aranges section, simple interface mapping address ranges to CU offsets

fixed bug in finding correct arange entry, given an addr

cosmetic changes per pull request thread #108, and updated relevant tests

minor arange test changes

filled in comments

update test formatting for aranges

update test formatting for aranges

Fix off-by-one bug

For real this time. If the query addr == beginning address, bisect_left won't work.

Merge pull request #107 from DavidSpickett/master

Fix Windows import error by getting page size using 'mmap' module if 'resource' is not available.

Get page size using 'mmap' module if 'resource' is not available.
The resource module is Unix only, use mmap for Windows.

Merge pull request #102 from ttsugriy/master

Support ZLIB compressed debug sections

Support ZLIB compressed debug sections

objcopy --compress-debug-sections uses ZLIB compression to reduce debug
sections, which can sometimes be larger than the size of the binary
itself. This change makes pyelftools consider compressed debug sections
when checking for DWARF data.

readelf tool supports other types of compressed sections
(https://github.com/facebook/binutils/blob/master/binutils/readelf.c#L12038)
but their support is outside of scope of this change.

Test plan:
  $ ./test/run_all_unittests.py

Signed-off-by: Stanislas P1kachu Lejay <p1kachu@lse.epita.fr>

Merge pull request #104 from P1kachu/master

Fix case where struct is None

Fix case where struct is None

Signed-off-by: Stanislas P1kachu Lejay <p1kachu@lse.epita.fr>

Fix descriptions._data_member_location_extra to handle DW_FORM_sdata

Taken from #98 - contributed by @bseifers

Merge pull request #89 from sethml/feature/improved-DWARFv4

Improved DWARFv4 support.

Merge pull request #91 from sethml/feature/DW_TAG_GNU_call_site

Add DW_TAG_GNU_call_site* for better dumping.

Improved DWARFv4 support.

Handle DW_AT_data_member_location attributes with type DW_FORM_data*, which
store a simple integer offset rather than dwarf expression. This seems to come
up with struct members, at least on ARM.

Handle DW_AT_location attributes with type DW_FORM_sec_offset as not having
dwarf expressions, as allowed by the DWARFv4 standard. This seems to come up
with some local variables, at least on ARM.

Test DW_FORM_sec_offset support in location lists and DW_AT_data_member_location formatting support.
Test code, compiled with gcc (Ubuntu 4.8.4-2ubuntu1~14.04) 4.8.4 on x86-64:

struct Foo {
  char bim : 8;
  char bar : 3;
  char baz : 5;
};

int get_bar(struct Foo foo) {
  return foo.bar;
}

int f1(int a, char b) {
  return a+b;
}

Add DW_TAG_GNU_call_site* for better tail-call debug descriptions.

This comes up for functions which have tail-calls optimized.
Describe location list for DW_AT_GNU_call_site_* to match readelf.
Add test elf file to demonstrate that we match readelf for DW_AT_GNU_call_site_*. C source is:
  extern int f2(int a, char b);
  extern char var;
  int f1(void) { return f2(666, var); }

Merge pull request #90 from sethml/feature/readelf-formatting

Minor changes to readelf formatting.

Minor changes to readelf formatting.

This makes the output more similar to GNU readelf.
It's not identical - in particular there are still a lot of whitespace
differences - but at least gets you within striking distance of no changes when
comparing with "diff -w".

Cosmetic changes

Merge pull request #82 from Tustvold/master

Added support for DWARF v4 line program headers.

Added support for DWARF v4 lineprograms

DWARF v4 lineprograms add additional debugging information for VLIW architectures, specifically they add an op_index field identifying the operation within the instruction to which this lineprogram refers.

This field has been added to the LineState object. On non-VLIW architectures and for non DWARF v4 lineprograms this field will always be 0.

Run dwarf/constants.py through fromdos

Better DWARF v4 support for decoding function ranges.

Whitespace cleanup

Merge pull request #79 from michalmalik/patch-2

Added DT_MIPS_* constants to ENUM_D_TAG

Whitespace cleanup

Flip Python 3 version for tox testing to 3.4

Added DT_MIPS_* constants

Defined from here http://lxr.free-electrons.com/source/arch/mips/include/asm/elf.h#L49

Make example tests work again

The example test runner now passes a special --test flag as the first
command-line argument. This affects the behavior of the examples - making them
aim at testing. Only very simple command-line flag "parsing" is used here for
the sake of minimality.

Cosmetic changes

Improve dwarf_decode_address sample a bit

Accept file + address from command line, instead of hard-coding an address.

Merge pull request #78 from michalmalik/patch-1

Added SHT_GNU_LIBLIST constant to ENUM_SH_TYPE

Added SHT_GNU_LIBLIST constant to ENUM_SH_TYPE

fix incorrect pull request number