More efficient AbbrevDecl handling (#212)

Create all the AbbrevDecl objects during parsing and later return
references to them - this gives a small performance gain.

Added support for decoding .debug_pubtypes and .debug_pubnames sections (#208)

* Added support for decoding .debug_pubtypes and .debug_pubnames sections

* Added reference output to dwarf_pubnames_types.py example.

* Added readelf support, fixed review comments and documentation updates

* Avoid printing the entire die in pubnames example to workaround Python2 vs 3 imcompatibilites

Simplify handling of null DIEs (#209)

The code that is intended to coalesce null DIEs into the DIE that
precedes them does not do that and is actually not needed as the
'unflattening' procedure takes care of any unexpected null DIEs.

Also added a unit test for verifying the DIE size calculation.

Bugfix: Reset prevstate if line program sequence ends (#211)

Implemented ELFFile.get_machine_arch for the remaining architectures. (#206)

* Implemented ELFFile.get_machine_arch for the remaining architectures.

Added all architectures according to the ENUM_E_MACHINE.

* Refactored if statement into dict.get.

Remove unnecessary 'preserve_stream_pos' (#204)

The stream position in the .debug_info stream can't change when
reading from the .debug_abbrev stream.

ARMAttribute: fix access to structs, stream and nul (#203)

The __init__ function of ARMAttribute has two parameters
structs and stream through which the caller can pass in the
relevant objects (ARMAttributesSubsubsection does that after
seeking to the right position in stream).

The accesses for TAG_SECTION and TAG_SYMBOL, however, were
referring to non-existing members instead of the parameters.

Additionally, one assertion tries to access an undefined
'null_byte' variable which should be 'nul' instead.

Provide enums for DT_FLAGS and DT_FLAGS_1 (#200)

* Provide enums for DT_FLAGS and DT_FLAGS_1

This change adds two enums with the name to value mappings
for the two flags fields in the dynamic section. The values
and corresponding names are taken from the elf/elf.h file
in the most recent glibc version.

The enums are also used to print the names instead of the
raw hex values for DT_FLAGS and DT_FLAGS_1 in
scripts/readelf.py.

Fixes: #189
* Add test file for DT_FLAGS/DT_FLAGS_1 parsing

The test file has the DF_BIND_NOW and DF_ORIGIN flags set
in DT_FLAGS as well as DF_1_NOW, DF_1_GLOBAL, DF_1_NOOPEN
and DF_1_ORIGIN flags in DF_FLAGS_1.

This is the source code for the dt_flags.elf file:

  #include <stdio.h>

  int function(const char *arg){
      printf("Hello, %s!", arg);
      return 0;
  }

and was compiled using the following command line:

$ gcc -shared -m32 \
  -Wl,-rpath,'$ORIGIN/lib',-z,global,-z,origin,-z,nodlopen,-z,now \
  -o testfiles_for_readelf/dt_flags.elf dt_flags.c

Fix division in calculation function for 'R_ARM_CALL' (#196)

Move arm reloc test to proper location and simplify its code a bit

Simplify arm reloc test file

Rename input files for arm relocation test to be more consistent

Redo the new arm reloc test as a proper unit test, aligned with other tests

Call relocation for ARM V3 (#194)

* Add support for 'R_ARM_CALL' relocation type

* Add test script and test files to verify support for 'R_ARM_CALL'

Signed-off-by: Koltunov Dmitry <koltunov@ispras.ru>

Add .o test files to manifest

Update version to 0.25 to prepare for release

Update CHANGES, add 3.6 testing to Travis and fixup README

Handle ARM relocations (#121)

* relocation: handle ARM binaries

* relocation: handle R_ARM_ABS32 for ARM machines

* testfiles: add reloc_arm_gcc.o.elf

Generated on Ubuntu 14.04 using: arm-linux-gnueabi-gcc-4.7 -c -g -o reloc_armhf_gcc.o.elf hello.c

* testfiles: add reloc_armhf_gcc.o.elf

Generated on Ubuntu 14.04 using: arm-linux-gnueabihf-gcc-4.7 -c -g -o reloc_armhf_gcc.o.elf hello.c

* readelf: print soft-float abi for ARM if EF_ARM_ABI_FLOAT_SOFT in flags

* readelf: print hard-float abi for ARM if EF_ARM_ABI_FLOAT_HARD in flags

* readelf: print BE8 info for armeb binaries

* testfiles: add simple_armhf_gcc.o.elf

    Generated on Ubuntu 14.04 using: arm-linux-gnueabihf-gcc-4.7  -g -o simple_armhf_gcc.o.elf hello.c

* elf: remove unwind from dicts and set ARM_EXIDX description

* testfiles: add  reloc_armsf_gcc.o.elf as soft float testcase taken from binutils 2.30

* testfiles: add reloc_armeb_gcc.o.elf as arm big endian testcase taken from binutils 2.30 testcase arm-be8

* readelf: print endian info LE8 if flag was set in header flags

Enable --parallel tests for readelf in the tox config

Merge branch 'master' of github.com:eliben/pyelftools

Add basic parallel execution capabilities to readelf tests

Add timings for steps of execution in running these tests

Update CHANGES

Switch readelf.py to using argparse instead of optparse

Switch run_readelf_tests to use argparse instead of optparse

Fix DW_CFA_remember_state (#184)

* Fix #103

* Fix description for DW_CFA_def_cfa_expression

* Add test file for issue #103

Choose members of the dynamic tag enum based on the current machine (#183)

* Only use processor/os specific dynamic tags if that processor or os is in use

* Add testcase for machine-specific dynamic tags

* Clarify layout of ENUM_D_TAG

Convert all ascii decoding to utf-8 decoding (#182)

* Convert all ascii-decoding to utf-8 decoding

* Add testcase for unicode symbols

Fix #181 for real

EM_BLAKCFIN --> EM_BLACKFIN

Merge branch 'master' of github.com:eliben/pyelftools

Fix a typo EM_BLAFKIN --> EM_BLACKFIN

Fixes #181

Update README

Do not crash if CIE doesn't define CFA (#177)

Mention recent changes in CHANGES

e_machine-dependent p_type parsing;

This should address #71 and #121, hopefully

Implement e_machine-based section type decoding

Adding a dict-merging utility

Some whitespace fixes

Don't include 'meta-tag' markers in descriptions of ENUM_D_TAG (#176)

Fixes #150

Add a local .vimrc for pyelftools

Fix merge conflicts for ABIFLAGS branch (#168)

Arm exidx (#172)

* Fix merge conflicts for ABIFLAGS branch

* Fix EXIDX output to match binutils readelf -e

Many improvements to MIPS flags handling to make output consistent with GNU binutils readelf + typo (#165)

* Add EF_MIPS_PIC for E_FLAGS for statically linked MIPS-I executable produced by MUSL

pyelftools picked up CPIC but not PIC

binutils readelf says:
  Flags:                             0x1007, noreorder, pic, cpic, o32, mips1

pyelftools said (before this change):
  Flags:                             0x1007, noreorder, cpic, o32, mips1

Reproduce with the binary available at:

https://github.com/mzpqnxow/embedded-toolkit/blob/master/prebuilt_static_bins/gdbserver/gdbserver-6.8-mips-i-rtl819x-lexra

* Fix order of fix, was "cpic, pic" needs to be "pic, cpic", reordered the if statement to address this

* - Improve reporting on MIPS flags, fix many inconsistencies with GNU binutils
- Fix `desrciption` typo that raises fatal exception when encountering an unknown ABI
- Add E_FLAGS_MASKS constants to simplify ABI logic

* Add masks for E_FLAGS to simplify ABI logic

Add TLS and PowerPC to Machine and Program Headers description tables to match binutils output (#163)

Before:
...
  Machine:                           <unknown>
...
Program Headers:
...
  <unknown>      0x0bcd0c 0x100ccd0c 0x100ccd0c 0x00000 0x00008 R   0x4
...

After:
...
  Machine:                           PowerPC
Program Headers:
...
  TLS            0x0bcd0c 0x100ccd0c 0x100ccd0c 0x00000 0x00008 R   0x4
...

Reproduced and then tested change against statically linked PPC binary produced by MUSL:

https://github.com/mzpqnxow/embedded-toolkit/blob/master/prebuilt_static_bins/gdbserver/gdbserver-7.12-ppc-sysv

ARM build attributes section parsing (#160)

DIE.__repr__ typo: s/chidren/children/ (#161)

Clean up some whitespace

Fix - ELFFile#address_offsets should consider PT_LOAD only (#159)

* fix - ELFFile#address_offsets should consider PT_LOAD only

create inital wheel support (#158)

Update the shipped `readelf` (#157)

* elftools.elf.description: re-indent describe_note according to PEP8

* Update the embedded `readelf`, update readelf.py accordingly

Clean up py3compat a bit and add some tests

Add parsing and readelf dumping for .eh_frame (#155)

* Fix the byte size for R_X86_64_PC32 relocations

* Describe the address for DW_CFA_advance_loc with only 8 columns

* Add .eh_frame section decoding and dump in readelf.py

Minor testsuite improvements (#154)

* run_readelf_tests.py: add an option to continue tests after a failure

Also add a counter to display the number of failed tests over the number
of tests run.

* run_readelf_tests.py: run tests in alphabetical order

This gives deterministic runs, which is handy to run edit/test
development cycles.

Compressed sections (#152)

* Add constants, enums and structs for compressed section

* ELFStructs: update comments for new section numbers in Oracle docs

* Make the ELFFile's stream/structs available to all Section instances

This harmonizes the signature of Section constructors. Besides, structs
will be required to read compressed sections.

* ELFFile._read_dwarf_section: use Section.data to read the section

An upcoming change will add compressed sections handling. In this
context, the DWARF must be parsed from the decompressed data, so reading
the ELFFile stream will be wrong.

* Add ELF compressed debug sections handling

Adding new OS ABI to ELF header parsing (#153)

* Add OS ABI to ELF header

* Add new OS ABI to description

Cosmetic fixups

Better support for core dumps (in particular, fix issue #93) (#147)

* Better support for core dumps (in particular, fix notes issue)

* Fix readelf.py for python3.

* Edits after code review. Introduce structure for NT_PRPSINFO. Add unittest.

Update reserved machine arch idents (#148)

* Update reserved machine arch idents

* Accidentally repeated a value

Clean up a bit after previous PR

NULL termination with IAR Embedded Workbench compiler (#146)

* Exectued changes for IAR Embedded Workbench output .elf File

* applied review findings

Make elffile and elfstructs on Dynamic public (#141)

Fix running tests on Travis

Remove setup_syspath entirely

It's vestigial remains from the early days of pyelftools which was originally
developed on Windows, running the tests through an editor rather than on the
command line.

Not setting the run path in the code is safer - it's more reliable to control where the code is found outside the code itself now

Remove conditional unittest2 imports from tests

We require 2.7+ now

Also remove setup_syspath calls

Reformat new test and add comment header

Add .stab section parser (#137)

* Add .stab section parser

* Replace tabs with spaces

* Add unit test for stabs parser

 Fix parsing string table (#134)

If for any reason parse_cstring_from_stream() cannot get a string in the given offset, it'll return None causing the following line raises an exception when it tries to get the decoded ascii string from the None object.

Merge pull request #132 from jwilk/spelling

Remove duplicated word

Remove duplicated word

Merge pull request #131 from shuxin/patch-2

Update enums.py

Update enums.py

add an mips tag

Fix more potential Python 3 issues in construct

Use b"" strings for paddings/align and anything else dealing with binary data

Merge pull request #127 from mefistotelis/pullrequest

Fix for padding encoding in Python 3.

Fix for padding encoding in Python 3.

The padding used a string literal instead of byte literal for the
pattern character, which caused invalid type error in Python 3.

This fix marks the pattern as byte literal, which does nothing on
Python >= 2.7 and creates byres array instead of str in Python >= 3.

Merge pull request #126 from chriscz/master

Fix typo relocation_bytesize  --> relocation.bytesize

Fix relocation_bytesize typo

Update CHANGES + cosmetic cleanup

Cosmetic changes

Remove the PT_ARM_UNWIND enum

According to the ARM ABI it's an alias for PT_ARM_EXIDX; having them both in the
same enum value confuses parsing. Keeping EXIDX rather than UNWIND because
binutils seems to be using it.

Related to #121

Issue #119: readelf - don't do hex/string dumps for SHT_NOBITS sections

Add py35 to tox.ini

Merge pull request #118 from tezeb/patch-1

Check for header attribute when comparing

Check for header attribute when comparing

When checking against None it throws exception, while it's quite
easy to prevent(and check against None seems quite obvious).

fromdos setup.py

Getting ready to release 0.24

Add Python 3.5 testing to travis

Update CHANGES with a few more recent changes

Whitespace cleanup

Merge pull request #109 from gbenson/master

Support SHT_NOTE sections

Support SHT_NOTE sections

This commit adds a new NoteSection class with an iter_notes
iterator which operates in much the same way as NoteSegment's
iter_notes.  An example to illustrate usage is added, and its
reference output is added for the test suite.

Merge pull request #108 from dorothychen/aranges

parse .debug_aranges section

parsed .debug_aranges section, simple interface mapping address ranges to CU offsets

fixed bug in finding correct arange entry, given an addr

cosmetic changes per pull request thread #108, and updated relevant tests

minor arange test changes

filled in comments

update test formatting for aranges

update test formatting for aranges

Fix off-by-one bug

For real this time. If the query addr == beginning address, bisect_left won't work.

Merge pull request #107 from DavidSpickett/master

Fix Windows import error by getting page size using 'mmap' module if 'resource' is not available.

Get page size using 'mmap' module if 'resource' is not available.
The resource module is Unix only, use mmap for Windows.

Merge pull request #102 from ttsugriy/master

Support ZLIB compressed debug sections

Support ZLIB compressed debug sections

objcopy --compress-debug-sections uses ZLIB compression to reduce debug
sections, which can sometimes be larger than the size of the binary
itself. This change makes pyelftools consider compressed debug sections
when checking for DWARF data.

readelf tool supports other types of compressed sections
(https://github.com/facebook/binutils/blob/master/binutils/readelf.c#L12038)
but their support is outside of scope of this change.

Test plan:
  $ ./test/run_all_unittests.py

Signed-off-by: Stanislas P1kachu Lejay <p1kachu@lse.epita.fr>

Merge pull request #104 from P1kachu/master

Fix case where struct is None

Fix case where struct is None

Signed-off-by: Stanislas P1kachu Lejay <p1kachu@lse.epita.fr>

Fix descriptions._data_member_location_extra to handle DW_FORM_sdata

Taken from #98 - contributed by @bseifers

Merge pull request #89 from sethml/feature/improved-DWARFv4

Improved DWARFv4 support.