microwatt.git
3 years agoexecute1: Improve timing on comparisons
Paul Mackerras [Mon, 28 Sep 2020 04:04:08 +0000 (14:04 +1000)]
execute1: Improve timing on comparisons

Using the main adder for comparisons has the disadvantage of creating
a long path from the CA/OV bit forwarding to v.busy via the carry
input of the adder, the comparison result, and determining whether a
trap instruction would trap.  Instead we now have dedicated
comparators for the high and low words of a_in vs. b_in, and combine
their results to get the signed and unsigned comparison results.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agocore: Reorganize execute1
Paul Mackerras [Sat, 26 Sep 2020 09:58:46 +0000 (19:58 +1000)]
core: Reorganize execute1

This breaks up the enormous if .. elsif .. case .. elsif statement in
execute1 in order to try to make it simpler and more understandable.
We now have decode2 deciding whether the instruction has a value to be
written back to a register (GPR, GSPR, FPR, etc.) rather than
individual cases in execute1 setting result_en.  The computation of
the data to be written back is now independent of detection of various
exception conditions.  We now have an if block determining if any
exception condition exists which prevents the next instruction from
being executed, then the case statement which performs actions such as
setting carry/overflow bits, determining if a trap exception exists,
doing branches, etc., then an if statement for all the r.busy = 1
cases (continuing execution of an instruction which was started in a
previous cycle, or writing SRR1 for an interrupt).

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agocore: Make result multiplexing explicit
Paul Mackerras [Sat, 26 Sep 2020 07:19:57 +0000 (17:19 +1000)]
core: Make result multiplexing explicit

This adds an explicit multiplexer feeding v.e.write_data in execute1,
with the select lines determined in the previous cycle based on the
insn_type.  Similarly, for multiply and divide instructions, there is
now an explicit multiplexer.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agoexecute1: Move branch adder after register
Paul Mackerras [Wed, 16 Dec 2020 09:41:08 +0000 (20:41 +1100)]
execute1: Move branch adder after register

This does the addition of the instruction NIA and the branch offset
after the register at the output of execute1 rather than before.
The propagation through the adder was showing up as a critical path
on the A7-100.  Performance is unaffected and now it makes timing.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agodecode1: Take an extra cycle for predicted branch redirects
Paul Mackerras [Wed, 16 Dec 2020 08:32:07 +0000 (19:32 +1100)]
decode1: Take an extra cycle for predicted branch redirects

This does the addition of NIA plus the branch offset from the
instruction after a clock edge, in order to ease timing, as the path
from the icache RAM through the adder in decode1 to the NIA register
in fetch1 was showing up as a critical path.

This adds one extra cycle of latency when redirecting fetch because of
a predicted-taken branch.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agoloadstore1/dcache: Send store data one cycle later
Paul Mackerras [Sat, 31 Oct 2020 02:48:58 +0000 (13:48 +1100)]
loadstore1/dcache: Send store data one cycle later

This makes timing easier and also means that store floating-point
single precision instructions no longer need to take an extra cycle.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agoloadstore1: Improve timing of data path from cache RAM to writeback
Paul Mackerras [Mon, 28 Sep 2020 04:02:03 +0000 (14:02 +1000)]
loadstore1: Improve timing of data path from cache RAM to writeback

Work out select inputs for writeback mux a cycle earlier.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agoloadstore1: Decide on load formatting controls a cycle earlier
Paul Mackerras [Mon, 21 Sep 2020 01:41:46 +0000 (11:41 +1000)]
loadstore1: Decide on load formatting controls a cycle earlier

This helps timing.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agodecode1: Implement tlbsync as a no-op
Paul Mackerras [Sat, 10 Oct 2020 03:34:01 +0000 (14:34 +1100)]
decode1: Implement tlbsync as a no-op

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agodecode1: Implement obsolete dst, dstst, dss instructions as no-ops
Paul Mackerras [Tue, 22 Sep 2020 00:03:30 +0000 (10:03 +1000)]
decode1: Implement obsolete dst, dstst, dss instructions as no-ops

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agodecode: Add a facility field to the instruction decode tables
Paul Mackerras [Sat, 12 Dec 2020 01:38:06 +0000 (12:38 +1100)]
decode: Add a facility field to the instruction decode tables

This makes it simpler to work out when to deliver a FPU unavailable
interrupt.  This also means we can get rid of the OP_FPLOAD and
OP_FPSTORE insn_type values.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agotests: Add tests for lq/stq and lqarx/stqcx.
Paul Mackerras [Mon, 14 Sep 2020 08:21:27 +0000 (18:21 +1000)]
tests: Add tests for lq/stq and lqarx/stqcx.

Lq and stq are tested in both BE and LE modes (though only 64-bit
mode) by the 'modes' test.

Lqarx and stqcx. are tested by the 'reservation' test in LE mode mode
(64-bit).

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agocore: Implement quadword loads and stores
Paul Mackerras [Sat, 12 Sep 2020 10:35:03 +0000 (20:35 +1000)]
core: Implement quadword loads and stores

This implements the lq, stq, lqarx and stqcx. instructions.

These instructions all access two consecutive GPRs; for example the
"lq %r6,0(%r3)" instruction will load the doubleword at the address
in R3 into R7 and the doubleword at address R3 + 8 into R6.  To cope
with having two GPR sources or destinations, the instruction gets
repeated at the decode2 stage, that is, for each lq/stq/lqarx/stqcx.
coming in from decode1, two instructions get sent out to execute1.

For these instructions, the RS or RT register gets modified on one
of the iterations by setting the LSB of the register number.  In LE
mode, the first iteration uses RS|1 or RT|1 and the second iteration
uses RS or RT.  In BE mode, this is done the other way around.  In
order for decode2 to know what endianness is currently in use, we
pass the big_endian flag down from icache through decode1 to decode2.
This is always in sync with what execute1 is using because only rfid
or an interrupt can change MSR[LE], and those operations all cause
a flush and redirect.

There is now an extra column in the decode tables in decode1 to
indicate whether the instruction needs to be repeated.  Decode1 also
enforces the rule that lq with RT = RT and lqarx with RA = RT or
RB = RT are illegal.

Decode2 now passes a 'repeat' flag and a 'second' flag to execute1,
and execute1 passes them on to loadstore1.  The 'repeat' flag is set
for both iterations of a repeated instruction, and 'second' is set
on the second iteration.  Execute1 does not take asynchronous or
trace interrupts on the second iteration of a repeated instruction.

Loadstore1 uses 'next_addr' for the second iteration of a repeated
load/store so that we access the second doubleword of the memory
operand.  Thus loadstore1 accesses the doublewords in increasing
memory order.  For 16-byte loads this means that the first iteration
writes GPR RT|1.  It is possible that RA = RT|1 (this is a legal
but non-preferred form), meaning that if the memory operand was
misaligned, the first iteration would overwrite RA but then the
second iteration might take a page fault, leading to corrupted state.
To avoid that possibility, 16-byte loads in LE mode take an
alignment interrupt if the operand is not 16-byte aligned.  (This
is the case anyway for lqarx, and we enforce it for lq as well.)

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agodcache: Add more commentary, no code change
Paul Mackerras [Fri, 30 Oct 2020 11:08:54 +0000 (22:08 +1100)]
dcache: Add more commentary, no code change

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agodecode1: Fix decoding of recommended NOP instruction
Paul Mackerras [Thu, 26 Nov 2020 11:08:47 +0000 (22:08 +1100)]
decode1: Fix decoding of recommended NOP instruction

We were decoding nop with the wrong major opcode.  Fix it.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agocore_debug: Stop logging 256 cycles after trigger
Paul Mackerras [Tue, 15 Dec 2020 22:34:56 +0000 (09:34 +1100)]
core_debug: Stop logging 256 cycles after trigger

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agocore_debug: Add an address trigger to stop logging at a given address
Paul Mackerras [Thu, 12 Nov 2020 04:06:38 +0000 (15:06 +1100)]
core_debug: Add an address trigger to stop logging at a given address

This compares the address being fetched with the contents of a
register that can be set via DMI, and if they match, stops the
logging.  Since this works on the address being fetched rather than
executed, it is subject to false positives.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agoFPU: Don't use mask generator for rounding
Paul Mackerras [Mon, 21 Sep 2020 01:37:10 +0000 (11:37 +1000)]
FPU: Don't use mask generator for rounding

Instead of using the mask generator in the rounding process, this uses
simpler logic to add in a 1 at the appropriate position (bit 2 or bit
31, depending on precision) and mask off the low-order bits.  Since
there are only two positions at which the masking and incrementing
need to be done, we don't need the full generality of the mask
generator.  This reduces the amount of logic and improves timing.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agoFPU: Relax timing around multiplier output
Paul Mackerras [Sat, 19 Sep 2020 09:01:49 +0000 (19:01 +1000)]
FPU: Relax timing around multiplier output

At present there is a state transition in the handling of the fmadd
instructions where the next state depends on the sign bit of the
multiplier result.  This creates a critical path which doesn't make
timing on the A7-100.  To fix this, we make the state transition
independent of the sign of the multiplier result, which improves
timing, but means we take one more cycle to do a fmadd-family
instruction in some cases.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agomw_debug: Display terminated status when stopping
Paul Mackerras [Tue, 22 Sep 2020 10:33:08 +0000 (20:33 +1000)]
mw_debug: Display terminated status when stopping

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agomw_debug: Extend to handle FPRs
Paul Mackerras [Tue, 22 Sep 2020 10:22:24 +0000 (20:22 +1000)]
mw_debug: Extend to handle FPRs

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agoArty A7: Document pin connections for on-board headers
Paul Mackerras [Wed, 13 Jan 2021 08:51:46 +0000 (19:51 +1100)]
Arty A7: Document pin connections for on-board headers

This adds, as comments, lines which would if uncommented define
properties which associate the pins of the headers on the Arty A7
board with FPGA pins.  It also adds properties for LEDs 1--3, also
commented out for now.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agoexecute1: Update comments about XER forwarding
Paul Mackerras [Wed, 13 Jan 2021 08:45:57 +0000 (19:45 +1100)]
execute1: Update comments about XER forwarding

This deletes some commentary that is now out of date and replaces it
with a simple statement about the XER common bits being forwarded from
the output of execute1 to the input.

The comment being deleted talked about a hazard if an instruction that
modifies XER[SO] is immediately followed by a store conditional.  That
is no longer a problem because the operands for loadstore1 are sent
from execute1 (and therefore have the forwarded value) rather than
decode2.  This was in fact fixed in 5422007f83bf ("Plumb loadstore1
input from execute1 not decode2", 2020-01-14).

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agoMerge pull request #263 from antonblanchard/reset-pid
Paul Mackerras [Thu, 7 Jan 2021 03:47:11 +0000 (14:47 +1100)]
Merge pull request #263 from antonblanchard/reset-pid

Initialize PID register

3 years agoMerge pull request #262 from antonblanchard/reset-tb-decr
Paul Mackerras [Thu, 7 Jan 2021 03:46:42 +0000 (14:46 +1100)]
Merge pull request #262 from antonblanchard/reset-tb-decr

Reset TB and DECR

3 years agoMerge pull request #259 from antonblanchard/dmi-reset
Paul Mackerras [Thu, 7 Jan 2021 03:46:04 +0000 (14:46 +1100)]
Merge pull request #259 from antonblanchard/dmi-reset

Reset JTAG/DMI

3 years agoMerge pull request #265 from antonblanchard/another-spi-rxtx-reset-issu
Anton Blanchard [Tue, 5 Jan 2021 09:17:37 +0000 (20:17 +1100)]
Merge pull request #265 from antonblanchard/another-spi-rxtx-reset-issu

Fix another reset issue in spi_rxtx

3 years agoMerge pull request #264 from antonblanchard/reset-spi-txrx
Anton Blanchard [Tue, 5 Jan 2021 09:16:50 +0000 (20:16 +1100)]
Merge pull request #264 from antonblanchard/reset-spi-txrx

Reset cmd_ready_o in spi_txrx

3 years agoInitialize PID register
Anton Blanchard [Sun, 3 Jan 2021 05:46:28 +0000 (16:46 +1100)]
Initialize PID register

If the PID register is read before it is written we'll consume
X state data.

Signed-off-by: Anton Blanchard <anton@linux.ibm.com>
3 years agoFix another reset issue in spi_rxtx
Anton Blanchard [Sun, 3 Jan 2021 19:04:02 +0000 (06:04 +1100)]
Fix another reset issue in spi_rxtx

counter was X state after reset, initialize it.

Signed-off-by: Anton Blanchard <anton@linux.ibm.com>
3 years agoReset cmd_ready_o in spi_txrx
Anton Blanchard [Sun, 3 Jan 2021 18:44:23 +0000 (05:44 +1100)]
Reset cmd_ready_o in spi_txrx

Initialize bit_count so that cmd_ready_o isn't X state immediately
after reset.

Signed-off-by: Anton Blanchard <anton@linux.ibm.com>
3 years agoReset TB and DECR
Anton Blanchard [Sun, 3 Jan 2021 05:07:46 +0000 (16:07 +1100)]
Reset TB and DECR

We don't care what the values of TB and DECR are after reset, but we
don't want the X state to propagate to other parts of the chip.

Signed-off-by: Anton Blanchard <anton@linux.ibm.com>
3 years agoMerge pull request #261 from antonblanchard/wishbone_layout
Anton Blanchard [Mon, 21 Dec 2020 03:36:19 +0000 (14:36 +1100)]
Merge pull request #261 from antonblanchard/wishbone_layout

Make wishbone_master_out and wb_io_master_out match

3 years agoMerge pull request #260 from paulusmack/misc
Anton Blanchard [Mon, 21 Dec 2020 00:41:19 +0000 (11:41 +1100)]
Merge pull request #260 from paulusmack/misc

soc: Drive uart1_irq to 0 when we don't have UART1

3 years agoMake wishbone_master_out and wb_io_master_out match
Anton Blanchard [Sun, 20 Dec 2020 10:11:17 +0000 (21:11 +1100)]
Make wishbone_master_out and wb_io_master_out match

This makes it easier to parse the records in verilog because they
are getting flattened into an array of bits by ghdl/yosys.

Signed-off-by: Anton Blanchard <anton@linux.ibm.com>
3 years agofetch1: Fix debug stop
Paul Mackerras [Sat, 19 Dec 2020 06:11:53 +0000 (17:11 +1100)]
fetch1: Fix debug stop

The ability to stop the core using the debug interface has been broken
since commit bb4332b7e6b5 ("Remove fetch2 pipeline stage"), which
removed a statement that cleared the valid bit on instructions when
their stop_mark was 1.

Fix this by clearing r.req coming out of fetch1 when r.stop_mark = 1.
This has the effect of making i_out.valid be 0 from the icache.  We
also fix a bug in icache.vhdl where it was not honouring i_in.req when
use_previous = 1.

It turns out that the logic in fetch1.vhdl to handle stopping and
restarting was not correct, with the effect that stopping the core
would leave NIA pointing to the last instruction executed, not the
next instruction to be executed.  In fact the state machine is
unnecessary and the whole thing can be simplified enormously - we
need to increment NIA whenever stop_in = 0 in the previous cycle.

Fixes: bb4332b7e6b5 ("Remove fetch2 pipeline stage")
Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agosoc: Drive uart1_irq to 0 when we don't have UART1
Paul Mackerras [Thu, 17 Dec 2020 01:15:31 +0000 (12:15 +1100)]
soc: Drive uart1_irq to 0 when we don't have UART1

The tools complain about uart1_irq not being driven and not having a
default when HAS_UART1 is false.  This sets it to 0 in that case.

Fixes: 7575b1e0c2b1 ("uart: Import and hook up opencore 16550 compatible UART")
Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agoReset JTAG/DMI
Anton Blanchard [Tue, 15 Dec 2020 03:27:26 +0000 (14:27 +1100)]
Reset JTAG/DMI

request is never initialized and we leak X state control signals to other
parts of the core (eg dmi_wr). Add a reset.

Signed-off-by: Anton Blanchard <anton@linux.ibm.com>
3 years agoMerge pull request #256 from antonblanchard/flash-reset
Michael Neuling [Mon, 14 Dec 2020 21:54:56 +0000 (08:54 +1100)]
Merge pull request #256 from antonblanchard/flash-reset

Fix a few reset issues in flash controller

3 years agoMerge pull request #257 from antonblanchard/nofpu-fix
Paul Mackerras [Mon, 14 Dec 2020 21:51:33 +0000 (08:51 +1100)]
Merge pull request #257 from antonblanchard/nofpu-fix

Fully initialize FPU buses when FPU is disabled

3 years agoFix an issue in flash controller when BOOT_CLOCKS is false
Anton Blanchard [Mon, 14 Dec 2020 05:54:07 +0000 (16:54 +1100)]
Fix an issue in flash controller when BOOT_CLOCKS is false

If BOOT_CLOCKS is false we currently get stuck in the flash
state machine. This patch from Ben fixes it.

Also fix an x state issue I see in icarus verilog where we need
to reset auto_state.

Signed-off-by: Anton Blanchard <anton@linux.ibm.com>
3 years agoFully initialize FPU buses when FPU is disabled
Anton Blanchard [Sun, 13 Dec 2020 05:01:45 +0000 (16:01 +1100)]
Fully initialize FPU buses when FPU is disabled

Some of the bits in the FPU buses end up as z state. Yosys
flags them, so we may as well clean it up.

Signed-off-by: Anton Blanchard <anton@linux.ibm.com>
3 years agoFix a few reset issues in flash controller
Anton Blanchard [Sat, 12 Dec 2020 02:19:52 +0000 (13:19 +1100)]
Fix a few reset issues in flash controller

Our flash controller fails when simulating with iverilog. Looking
closer, both wb_stash and auto_last_addr are X state, and things
fall apart after they get used.

Initialise them both fixes the iverilog issue.

Signed-off-by: Anton Blanchard <anton@linux.ibm.com>
3 years agoMerge pull request #255 from antonblanchard/log-length
Anton Blanchard [Tue, 8 Dec 2020 10:36:00 +0000 (21:36 +1100)]
Merge pull request #255 from antonblanchard/log-length

Add LOG_LENGTH to top-generic.vhdl

3 years agoMerge pull request #254 from antonblanchard/fix-verilator
Anton Blanchard [Tue, 8 Dec 2020 10:35:25 +0000 (21:35 +1100)]
Merge pull request #254 from antonblanchard/fix-verilator

Add verilator FPGA target

3 years agoAdd LOG_LENGTH to top-generic.vhdl
Anton Blanchard [Tue, 8 Dec 2020 08:18:34 +0000 (19:18 +1100)]
Add LOG_LENGTH to top-generic.vhdl

The other top level files allow LOG_LENGTH to be configured.

Signed-off-by: Anton Blanchard <anton@linux.ibm.com>
3 years agoAdd verilator FPGA target
Anton Blanchard [Mon, 7 Dec 2020 23:50:48 +0000 (10:50 +1100)]
Add verilator FPGA target

Our Makefiles need some work, but for now create an FPGA target:

make FPGA_TARGET=verilator microwatt-verilator

ghdl and yosys can use containers using PODMAN=1 or DOCKER=1
options.

Signed-off-by: Anton Blanchard <anton@linux.ibm.com>
3 years agoMerge pull request #253 from antonblanchard/fix-verilator
Anton Blanchard [Mon, 7 Dec 2020 11:04:46 +0000 (22:04 +1100)]
Merge pull request #253 from antonblanchard/fix-verilator

Fix verilator build

3 years agoFix verilator build
Anton Blanchard [Mon, 7 Dec 2020 10:07:14 +0000 (21:07 +1100)]
Fix verilator build

yosys and verilator did not like us passing in the verilog and
exporting it again. Pass the source directly to verilator instead.

Signed-off-by: Anton Blanchard <anton@linux.ibm.com>
3 years agoMerge pull request #252 from antonblanchard/hello-world-in-8k
Michael Neuling [Mon, 7 Dec 2020 05:20:09 +0000 (16:20 +1100)]
Merge pull request #252 from antonblanchard/hello-world-in-8k

Reduce hello_world footprint to fit in 8kB

3 years agoFix ghdl warning due to variable shadowing in icache
Anton Blanchard [Sun, 6 Dec 2020 20:17:38 +0000 (07:17 +1100)]
Fix ghdl warning due to variable shadowing in icache

Fix a couple of ghdl warnings:

icache.vhdl:387:21:warning: declaration of "i" hides constant "i" [-Whide]
icache.vhdl:400:17:warning: declaration of "i" hides constant "i" [-Whide]

Signed-off-by: Anton Blanchard <anton@linux.ibm.com>
3 years agoReduce hello_world footprint to fit in 8kB
Anton Blanchard [Thu, 3 Dec 2020 09:29:40 +0000 (20:29 +1100)]
Reduce hello_world footprint to fit in 8kB

When building with yosys we assume hello_world fits in 8kB. There's
enough free space that we can adjust the linker script to make it fit.

Signed-off-by: Anton Blanchard <anton@linux.ibm.com>
3 years agoMerge pull request #249 from paulusmack/master
Michael Neuling [Tue, 1 Dec 2020 00:25:08 +0000 (11:25 +1100)]
Merge pull request #249 from paulusmack/master

Sundry bug fixes, plus implement mtmsr

3 years agoMerge pull request #250 from umarcor/containers
Michael Neuling [Tue, 1 Dec 2020 00:10:41 +0000 (11:10 +1100)]
Merge pull request #250 from umarcor/containers

makefile: update synthesis containers

3 years agoMerge pull request #251 from umarcor/ci/containers
Michael Neuling [Tue, 1 Dec 2020 00:06:19 +0000 (11:06 +1100)]
Merge pull request #251 from umarcor/ci/containers

ci: use job.container

3 years agoci: use job.container
umarcor [Mon, 30 Nov 2020 21:17:13 +0000 (22:17 +0100)]
ci: use job.container

Signed-off-by: umarcor <unai.martinezcorral@ehu.eus>
3 years agomakefile: update synthesis containers
umarcor [Thu, 26 Nov 2020 05:14:55 +0000 (06:14 +0100)]
makefile: update synthesis containers

Signed-off-by: umarcor <unai.martinezcorral@ehu.eus>
3 years agomakefile: whitespace cleanup
umarcor [Mon, 30 Nov 2020 21:07:57 +0000 (22:07 +0100)]
makefile: whitespace cleanup

Signed-off-by: umarcor <unai.martinezcorral@ehu.eus>
3 years agotests/misc: Add a test for correct CTR and LR updating by branches
Paul Mackerras [Tue, 24 Nov 2020 01:00:48 +0000 (12:00 +1100)]
tests/misc: Add a test for correct CTR and LR updating by branches

This adds a test with a bdnzl followed immediately by a bdnz, to check
that CTR and LR both get evaluated and written back correctly in this
situation.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
3 years agoexecute1: Fix forwarding of result when doing delayed LR update
Paul Mackerras [Tue, 24 Nov 2020 00:53:17 +0000 (11:53 +1100)]
execute1: Fix forwarding of result when doing delayed LR update

Random execution testcases showed that a bdnzl which doesn't branch,
followed immediately by a bdnz, uses the wrong value for CTR for the
bdnz.  Decode2 detects the read-after-write hazard on CTR and tells
execute1 to use the bypass path.  However, the bdnzl takes two cycles
because it has to write back both CTR and LR, meaning that by the time
the bdnz starts to execute, r.e.write_data no longer contains the CTR
value, but instead contains zero.

To fix this, we make execute1 maintain the written-back value of CTR
in r.e.write_data across the cycle where LR is written back (this is
possible because the LR writeback uses the exc_write_data path).

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoexecute1: Fix writing LR for bdnzl/bdzl instructions
Paul Mackerras [Sat, 21 Nov 2020 02:54:14 +0000 (13:54 +1100)]
execute1: Fix writing LR for bdnzl/bdzl instructions

Branch instructions which do a redirect and write both CTR and LR were
not doing the write to LR due to a logic error.  This fixes it.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agocore: Implement mtmsr instruction
Paul Mackerras [Sat, 21 Nov 2020 01:45:24 +0000 (12:45 +1100)]
core: Implement mtmsr instruction

This is like mtmsrd except it only alters the lower 32 bits of the MSR.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agotests/trace: Test trace interrupt vs. FP unavailable interrupt
Paul Mackerras [Fri, 25 Sep 2020 08:14:18 +0000 (18:14 +1000)]
tests/trace: Test trace interrupt vs. FP unavailable interrupt

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoexecute1: Fix bug in trace interrupt vs. ITLB miss
Paul Mackerras [Sat, 3 Oct 2020 10:08:11 +0000 (20:08 +1000)]
execute1: Fix bug in trace interrupt vs. ITLB miss

If an instruction fetch results in an instruction TLB miss, an
OP_FETCH_FAILED instruction is sent down the pipe.  If the MSR[TE]
field is set for instruction tracing, the core currently considers
that executing the OP_FETCH_FAILED counts as having executed one
instruction and so generates a trace interrupt on the next valid
instruction, meaning that the trace interrupt happens before the
desired instruction rather than after it.

Fix this by not tracing OP_FETCH_FAILED instructions.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoMerge pull request #245 from paulusmack/fpu
Michael Neuling [Thu, 17 Sep 2020 02:04:26 +0000 (12:04 +1000)]
Merge pull request #245 from paulusmack/fpu

Add a simple FPU

4 years agoMerge pull request #244 from paulusmack/master
Michael Neuling [Thu, 17 Sep 2020 01:43:54 +0000 (11:43 +1000)]
Merge pull request #244 from paulusmack/master

Implement trace interrupts plus decode improvements

4 years agoFPU: Do masking after adder rather than on A input
Paul Mackerras [Sat, 12 Sep 2020 10:13:24 +0000 (20:13 +1000)]
FPU: Do masking after adder rather than on A input

The masking enabled by opsel_amask is only used when rounding, to trim
the rounded result to the required precision.  We now do the masking
after the adder rather than before (on the A input).  This gives the
same result and helps timing.  The path from r.shift through the mask
generator and adder to v.r was showing up as a critical path.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Decide on mask length a cycle earlier
Paul Mackerras [Tue, 1 Sep 2020 05:28:19 +0000 (15:28 +1000)]
FPU: Decide on mask length a cycle earlier

This moves longmask into the reg_type record, meaning that it now
needs to be decided a cycle earlier, in order to help timing.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Decide on A input selection a cycle earlier
Paul Mackerras [Tue, 1 Sep 2020 05:09:17 +0000 (15:09 +1000)]
FPU: Decide on A input selection a cycle earlier

This moves opsel_a into the reg_type record, meaning that the A
multiplexer input now needs to be decided a cycle earlier.  This helps
timing by eliminating the combinatorial path from r.state and other
things to opsel_a and thence to in_a and result.

This means that some things now take an extra cycle, in particular
some of the exception cases such as when one or both operands are
NaNs.  The NaN handling has been moved out to its own state, which
simplifies the logic for exception cases in other places.  Additions
or subtractions where FRB's exponent is smaller than FRA's will
also take an extra cycle.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Add comments specifying the expectation of r.shift for each state
Paul Mackerras [Tue, 1 Sep 2020 01:13:17 +0000 (11:13 +1000)]
FPU: Add comments specifying the expectation of r.shift for each state

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement floating multiply-add instructions
Paul Mackerras [Sat, 1 Aug 2020 09:17:36 +0000 (19:17 +1000)]
FPU: Implement floating multiply-add instructions

This implements fmadd, fmsub, fnmadd, fnmsub and their
single-precision counterparts.  The single-precision versions operate
the same as the double-precision versions until the final rounding and
overflow/underflow steps.

This adds an S register to store the low bits of the product.  S
shifts into R on left shifts, and can be negated, but doesn't do any
other arithmetic.

This adds a test for the double-precision versions of these
instructions.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement ftdiv and ftsqrt
Paul Mackerras [Fri, 31 Jul 2020 06:46:12 +0000 (16:46 +1000)]
FPU: Implement ftdiv and ftsqrt

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement fsqrt[s] and add a test for fsqrt
Paul Mackerras [Fri, 31 Jul 2020 02:02:55 +0000 (12:02 +1000)]
FPU: Implement fsqrt[s] and add a test for fsqrt

This implements the floating square-root calculation using a table
lookup of the inverse square root approximation, followed by three
iterations of Goldschmidt's algorithm, which gives estimates of both
sqrt(FRB) and 1/sqrt(FRB).  Then the residual is calculated as
FRB - R * R and that is multiplied by the 1/sqrt(FRB) estimate to get
an adjustment to R.  The residual and the adjustment can be negative,
and since we have an unsigned multiplier, the upper bits can be wrong.
In practice the adjustment fits into an 8-bit signed value, and the
bottom 8 bits of the adjustment product are correct, so we sign-extend
them, divide by 4 (because R is in 10.54 format) and add them to R.

Finally the residual is calculated again and compared to 2*R+1 to see
if a final increment is needed.  Then the result is rounded and
written back.

This implements fsqrts as fsqrt, but with rounding to single precision
and underflow/overflow calculation using the single-precision exponent
range.  This could be optimized later.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement frsqrte[s] and a test for frsqrte
Paul Mackerras [Thu, 30 Jul 2020 06:11:58 +0000 (16:11 +1000)]
FPU: Implement frsqrte[s] and a test for frsqrte

This implements frsqrte by table lookup.  We first normalize the input
if necessary and adjust so that the exponent is even, giving us a
mantissa value in the range [1.0, 4.0), which is then used to look up
an entry in a 768-entry table.  The 768 entries are appended to the
table for reciprocal estimates, giving a table of 1024 entries in
total.  frsqrtes is implemented identically to frsqrte.

The estimate supplied is accurate to 1 part in 1024 or better.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agotests/fpu: Add tests for fsel and fcmpu
Paul Mackerras [Thu, 30 Jul 2020 03:38:09 +0000 (13:38 +1000)]
tests/fpu: Add tests for fsel and fcmpu

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement fcmpu and fcmpo
Paul Mackerras [Thu, 30 Jul 2020 00:00:25 +0000 (10:00 +1000)]
FPU: Implement fcmpu and fcmpo

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement fsel
Paul Mackerras [Wed, 29 Jul 2020 10:26:39 +0000 (20:26 +1000)]
FPU: Implement fsel

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement fre[s]
Paul Mackerras [Wed, 29 Jul 2020 07:34:03 +0000 (17:34 +1000)]
FPU: Implement fre[s]

This just returns the value from the inverse lookup table.  The result
is accurate to better than one part in 512 (the architecture requires
1/256).

This also adds a simple test, which relies on the particular values in
the inverse lookup table, so it is not a general test.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement fdiv[s]
Paul Mackerras [Tue, 28 Jul 2020 06:07:25 +0000 (16:07 +1000)]
FPU: Implement fdiv[s]

This implements floating-point division A/B by a process that starts
with normalizing both inputs if necessary.  Then an estimate of 1/B
from a lookup table is refined by 3 Newton-Raphson iterations and then
multiplied by A to get a quotient.  The remainder is calculated as
A - R * B (where R is the result, i.e. the quotient) and the remainder
is compared to 0 and to B to see whether the quotient needs to be
incremented by 1.  The calculations of 1 / B are done with 56 fraction
bits and intermediate results are truncated rather than rounded,
meaning that the final estimate of 1 / B is always correct or a little
bit low, never too high, and thus the calculated quotient is correct
or 1 unit too low.  Doing the estimate of 1 / B with sufficient
precision that the quotient is always correct to the last bit without
needing any adjustment would require many more bits of precision.

This implements fdivs by computing a double-precision quotient and
then rounding it to single precision.  It would be possible to
optimize this by e.g. doing only 2 iterations of Newton-Raphson and
then doing the remainder calculation and adjustment at single
precision rather than double precision.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement fmul[s]
Paul Mackerras [Mon, 27 Jul 2020 08:27:50 +0000 (18:27 +1000)]
FPU: Implement fmul[s]

This implements the fmul and fmuls instructions.

For fmul[s] with denormalized operands we normalize the inputs
before doing the multiplication, to eliminate the need for doing
count-leading-zeroes on P.  This adds 3 or 5 cycles to the
execution time when one or both operands are denormalized.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement fadd[s] and fsub[s] and add tests for them
Paul Mackerras [Thu, 23 Jul 2020 07:56:15 +0000 (17:56 +1000)]
FPU: Implement fadd[s] and fsub[s] and add tests for them

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement fmrgew and fmrgow and add tests for them
Paul Mackerras [Wed, 22 Jul 2020 10:51:31 +0000 (20:51 +1000)]
FPU: Implement fmrgew and fmrgow and add tests for them

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement floating round-to-integer instructions
Paul Mackerras [Wed, 22 Jul 2020 06:13:12 +0000 (16:13 +1000)]
FPU: Implement floating round-to-integer instructions

This implements frin, friz, frip and frim, and adds tests for them.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement floating convert to integer instructions
Paul Mackerras [Wed, 22 Jul 2020 02:19:12 +0000 (12:19 +1000)]
FPU: Implement floating convert to integer instructions

This implements fctiw, fctiwz, fctiwu, fctiwuz, fctid, fctidz, fctidu
and fctiduz, and adds tests for them.

There are some subtleties around the setting of the inexact (XX) and
invalid conversion (VXCVI) flags in the FPSCR.  If the rounded value
ends up being out of range, we need to set VXCVI and not XX.  For a
conversion to unsigned word or doubleword of a negative value that
rounds to zero, we need to set XX and not VXCVI.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agotests/fpu: Add tests for frsp
Paul Mackerras [Sun, 19 Jul 2020 01:53:01 +0000 (11:53 +1000)]
tests/fpu: Add tests for frsp

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement the frsp instruction
Paul Mackerras [Mon, 31 Aug 2020 07:26:33 +0000 (17:26 +1000)]
FPU: Implement the frsp instruction

This brings in the invalid exception for the case of frsp with a
signalling NaN as input, and the need to be able to convert a
signalling NaN to a quiet NaN.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement floating convert from integer instructions
Paul Mackerras [Thu, 16 Jul 2020 05:51:57 +0000 (15:51 +1000)]
FPU: Implement floating convert from integer instructions

This implements fcfid, fcfidu, fcfids and fcfidus, which convert
64-bit integer values in an FPR into a floating-point value.
This brings in a lot of the datapath that will be needed in
future, including the shifter, adder, mask generator and
count-leading-zeroes logic, along with the machinery for rounding
to single-precision or double-precision, detecting inexact results,
signalling inexact-result exceptions, and updating result flags
in the FPSCR.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement fmr and related instructions
Paul Mackerras [Wed, 15 Jul 2020 04:28:06 +0000 (14:28 +1000)]
FPU: Implement fmr and related instructions

This implements fmr, fneg, fabs, fnabs and fcpsgn and adds tests
for them.

This adds logic to unpack and repack floating-point data from the
64-bit packed form (as stored in memory and the register file) into
the unpacked form in the fpr_reg_type record.  This is not strictly
necessary for fmr et al., but will be useful for when we do actual
arithmetic.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agotests/fpu: Test remaining FPSCR-related instructions
Paul Mackerras [Mon, 31 Aug 2020 03:10:51 +0000 (13:10 +1000)]
tests/fpu: Test remaining FPSCR-related instructions

This adds tests for mffsce, mffscrn, mffscrni, mffsl, mcrfs, mtfsfi,
mtfsb0 and mtfsb1.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoFPU: Implement remaining FPSCR-related instructions
Paul Mackerras [Sat, 29 Aug 2020 10:34:55 +0000 (20:34 +1000)]
FPU: Implement remaining FPSCR-related instructions

This implements mcrfs, mtfsfi, mtfsb0/1, mffscr, mffscrn, mffscrni and
mffsl.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agotests/fpu: Add tests for basic FPSCR function and interrupt generation
Paul Mackerras [Wed, 15 Jul 2020 02:46:18 +0000 (12:46 +1000)]
tests/fpu: Add tests for basic FPSCR function and interrupt generation

This tests mffs, mtfsf and the generation of floating-point type
program interrupts that occur as a result of mtfsf.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agocore: Add framework for an FPU
Paul Mackerras [Fri, 28 Aug 2020 10:01:00 +0000 (20:01 +1000)]
core: Add framework for an FPU

This adds the skeleton of a floating-point unit and implements the
mffs and mtfsf instructions.

Execute1 sends FP instructions to the FPU and receives busy,
exception, FP interrupt and illegal interrupt signals from it.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agotests/fpu: Add tests for lfs and stfs instructions
Paul Mackerras [Thu, 2 Jul 2020 09:55:30 +0000 (19:55 +1000)]
tests/fpu: Add tests for lfs and stfs instructions

This exercises the single-to-double and double-to-single conversions,
including denormalized cases.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agocore: Add support for single-precision FP loads and stores
Paul Mackerras [Fri, 28 Aug 2020 03:35:05 +0000 (13:35 +1000)]
core: Add support for single-precision FP loads and stores

This adds code to loadstore1 to convert between single-precision and
double-precision formats, and implements the lfs* and stfs*
instructions.  The conversion processes are described in Power ISA
v3.1 Book 1 sections 4.6.2 and 4.6.3.

These conversions take one cycle, so lfs* and stfs* are one cycle
slower than lfd* and stfd*.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agotests: Add a test for FP loads and stores
Paul Mackerras [Wed, 1 Jul 2020 08:03:19 +0000 (18:03 +1000)]
tests: Add a test for FP loads and stores

This tests that floating-point unavailable exceptions occur as expected
on FP loads and stores, and that the simple FP loads and stores appear
to give reasonable results.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agocore: Add support for floating-point loads and stores
Paul Mackerras [Fri, 28 Aug 2020 02:49:48 +0000 (12:49 +1000)]
core: Add support for floating-point loads and stores

This extends the register file so it can hold FPR values, and
implements the FP loads and stores that do not require conversion
between single and double precision.

We now have the FP, FE0 and FE1 bits in MSR.  FP loads and stores
cause a FP unavailable interrupt if MSR[FP] = 0.

The FPU facilities are optional and their presence is controlled by
the HAS_FPU generic passed down from the top-level board file.  It
defaults to true for all except the A7-35 boards.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agotests: Add a test for trace interrupts
Paul Mackerras [Sat, 29 Aug 2020 09:30:56 +0000 (19:30 +1000)]
tests: Add a test for trace interrupts

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoexecute1: Implement trace interrupts
Paul Mackerras [Fri, 28 Aug 2020 10:34:09 +0000 (20:34 +1000)]
execute1: Implement trace interrupts

Trace interrupts occur when the MSR[TE] field is non-zero and an
instruction other than rfid has been successfully completed.  A trace
interrupt occurs before the next instruction is executed or any
asynchronous interrupt is taken.

Since the trace interrupt is defined to set SRR1 bits depending on
whether the traced instruction is a load or an instruction treated as
a load, or a store or an instruction treated as a store, we need to
make sure the treated-as-a-load instructions (icbi, icbt, dcbt, dcbst,
dcbf) and the treated-as-a-store instructions (dcbtst, dcbz) have the
correct opcodes in decode1.  Several of them were previously marked as
OP_NOP.

We don't yet implement the SIAR or SDAR registers, which should be set
by trace interrupts.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agodecode1: Avoid overriding fields of v.decode in decode1
Paul Mackerras [Wed, 26 Aug 2020 09:19:34 +0000 (19:19 +1000)]
decode1: Avoid overriding fields of v.decode in decode1

In the cases where we need to override the values from the decode ROMs,
we now do that overriding after the clock edge (eating into decode2's
cycle) rather than before.  This helps timing a little.

Signed-off-by: Paul Mackerras <paulus@ozlabs.org>
4 years agoMerge pull request #239 from paulusmack/master
Michael Neuling [Thu, 27 Aug 2020 11:28:21 +0000 (21:28 +1000)]
Merge pull request #239 from paulusmack/master

Implement BE and 32b modes