Avoid gratuitous inaccuracy in numeric width_bucket().
authorTom Lane <[email protected]>
Thu, 8 Oct 2020 17:06:27 +0000 (13:06 -0400)
committerTom Lane <[email protected]>
Thu, 8 Oct 2020 17:06:27 +0000 (13:06 -0400)
commit7538708394e7a70105a4e601e253adf80f47cca8
tree5f92b99b1ad54314ec66ff113a0a232ac89fa373
parent8ce423b1912b8303dbec5dc3ec78a7a725acf6c2
Avoid gratuitous inaccuracy in numeric width_bucket().

Multiply before dividing, not the reverse, so that cases that should
produce exact results do produce exact results.  (width_bucket_float8
got this right already.)  Even when the result is inexact, this avoids
making it more inexact, since only the division step introduces any
imprecision.

While at it, fix compute_bucket() to not uselessly repeat the sign
check already done by its caller, and avoid duplicating the
multiply/divide steps by adjusting variable usage.

Per complaint from Martin Visser.  Although this seems like a bug fix,
I'm hesitant to risk changing width_bucket()'s results in stable
branches, so no back-patch.

Discussion: https://postgr.es/m/6FA5117D-6AED-4656-8FEF-B74AC18FAD85@brytlyt.com
src/backend/utils/adt/numeric.c
src/test/regress/expected/numeric.out
src/test/regress/sql/numeric.sql