]> sigrok.org Git - libsigrok.git/commit
scpi-dmm: prefer double over float data types more often
authorGerhard Sittig <redacted>
Thu, 3 Oct 2019 16:50:21 +0000 (18:50 +0200)
committerGerhard Sittig <redacted>
Thu, 25 Aug 2022 17:06:35 +0000 (19:06 +0200)
commita5346baf78a04f0a749dca9669ebc1f4331db3f7
treeace80db60d70cafc3a086223635e8fc921db543c
parent2007770270caa64b74ed4012bdf189211e1e02c5
scpi-dmm: prefer double over float data types more often

The 'float' data type uses 23 bits for the mantissa, which can express
some 6.9 decimal places. Some meters claim "6 digits" when in fact they
are 6.5 or so. Averaging over higher numbers of power line cycles (NPLC)
could additionally raise a meter's precision. Prefer double over float
for 6-digit devices already, just to err on the safe side.

The previous implementation only started using the double data type for
devices with 7 and more digits, and left a theoretical gap that's fully
closed now.
src/hardware/scpi-dmm/protocol.c