manpage: add --protocol-decoder-jsontrace command line option

Support for JSON formatted decoder output was introduced in commit
54614916a903 ("decode: add support for Google Trace Event output (JSON)")
in 2020-07. Update the manpage.

decode: Optionally print annotation class with PD annotations

Introduce the "--protocol-decoder-ann-class" command line option
(no short form available), which emits annotation class names
with textual output from protocol decoder annotations, regardless
of a log level value.

Based on commit 08e9378bf68a by Gerhard Sittig <redacted>

parsers: avoid NULL dereference when option strings are empty

When colon separated options are scanned (like "-P ps2: --show") then
the empty list item which results from the trailing colon resulted in
key/value pairs becoming NULL. Handle that situation, skip empty list
elements.

Reported-By: Peter Mortensen via IRC

parsers: use common library code to rename sigrok channels

Drop an open coded g_free() and g_strdup() sequence which accesses
internal details of a sigrok channel. Use the sr_dev_channel_name_set()
library routine instead.

parsers: use proper conversion routine for PD option data types

The generic_arg_to_opt() routine converted text input to protocol
decoder option values, but might have lost significant information.
Use a signed conversion routine for the int32 data, use a long long
routine for uint64 data. This shall unbreak negative values (like
UART packet separators), and improve compatibility with 32bit targets
(like for large sample numbers or high frequency values).

input: emit diagnostics when file import fails fatally

The previous implementation did terminate the file import upon fatal
errors, but did so silently. Add diagnostics to the code paths where
input module's .send() calls or channel selection fail. This raises
awareness when an individual input module would fail and not warn.

input: minor robustness improvement, close fd leak

Eliminate redundant CHUNK_SIZE references, just fill the GString buffer
as far as it was allocated no matter how. Call an input related free
routine for options, not the output routine (which happened to work by
coincidence, thus went unnoticed). Close the input file descriptor after
the read loop, the caller has got no reference to it.

input: unbreak automatic format detection when reading from stdin

The combination of reading from stdin and automatic file format match
could result in the execution of an input module's .end() callback
before its .receive() ever executed. Which then suffers from an sdi
which is not yet ready, and no data was sent to the sigrok session.
Fix that.

Unfortunately the input module's accumulator is hidden behind the
libsigrok API. That's why applications cannot defer the forwarding
of the first data chunk from the input file. Insert a .receive() call
with a zero length instead before more file content is consumed. All
existing input modules are prepared to handle this call sequence.

doc: update uart decoder options example in sigrok-cli(1) manpage

Catch up with renamed UART decoder options.

Reported-By: <redacted> via IRC

show: use getter result to determine "current" presence (voltage range)

Improve the condition which presents the "(current)" decoration when
voltage ranges are listed in --show output. Use an explicit boolean
which is derived from the config getter's return code. Avoid "forcing"
a comparison against a zero value, which can be a valid item in the list
of supported voltages.

This is similar to commit 0171a4a7a49f. See more context (-U10) for the
motivation of the change. Was observed with the kingst-la2016 driver.

session: optionally send EOF to decoder session

Communicate EOF to the decoder session (when the library supports it).

configure: check version dependent sigrokdecode features

Check for the presence of the srd_session_send_eof() API routine which
depends on the libsigrokdecode library version.

show: Format channel output when no channel is available

doc: update IRC reference to Libera.Chat

show: Only use decoder tags if they're available.

This allows us to reduce the libsigrokdecode requirement back to >= 0.5.0,
i.e. we don't strictly need libsigrokdecode >= 0.6.0.

nsis: Fix for installing 64bit Windows programs into 'Program Files'

This fixes bug #1082.

doc: update manpage for channel groups in --get/--config options

accept multiple --get requests for multiple channel groups

Extend the user interface. Accept multiple --get specs which each can query
multiple parameters from a channel group, and optionally can select the
channel group (including the device itself) in their first item. Support
the -g selection for backwards compatibility and/or convenience.

accept multiple --config requests for multiple channel groups

The previous UI implementation supported the selection of a channel
group, and defaulted to the device's global options. This let users
either manipulate global or a single channel group's parmeters.

Extend the user interface. Accept multiple -c specs. Apply the remaining
key-value pairs to the channel group which optionally can get specified
in the first item of a -c spec. This lets users modify several channel
groups' parameters in a single program invocation, including arbitrary
combinations including the device's global parameters.

This extension is completely backwards compatible. When a -c spec lacks
a 'channel_group=' item, then the -g spec is used, which defaults to the
global parameters.

Either an empty string or the 'global' literal can be used to select the
global parameters. Several -c specs can select the same channel group.
This can be useful when command lines get generated by other programs.

parsers: rephrase option key/value parsing some more

Move the key-value pair separation to a subroutine to avoid redundancy
in other locations. Which simplifies the "optional ID" code path as a
byproduct. Drop comments which repeat the routine's doxygen content.
Keep hash insertion text lines short by moving string allocation to a
separate instruction (which rephrases how empty right hand sides are
handled for key-only specs).

parsers: extend options parser, support optional ID in key-value lists

The options parser accepts a colon separated list of key-value pairs, and
a special case where the first item is not a pair but a single word which
is an identifier. This lets users select a device driver, or input/output
format, or decoder.

Extend the options parser to also support an optional identifier as the
first item in a list of key-value pairs. Check the first item's keyword
for a caller specified literal. This change remains backwards compatible
(does not affect behaviour) when users don't pass the special keyword.

main: terminate with error when -B was specified but -P is missing

This fixes bug #1180.

parsers: warn about unknown input/output module option keys

Misspelled option names fail silently, the setting won't take effect and
the user won't notice.

  $ echo "1, 0" | sigrok-cli -I csv:header=no:column_format=t,l -i -

Check whether specified input/output module options are supported, emit
warnings when they are not. It's a design choice to raise awareness yet
make mismatches non-fatal. This can be useful for generated command lines
or during a period of migration after UI changes.

The implementation is prepared for optional call site specific captions in
diagnostics messages. Callers can either have messages generated by common
code, or handle the list of unavailable words themselves, or have common
code emit warnings and in addition take extra actions. It's also trivial
to make mismatches fatal should the need arise.

This resolves the sigrok-cli part of bug #1549. Also addresses brace style
nits in bypassing.

device: rename channel group lookup routine

The select_channel_group() name was misleading, the routine did not
actively select a channel group, instead returned the lookup result
and left the activity to the caller. Rename the routine to improve
readability of call sites.

Address minor style nits in the routine body while we are here.

decode: shuffle order of JSON trace fields for readability

Use a similar order of JSON trace fields as other modes of annotation
output do. This increases readability for humans by moving timestamps
and decoder IDs to the left, and keeping the annotation text at the
right hand side with nothing else following it, and at a constant text
position (somewhat, depending on how timing numbers align, and how
several annotation rows interleave).

decode: concentrate JSON formatting in a single location

It's incredible how a single arbitrary choice of not supporting trailing
commas complicates generator code which immediately writes its output,
instead of accumulating pieces and separating but not terminating them
before transmitting the result.

Concentrate all text to open and close the file and array items, as well
as to separate the array item fields, in the jsontrace_open_close()
routine. This makes calling code more verbose, but heavily simplifies
the sequence and allows to shuffle items without unnecessary manual
adjustment of formatting details. Added complexity to make some of the
closing calls optional also helps.

When this DIY code is considered unmaintainable, the alternative is to
introduce another dependency on a JSON library.

decode: add support for Google Trace Event output (JSON)

Introduce the --protocol-decoder-jsontrace command line option, which
outputs protocol decoder annotations in the Google Trace Event format.
Resulting files can be viewed by means of the chrome://tracing URL in
the Chrome browser (optionally zipped).

Example use:
  $ sigrok-cli -i $F -P uart -A uart=rx-data --protocol-decoder-jsontrace

The initial implementation was
Submitted-By: Dave Craig <redacted>
This commit introduces generic prepare and close support, should other
output formats need to flush previously accumulated data, or defer the
creation of a header and make sure to add a footer around the sequence
of annotations.

decode: start collecting internal state (samplerate)

Introduce variables which hold the internal state during decoder
operation so far. Start by adding a "samplerate used by protocol
decoders". This is motivated by the pending Google Trace Event
feature addition.

show: do print floating point results even if value is zero

The availability of a configuration value with floating point data type
was determined by checking its value for being zero. Which prevents the
display of valid data. See the 'offset' in this example:

  $ sigrok-cli -d demo -g Analog --show

Track the current value's availability in a boolean variable. Do print
values even if they are zero.

show: mark currently selected samplerate item in samplerates lists

Get the current value as well as the list for SR_CONF_SAMPLERATE keys,
and add the "(current)" marker to a list item when a match was found.

  $ sigrok-cli -d fx2lafw --show

decode: add sanity check when mapping channels

We need to check for a valid channel_target pointer to handle the case
when a user missed to provide a channel name.

This fixes bug #1515.

Signed-off-by: Wolfram Sang <redacted>

scan: Show serial number if available

Signed-off-by: Andreas Sandberg <redacted>

nsis: Ship Python stdlib *.pyd files.

This fixes bug #1409.

Set stdout to binary mode on Windows as needed

On Windows, stdout defaults to text mode, which attempts to perform
newline conversion such that if it sees a bare line feed (hex 0A),
it will insert a carriage return (hex 0D) before the line feed.

For textual output like normal annotation display or ASCII art, this is
desirable, but for binary output, this is likely to garble the output.

On Windows when using stdout as the output file destination or when
using the -B/--protocol-decoder-binary option, change the mode of stdout
to _O_BINARY to disable this newline conversion to ensure that the
binary output is faithfully delivered to stdout without modifications.

On all other platforms, setup_binary_stdout() is a no-op.

This fixes the original issue in bug #1427.

Further follow-up work might be needed to fix the reverse behavior that is
introduced by this change - now textual output sent to stdout on Windows
will only have Unix style line endings, rather than being converted to
Windows style line endings.

--list-serial: Reduce indentation level.

This makes some cases of --list-serial output look a bit nicer.

show: support array of floats, unbreaks LCR output frequency listing

doc: discuss "colons in conn= specs" in the manpage

This should be obvious, but it seems it's not. Extend the paragraph
which introduces conn= specs for USB devices. Mention that colons are
not available within conn= specs because they are used to separate -d
fields from each other (driver name, and options like 'conn').

--list-serial: Also mention HID/BT/BLE as possible "ports".

show: print list of available serial ports

Introduce the --list-serial command line option, which prints the list
of serial ports detected by the sigrok serial.c abstraction.

The code was taken from Carl-Fredrik Sundström's <redacted>
message to the mailing list, with minor style fixes applied, and the
option renamed to explicitly mention its "list" nature, not suggesting
it would be a parameter to setup.

session: print error message when output file creation fails

Failure to create an output file from within the sigrok-cli component
previously went unnoticed. Emit an error message to make users aware.

This addresses the sigrok-cli side of bug #1372.

doc: update manpage, --show also works with --input-file

show: add support for -i <fn> --show, provide details on input stream

The combination of an input file spec and --show was not handled before,
and fell through to the case of showing device driver details. Do gather
input stream properties when --show was specified in combination with an
input file, and print those details to stdout.

This implementation does not assume a specific file format, instead the
datafeed callback got modified to watch the packets but not process them
(neither decode nor send data to an output module).

This approach, and the order of option combination checks in main(),
make this implementation work with input files as well as pipes, as well
as with any supported input module or session file, including automatic
format detection.

session: make group of 'static' vars more visible

Put the collection of 'static' variables in datafeed_in() to the top of
the declaration block, to raise awareness during maintenance. These are
"semi global" variables with reduced visibility but extended lifetime.

Update a comment while I'm here. Explain what the early "header packet"
check does instead of what it doesn't.

doc: weaken and extend the description of the -d option

The software implementation supports automatic driver scans, while the
manpage claimed that -d was mandatory. Change the description, suggest
to specify -d for various reasons, but "allow" for the absence of the -d
option as well.

add --dont-scan (-D) command line option

Introduce the -D or --dont-scan command line option. This avoids
automatic driver scans, and exclusively uses what -d specifies.

Some device drivers use non-standard protocol features since their
supported devices don't support the corresponding standard mechanisms.
Which can confuse conforming devices. In these situations it can be
desirable to not scan automatically for available devices, instead do
nothing until callers will specify the -d option.

This change is motivated by but does not resolve bugs #1155 and #1373.

doc: update manpage, mention -A and annotation rows

Extend the manpage section which documents the -A option to select
annotation output. Mention that rows are supported in addition to
classes.

Rephrase the paragraph about multiple decoder specs in a single -A
option. Each of them can select multiple annotation classes, while the
previous documentation strongly suggested that only one class would be
available. [ best viewed with 'git diff -U10' ]

decode: accept annotation rows for -A specs

Extend the logic which parses -A annotation selection specs. Lookup
annotation classes first for backwards compatibility. Then lookup rows
when classes don't match.

Users can mix classes and rows in -A specs as they like. This is a
convenience feature, to eliminate the tedium of spelling out many
classes when a row is to be shown. Which is useful to only see the
"summary", the uppermost protocol layer within a protocol decoder, while
the individual bits on lower layers of that same protocol decoder are
not of interest. It's more accessible to specify

  -A ir_rc5=fields
  -A ac97=slots-out
  -A i2c=addr-data

instead of

  -A ir_rc5=startbit1:startbit2:togglebit-0:togglebit-1:address:command
  -A ac97=slot-out-tag:slot-out-cmd-addr:slot-out-cmd-data:slot-out-03:slot-out-04:slot-out-05:slot-out-06:slot-out-07:slot-out-08:slot-out-09:slot-out-10:slot-out-11:slot-out-io-ctrl
  -A i2c=start:repeat-start:stop:ack:nack:address-read:address-write:data-read:data-write

As an additional benefit row specs remain stable across decoder updates
which introduce new annotation classes on existing rows.

decode: rephrase logic which looks up -A specs

The previous logic scanned for specific annotation classes listed in -A,
broke the loop when nothing was found, otherwise registered the matching
annotation for display later on.

Rephrase the logic such that classes get registered when found, and then
advance to the next spec. Only mismatch will "fall through" to the error
path and terminate the setup routine with a fatal error.

This prepares for an optional lookup of annotation rows when class
lookup fails, before a fatal error is returned.

decode: nits, whitespace and line length fix

Address nits in the setup_pd_annotations() routine. Fixup an occurance
of too deep an indentation level (introduced in 790b026162332). Rephrase
a long line while we are here, to cut its length and for consistency
with other "visible annotations" manipulations in other locations.

decode: improve readability, use intermediate variables

Replace repeated complex keyval[] references with open coded indices by
respectively named variables. Also use 'ann_id' for an often referenced
annotation ID text string, for consistency with decoder ID.

decode: fix memory leaks in annotation setup error paths

Add --list-supported-wiki option.

This is meant for developers only, to easily update the list of
supported protocol decoders in the sigrok wiki.

README: Bump libsigrokdecode requirement to >= 0.6.0.

We now depend on the decoder tags feature introduced in the
libsigrokdecode 0.6.x series.

Decoder --show output: List decoder tags.

Fix listing of some configuration options.

The listing of the following configuration options is currently
broken in sigrok-cli (invalid values are displayed):

 - "timebase" in yokogawa-dlm, rohde-schwarz-hameg, hantek-dso,
   lecroy-xstream, siglent-sds and rigol-ds drivers;
 - "vdiv" in hantek-6xxx, yokogawa-dlm, rohde-schwarz-hameg, hantek-dso,
   lecroy-xstream, hung-chang-dso-2100, siglent-sds and rigol-ds drivers;
 - "spl_meas_range" in pce-322a and cem-dt-885x drivers.

Fixes bug #1331.

Signed-off-by: Guido Trentalancia <redacted>

decode: stricter check for integer decoder options

Tighten the check for integer type decoder options. Insist that the
conversion must have consumed all of the input text. Early reject specs
like "1m" or "8.0", but also unusual specs like "1 ". This shall avoid
later confusion when "seemingly accepted" specs won't take effect during
operation.

decode: add support for float option data type

Accept decoder options where the value is a floating point number. This
fixes bug #1247 (the "unsupported type" issue reported for sigrok-cli).

manpage: Clarify annotation classes in -A description.

manpage: Fix -A description wrt default annotations shown.

main: synchronize --get output for MQ with --show output

The --show output used to print human readable text for measured
quantities, --get printed raw numbers for quantity and flags. Adjust
main.c:get_option() to follow the show.c:show_dev_detail() model for
consistency and usability.

doc: minor update to -O and -g options in the manpage

Demonstrate output format options by means of "-O csv:..." which as a
byproduct also demonstrates booleans. Add an example how to combine -g
and -c, configuring an option of a channel group.

manpage: Various updates and improvements.

doc: mention lack of decoder signal name matching in manpage

Users may assume that sigrok-cli automatically matches input trace names
to decoder signals like pulseview does, and not be able to learn that
this is not the case. Explicitly state that limitation in the manpage.

doc: discuss protocol decoder stacks in the manpage

The previous version mentioned comma-separated lists of decoders, which
is correct but also was easy to miss. Add a discussion and examples on
stacking decoders as well as creating multiple decoder stacks.

Fix invalid frame limit error reporting

This patch fixes a bug in the sigrok command-line interface error reporting
when an invalid frame limit is selected for the Hameg/Rohde&Schwarz HMO
mixed-signal oscilloscope driver (hameg-hmo).

Signed-off-by: Guido Trentalancia <redacted>

input: make read from stdin work with the presence of -I specs

The previous implementation supported reading from stdin, but only when
-I was not specified (i.e. with auto detectable input formats). Accept
stdin also when -I was specified, i.e. with the full set of supported
input formats (given they can get streamed).

main.c: Minor cosmetic fix.

Minor fix that makes Clang Static Analyzer stop complaining

Bugfix in order to make sr_session_stop() actually work.

The sr_session_stop() calls were previously invoked with the session
pointer being NULL, which didn't actually stop the session. This could
lead to samples still being processed and (e.g.) passed to libsigrokdecode
for decoding, even though the session should have been stopped.

Fix this by passing the session pointer along in the
sr_session_datafeed_callback_add() function, so that the callbacks
can make use of it.

session: Don't run nop transform unless explicitly requested.

options: --help output cosmetics.

input.c: Rename BUFSIZE to CHUNK_SIZE.

input: Increase chunk size from 16KB to 4MB.

This not only slightly speeds up loading files, but more importantly leads
to larger chunks being passed to input modules (and later potentially output
modules), some of which can have a large performance penalty for small chunks.

In the specific case of e.g. binary input and an .sr output file this change
can lead to a speedup of 220x or more (due to larger chunks for srzip).

sigrok-cli.h: Drop unused functions and #defines.

Add a .desktop file and an icon.

manpage: Don't list specific output formats, mention -L.

The list is going to be outdated eventually (e.g. "gnuplot" no longer
exists), it's better to just mention that -L can be used to get a list.

Force backup analog traces only if needed

With the current conditions, when using the 'srzip' output module with
device generating SR_DF_ANALOG packets, they are processed both by
'srzip' and the backup 'analog' module (as 'out' is always null for
srzip which does its own file operation).
For a moderately fast continuous analog capture (e.g. 2.4MSamples/s),
the overhead of the 'analog' module is important (e.g. 80% of the whole
processing of my workstation) while we are not using its output,
so disable it when the user actually selected an output format/file
but the module doesn't generate text output.

Also remove the second part of the condition as 'opt_output_format'
never seems to be null or at least not in the case where the user has
omitted output parameters.

Tested with a device generating analog packets both with '-o test.sr'
and no output option.

Update manpage references from -V to -L

Since bug #604, the supported drivers, decoders and input/output formats
are listed by -L|--list-supported.

Update the references in the manpage to -L, accordingly.

decode: Always print colon after protocol decoder ID

Remove the "bug compatibility" support. It's assumed that the omission
of the colon after the protocol decoder ID in log level 3 was less of a
design choice, but instead a byproduct of the redundancy in a previous
implementation (multiple code paths that got out of sync).

doc: add --protocol-decoder-samplenum option to the manpage

decode: Optionally print sample numbers with protocol decoder annotations

Introduce the "--protocol-decoder-samplenum" command line option (no
short form available), which emits sample numbers with textual output
from protocol decoder annotations, regardless of a log level value.

This shall increase usability of sigrok-cli output with external
postprocessors, as the option exclusively adds sample numbers to the
output but does not affect the presence or layout of any other line.

This commit prepends "text" and "meta" annotations with sample number
information. It does not change "binary" output.

decode: Rework logic for text output of protocol decoder annotations

Fold the previous three code paths which formatted text output for
annotations into one code path, which inspects the flags that were
determined before the actual output, and then always formats the fields
in identical ways regardless of why a field is shown.

Remove the assert checks that were introduced in a previous commit. The
logic for the field selection was proven to be identical to the previous
behaviour.

decode: Prepare to rework text output for protocol decoder annotations

When the current implementation receives a protocol decoder annotation,
one out of several code paths prints one of several different variations
of text layout. The current implementation exclusively checks the active
log level to determine the layout variant.

Prepare to rework that text layout logic. Separate the determination of
which fields to display from the logic which does emit those fields in a
specific format.

This commit does not yet adjust the print statements. It is supposed to
verify that the "which fields to display?" logic results in identical
behaviour to the previous implementation.

decode: Nit, avoid 'class' identifier for local variable

session: Adjust scan for non-demo device

The "demo?" condition is a property of the driver not a device instance.
Adjust the check accordingly, by not passing the 'sdi' when retrieving
the list of options. Rename the involved variable to reflect its purpose.
Adjust an error message text.

This fixes bug #848.

HACKING: Prefer git pull requests over mailing list patches.

Also, drop the reference to gitorious.org (no longer available).

configure.ac: Bump package version to 0.8.0.

0.8.0 will be the next major release. Bump now, so that
there is no confusion of tarball 0.7.0 and 0.8.0-git snapshots.

NEWS: Update for upcoming 0.7.0 release.

Fix various clang warnings.

../show.c:668:30: warning: variable 'q' is uninitialized when used here [-Wuninitialized]
                                        s = sr_period_string(p, q);
                                                                ^
../show.c:324:30: note: initialize the variable 'q' to silence this warning
        const uint64_t *uint64, p, q, low, high;
                                    ^
                                     = 0
../show.c:668:27: warning: variable 'p' is uninitialized when used here [-Wuninitialized]
                                        s = sr_period_string(p, q);
                                                             ^
../show.c:324:27: note: initialize the variable 'p' to silence this warning
        const uint64_t *uint64, p, q, low, high;
                                 ^
                                  = 0
../show.c:458:58: warning: variable 'high' is uninitialized when used here [-Wuninitialized]
                                printf("    Maximum number of samples: %"PRIu64"\n", high);
                                                                                     ^~~~
../show.c:324:41:   CC       input.o
note: initialize the variable 'high' to silence this warning
        const uint64_t *uint64, p, q, low, high;
                                               ^
                                                = 0
../show.c:589:33: warning: variable 'low' is uninitialized when used here [-Wuninitialized]
                                printf("%"PRIu64"-%"PRIu64, low, high);
                                                            ^~~
../show.c:324:35: note: initialize the variable 'low' to silence this warning
        const uint64_t *uint64, p, q, low, high;
                                         ^
                                          = 0

HACKING: Update URL to Linux kernel coding style.

README: Drop trailing whitespace.

Fix build when using --without-libsigrokdecode.

Installer: Whitespace consistency fixes.

Installer: Add "sigrok-cli" to uninstaller/Zadig links.

Windows 10 merges all links of the same vendor ("sigrok" here) into one
section in the Start menu. If PulseView and sigrok-cli are installed,
there will be two "Uninstall" links and the user will not know which one
uninstalls which program.

Installer: Place set of example .sr files in separate section

--list-supported: Show detailed library/feature info.

List supported devices, modules, decoders via --list-supported.

Move this data from -V to -L|--list-supported for usability reasons.

This fixes bug #604.

Bump requirements to libsigrok/libsigrokdecode 0.5.0.

We use various new API calls from the upcoming 0.5.0 releases and are
not compatible with the respective 0.4.x anymore.

show: Also print the possible decoder input/output IDs.

options: expand builtin help, discuss samples/time/continuous constraint

It might be surprising when the sigrok-cli(1) program does nothing (yet
spends user noticable time) before quitting while it spews the --help
text to the screen. Expand the builtin help text, explicitly mention
that either of --samples or --frames or --time or --continuous are
essentially required for data acquisition.