document statistics signaling
[barcat.git] / barcat
diff --git a/barcat b/barcat
index 189c8ff72b3688ce8fcd8984313d30503da199d4..3eb004e56495a5dbf9afda46ed481db43e493199 100755 (executable)
--- a/barcat
+++ b/barcat
@@ -40,19 +40,42 @@ GetOptions(\%opt,
                $opt{trim} = $optval;
        },
        'value-length=i',
-       'hidemin=i',
-       'hidemax=i',
        'minval=f',
        'maxval=f',
        'limit|L:s' => sub {
                my ($optname, $optval) = @_;
                $optval ||= 0;
                $optval =~ /\A-[0-9]+\z/ and $optval .= '-';  # tail shorthand
-               ($opt{hidemin}, $opt{hidemax}) =
-               $optval =~ m/\A (?: (-? [0-9]+)? - )? ([0-9]+)? \z/ or die(
+               $optval =~ s/[+]/--/;
+               my ($start, $end) =
+               $optval =~ m/\A (?: (-? [0-9]+)? - )? (-? [0-9]+)? \z/ or die(
                        "Value \"$optval\" invalid for option limit",
                        " (range expected)\n"
                );
+               $start ||= 1;
+               $start--;
+               s/\A-0*\z// and $_ ||= undef for $end // ();
+
+               $opt{hidemin} = sub {
+                       my ($lines) = @_;
+                       if ($start < 0) {
+                               return max(0, $lines + $start + 2);
+                       }
+                       return $start;
+               } if $start;
+               $opt{hidemax} = sub {
+                       my ($limit, $offset) = @_;
+                       if ($end < 0) {
+                               return $offset - $end - 1; # count
+                       }
+                       elsif ($start < 0) {
+                               return $limit - $end + 1; # bottom
+                       }
+                       elsif ($end <= $limit) {
+                               return $end - 1; # less
+                       }
+                       return $limit;
+               } if defined $end;
        },
        'log|e!',
        'header!',
@@ -123,16 +146,21 @@ $opt{'value-length'} = 4 if $opt{units};
 $opt{'value-length'} = 1 if $opt{unmodified};
 $opt{'signal-stat'} //= exists $SIG{INFO} ? 'INFO' : 'QUIT';
 $opt{markers} //= '=avg >31.73v <68.27v +50v |0';
-$opt{report} //= join(', ',
-       '${min; color(31)} min',
-       '${avg; $opt{reformat} or $_ = sprintf "%0.2f", $_; color(36)} avg',
-       '${max; color(32)} max',
+$opt{report} //= join('',
+       '${partsum+; $_ .= " of "}',
+       '${sum+; color(1); $_ .= " total in "}',
+       '${count#} values',
+       '${lines#; $_ = $_ != @order && " over $_ lines"}',
+       sprintf('${count: (%s)}', join ', ',
+               '${min; color(31)} min',
+               '${avg; $opt{reformat} or $_ = sprintf "%0.2f", $_; color(36)} avg',
+               '${max; color(32)} max',
+       ),
 );
 $opt{palette} //= $opt{color} && [31, 90, 32];
 $opt{indicators} = [split //, $opt{indicators} ||
        ($opt{ascii} ? ' .oO' : $opt{spark} ? ' ▁▂▃▄▅▆▇█' : ' ▏▎▍▌▋▊▉█')
 ] if defined $opt{indicators} or $opt{spark};
-$opt{hidemin} = ($opt{hidemin} || 1) - 1;
 $opt{input} = (@ARGV && $ARGV[0] =~ m/\A[-0-9]/) ? \@ARGV : undef
        and undef $opt{interval};
 
@@ -180,9 +208,8 @@ if (defined $opt{interval}) {
        } or warn $@, "Expect slowdown with large datasets!\n";
 }
 
-my $valmatch = qr<
-       $opt{anchor} ( \h* -? [0-9]* [.]? [0-9]+ (?: e[+-]?[0-9]+ )? |)
->x;
+my $float = qr<[0-9]* [.]? [0-9]+ (?: e[+-]?[0-9]+ )?>; # positive numberish
+my $valmatch = qr< $opt{anchor} ( \h* -? $float |) >x;
 while (defined ($_ = $opt{input} ? shift @{ $opt{input} } : readline)) {
        s/\r?\n\z//;
        s/\A\h*// unless $opt{unmodified};
@@ -215,20 +242,10 @@ sub color {
 
 sub show_lines {
 
-state $nr =
-       $opt{hidemin} < 0 ? max(0, @lines + $opt{hidemin} + 1) :
-       $opt{hidemin};
+state $nr = $opt{hidemin} ? $opt{hidemin}->($#lines) : 0;
 @lines > $nr or return;
 
-my $limit = $#lines;
-if (defined $opt{hidemax}) {
-       if ($opt{hidemin} and $opt{hidemin} < 0) {
-               $limit -= $opt{hidemax} - 1;
-       }
-       elsif ($opt{hidemax} <= $limit) {
-               $limit = $opt{hidemax} - 1;
-       }
-}
+my $limit = $opt{hidemax} ? $opt{hidemax}->($#lines, $nr) : $#lines;
 
 @order = sort { $b <=> $a } @order unless tied @order;
 my $maxval = $opt{maxval} // (
@@ -240,8 +257,8 @@ my $range = $maxval - $minval;
 $range &&= log $range if $opt{log};
 my $lenval = $opt{'value-length'} // max map { length } @order;
 my $len    = defined $opt{trim} && $opt{trim} <= 0 ? -$opt{trim} + 1 :
-       max map { length $values[$_] && length $lines[$_] }
-               0 .. min $#lines, $opt{hidemax} || ();  # left padding
+       max(map { length $values[$_] && length $lines[$_] } $nr .. $limit)
+       // 0;  # left padding
 my $size   = defined $opt{width} && $range &&
        ($opt{width} - $lenval - $len - !!$opt{indicators});  # bar multiplication
 
@@ -249,7 +266,7 @@ my @barmark;
 if ($opt{markers} and $size > 0) {
        for my $markspec (split /\h/, $opt{markers}) {
                my ($char, $func) = split //, $markspec, 2;
-               my $pos = eval {
+               my @pos = eval {
                        if ($func eq 'avg') {
                                return sum(@order) / @order;
                        }
@@ -263,24 +280,34 @@ if ($opt{markers} and $size > 0) {
                        elsif ($func =~ /\A-?[0-9.]+\z/) {
                                return $func;
                        }
+                       elsif ($func =~ /\A\/($float)\z/) {
+                               my @range = my $multiple = my $next = $1;
+                               while ($next < $maxval) {
+                                       $multiple *= 10 if $opt{log};
+                                       push @range, $next += $multiple;
+                               }
+                               return @range;
+                       }
                        else {
                                die "Unknown marker $char: $func\n";
                        }
                };
-               defined $pos or do {
+               @pos or do {
                        warn $@ if $@;
                        next;
                };
-               $pos -= $minval;
-               $pos &&= log $pos if $opt{log};
-               $pos >= 0 or next;
-               color(36) for $barmark[$pos / $range * $size] = $char;
+               for my $pos (@pos) {
+                       $pos -= $minval;
+                       $pos &&= log $pos if $opt{log};
+                       $pos >= 0 or next;
+                       color(36) for $barmark[$pos / $range * $size] = $char;
+               }
        }
 
        state $lastmax = $maxval;
        if ($maxval > $lastmax) {
                print ' ' x ($lenval + $len);
-               printf color(90);
+               print color(90);
                printf '%-*s',
                        ($lastmax - $minval) * $size / $range + .5,
                        '-' x (($values[$nr - 1] - $minval) * $size / $range);
@@ -352,42 +379,45 @@ say $opt{palette} ? color(0) : '' if $opt{spark};
 }
 
 sub show_stat {
-       if ($opt{hidemin} or $opt{hidemax}) {
-               my $linemin = $opt{hidemin};
-               my $linemax = ($opt{hidemax} || @lines) - 1;
-               if ($linemin < 0) {
-                       $linemin += @lines;
-                       $linemax = @lines - $linemax;
-               }
-               printf '%.8g of ', $opt{'value-format'}->(
-                       sum(grep {length} @values[$linemin .. $linemax]) // 0
-               );
-       }
+       my %vars = (
+               count => int @order,
+               lines => int @lines,
+       );
+       my $linemin = !$opt{hidemin} ? 0 :
+               ($vars{start} = $opt{hidemin}->($#lines));
+       my $linemax = !$opt{hidemax} ? $#lines :
+               ($vars{end} = $opt{hidemax}->($#lines, $vars{start}));
        if (@order) {
-               my $total = sum @order;
-               my $fmt = '${sum;color(1)} total in ${count} values';
-               $fmt .= ' over ${lines} lines' if @order != @lines;
-               $fmt .= " ($_)" for $opt{report} || ();
-               print varfmt($fmt, {
-                       sum => $total,
-                       count => int @order,
-                       lines => int @lines,
+               $vars{partsum} = sum(0, grep {length} @values[$linemin .. $linemax])
+                       if $linemin <= $linemax and ($opt{hidemin} or $opt{hidemax});
+               %vars = (%vars,
+                       sum => sum(@order),
                        min => $order[-1],
                        max => $order[0],
-                       avg => $total / @order,
-               });
+               );
+               $vars{avg} = $vars{sum} / @order;
        }
-       say '';
+       say varfmt($opt{report}, \%vars);
        return 1;
 }
 
 sub varfmt {
        my ($fmt, $vars) = @_;
-       $fmt =~ s[\$\{ (\w+) (?<cmd>; (?: [^{}]+ | \{.*?\} )*)? \}]{
-               local $_ = $vars->{$1}; #TODO //
-               $_ = $opt{'value-format'}->($_) if $opt{reformat};
-               eval $+{cmd} if $+{cmd}; #TODO $@
-               $_;
+       $fmt =~ s[\$\{ \h*+ ((?: [^{}]++ | \{(?1)\} )+) \}]{
+               my ($name, $op, $cmd) = split /\s*([;:])/, $1, 2;
+               my $format = $name =~ s/\+// || $name !~ s/\#// && $opt{reformat};
+               local $_ = $vars->{$name};
+               defined && do {
+                       $_ = $opt{'value-format'}->($_) if $format;
+                       if ($cmd and $op eq ':') {
+                               $_ = varfmt($cmd, $vars);
+                       }
+                       elsif ($cmd) {
+                               eval $cmd;
+                               warn "Error in \$$name report: $@" if $@;
+                       }
+                       $_;
+               }
        }eg;
        return $fmt;
 }
@@ -419,8 +449,8 @@ Options:
                            Output partial progress every given number of
                            seconds or input lines
   -l, --length=[-]SIZE[%]  Trim line contents (between number and bars)
-  -L, --limit[=(N|-LAST|START-[END])]
-                           Stop output after a number of lines
+  -L, --limit=[N|[-]START(-[END]|+N)]
+                           Select a range of lines to display
   -e, --log                Logarithmic (exponential) scale instead of linear
       --graph-format=CHAR  Glyph to repeat for the graph line
   -m, --markers=FORMAT     Statistical positions to indicate on bars
@@ -522,14 +552,16 @@ unless C<--length=0>.
 Prepend a dash (i.e. make negative) to enforce padding
 regardless of encountered contents.
 
-=item -L, --limit[=(<count> | -<last> | <start>-[<end>])]
+=item -L, --limit=[<count> | [-]<start>(-[<end>] | +<count>)]
 
-Stop output after a number of lines.
-A single value indicates the last line number (like C<head>),
+Select a range of lines to display.
+A single integer indicates the last line number (like C<head>),
 or first line counting from the bottom if negative (like C<tail>).
-A specific range can be given by two values.
 
-All input is still counted and analyzed for statistics,
+A range consists of a starting line number followed by either
+a dash C<-> to an optional end, or plus sign C<+> with count.
+
+All hidden input is still counted and analyzed for statistics,
 but disregarded for padding and bar size.
 
 =item -e, --log
@@ -554,7 +586,12 @@ A single indicator glyph precedes each position:
 Exact value to match on the axis.
 A vertical bar at the zero crossing is displayed by I<|0>
 for negative values.
-For example I<:3.14> would show a colon at pi.
+For example I<π3.14> would locate pi.
+
+=item I</><interval>
+
+Repeated at every multiple of a number.
+For example I<:/1> for a grid at every integer.
 
 =item <percentage>I<v>
 
@@ -611,6 +648,10 @@ Unspecified, block fill glyphs U+2581-2588 will be used.
 
 Total statistics after all data.
 
+While processing (possibly a neverending pipe),
+intermediate results are also shown on signal I<SIGINFO> if available (control+t on BSDs)
+or I<SIGQUIT> otherwise (ctrl+\ on linux).
+
 =item -u, --unmodified
 
 Do not reformat values, keeping leading whitespace.
@@ -729,7 +770,7 @@ Total population history in XML from the World Bank:
 
     curl http://api.worldbank.org/v2/country/1W/indicator/SP.POP.TOTL |
     xmlstarlet sel -t -m '*/*' -v wb:date -o ' ' -v wb:value -n |
-    barcat -f1 -H
+    barcat -f1 -H --markers=+/1e9
 
 Population and other information for all countries: