keep ordered values, only resort on interval
[barcat.git] / barcat
diff --git a/barcat b/barcat
index 1a70964c320bc2b66fc0abb8ca09112a0e675656..1114656f74c0cab9a0a69eb91f3599ca78ffea26 100755 (executable)
--- a/barcat
+++ b/barcat
@@ -6,7 +6,7 @@ use List::Util qw( min max sum );
 use open qw( :std :utf8 );
 use experimental qw( lexical_subs );
 
-our $VERSION = '1.02';
+our $VERSION = '1.03';
 
 use Getopt::Long '2.33', qw( :config gnu_getopt );
 sub podexit {
@@ -17,7 +17,13 @@ my %opt;
 GetOptions(\%opt,
        'color|c!',
        'C' => sub { $opt{color} = 0 },
-       'field|f=s',
+       'field|f=s' => sub {
+               eval {
+                       local $_ = $_[1];
+                       $opt{anchor} = /^[0-9]+$/ ? qr/(?:\S*\h+){$_}\K/ : qr/$_/;
+               } or die $@ =~ s/(?: at .+)?$/ for option $_[0]/r;
+       },
+       'human-readable|H!',
        'interval|t:i',
        'trim|length|l=s' => sub {
                my ($optname, $optval) = @_;
@@ -29,7 +35,19 @@ GetOptions(\%opt,
                $opt{trim} = $optval;
        },
        'value-length=i',
+       'hidemin=i',
+       'hidemax=i',
+       'limit|L=s' => sub {
+               my ($optname, $optval) = @_;
+               $optval ||= 0;
+               ($opt{hidemin}, $opt{hidemax}) =
+               $optval =~ m/\A (?: ([0-9]+)? - )? ([0-9]+)? \z/x or die(
+                       "Value \"$optval\" invalid for option limit",
+                       " (range expected)\n"
+               );
+       },
        'markers|m=s',
+       'stat|s!',
        'unmodified|u!',
        'width|w=i',
        'usage|h' => sub { podexit() },
@@ -39,6 +57,9 @@ GetOptions(\%opt,
 $opt{width} ||= $ENV{COLUMNS} || 80;
 $opt{color} //= -t *STDOUT;  # enable on tty
 $opt{trim}   *= $opt{width} / 100 if $opt{trimpct};
+$opt{units}   = [split //, ' kMGTPEZYyzafpnμm'] if $opt{'human-readable'};
+$opt{anchor} //= qr/\A/;
+$opt{'value-length'} = 6 if $opt{units};
 
 if (defined $opt{interval}) {
        $opt{interval} ||= 1;
@@ -51,14 +72,13 @@ if (defined $opt{interval}) {
 
 $SIG{INT} = 'IGNORE';  # continue after assumed eof
 
-my (@lines, @values);
-my $anchor = !defined $opt{field} ? qr/\A/ :
-       $opt{field} =~ /^[0-9]+$/ ? qr/(?:\S*\h+){$opt{field}}\K/ :
-       $opt{field};
+my (@lines, @values, @order);
+my $valmatch = qr/$opt{anchor} ( \h* -? [0-9]* \.? [0-9]+ (?: e[+-]?[0-9]+ )? |)/x;
 while (readline) {
        s/\r?\n\z//;
        s/^\h*// unless $opt{unmodified};
-       push @values, s/$anchor ( \h* -? [0-9]* \.? [0-9]+ |)/\n/x && $1;
+       push @values, s/$valmatch/\n/ && $1;
+       push @order, $1 if length $1;
        if (defined $opt{trim}) {
                my $trimpos = abs $opt{trim};
                if ($trimpos <= 1) {
@@ -75,15 +95,18 @@ $SIG{INT} = 'DEFAULT';
 
 sub show_lines {
 
-state $nr = 0;
+state $nr = $opt{hidemin} ? $opt{hidemin} - 1 : 0;
 @lines and @lines > $nr or return;
+@lines or return;
+@lines > $nr or return unless $opt{hidemin};
 
-my @order  = sort { $b <=> $a } grep { length } @values;
-my $maxval = $order[0];
-my $minval = min $order[-1], 0;
+@order = sort { $b <=> $a } @order;
+my $maxval = ($opt{hidemax} ? max grep { length } @values[0 .. $opt{hidemax} - 1] : $order[0]) // 0;
+my $minval = min $order[-1] // (), 0;
 my $lenval = $opt{'value-length'} // max map { length } @order;
 my $len    = defined $opt{trim} && $opt{trim} <= 0 ? -$opt{trim} + 1 :
-       max map { length $values[$_] && length $lines[$_] } 0 .. $#lines;  # left padding
+       max map { length $values[$_] && length $lines[$_] }
+               0 .. min $#lines, $opt{hidemax} || ();  # left padding
 my $size   = ($maxval - $minval) &&
        ($opt{width} - $lenval - $len) / ($maxval - $minval);  # bar multiplication
 
@@ -111,35 +134,64 @@ if ($opt{markers} // 1 and $size > 0) {
        }
 }
 
+@lines > $nr or return if $opt{hidemin};
+
+sub sival {
+       my $unit = int(log($_[0]) / log(1000) - ($_[0] < 1));
+       my $float = $_[0] !~ /^ (?: 0*\.)? [0-9]{1,3} $/x;
+       sprintf('%*.*f%*s',
+               $float ? 5 : 3, $float,  # length and tenths
+               $_[0] / 1000 ** $unit,   # number
+               $float ? 0 : 3,          # unit size
+               $#{$opt{units}} >> 1 < abs $unit ? "e$unit" : $opt{units}->[$unit]
+       );
+}
+
 while ($nr <= $#lines) {
+       $nr >= $opt{hidemax} and last if defined $opt{hidemax};
        my $val = $values[$nr];
        if (length $val) {
                my $color = !$opt{color} ? 0 :
                        $val == $order[0] ? 32 : # max
                        $val == $order[-1] ? 31 : # min
                        90;
-               $val = sprintf "%*s", $lenval, $val;
+               $val = $opt{units} ? sival($val) : sprintf "%*s", $lenval, $val;
                $val = "\e[${color}m$val\e[0m" if $color;
        }
        my $line = $lines[$nr] =~ s/\n/$val/r;
        printf '%-*s', $len + length($val), $line;
        print $barmark[$_] // '-' for 1 .. $size && (($values[$nr] || 0) - $minval) * $size + .5;
        say '';
+
        $nr++;
 }
 
 }
 show_lines();
 
+if ($opt{stat}) {
+       if ($opt{hidemin} or $opt{hidemax}) {
+               $opt{hidemin} ||= 1;
+               $opt{hidemax} ||= @lines;
+               printf '%s of ', sum(@values[$opt{hidemin} - 1 .. $opt{hidemax} - 1]) // 0;
+       }
+       my $total = sum @order;
+       printf '%s total', $total;
+       printf ' in %d values', scalar @values;
+       printf ' (%s min, %*.*f avg, %s max)',
+               $order[-1], 0, 2, $total / @order, $order[0];
+       say '';
+}
+
 __END__
 
 =head1 NAME
 
-graph - append bar chart to input numbers
+barcat - graph to visualize input values
 
 =head1 SYNOPSIS
 
-B<graph> [<options>] [<input>]
+B<barcat> [<options>] [<input>]
 
 =head1 DESCRIPTION
 
@@ -169,6 +221,13 @@ A string can indicate the starting position of a value
 or capture the numbers itself,
 for example I<-f'(\d+)'> for the first digits anywhere.
 
+=item -H, --human-readable
+
+Format values using SI unit prefixes,
+turning long numbers like I<12356789> into I<12.4M>.
+Also changes an exponent I<1.602176634e-19> to I<160.2z>.
+Short integers are aligned but kept without decimal point.
+
 =item -t, --interval[=<seconds>]
 
 Interval time to output partial progress.
@@ -183,6 +242,12 @@ unless C<--length=0>.
 Prepend a dash (i.e. make negative) to enforce padding
 regardless of encountered contents.
 
+=item -L, --limit=(<count>|<start>-[<end>])
+
+Stop output after a number of lines.
+All input is still counted and analyzed for statistics,
+but disregarded for padding and bar size.
+
 =item -m, --markers=
 
 Statistical positions to indicate on bars.
@@ -216,6 +281,10 @@ or 68% of all entries.
 
 =back
 
+=item -s, --stat
+
+Total statistics after all data.
+
 =item -u, --unmodified
 
 Do not strip leading whitespace.
@@ -236,64 +305,64 @@ Appended graphics will extend to fill up the entire screen.
 
 Commonly used after counting, such as users on the current server:
 
-    users | sed 's/ /\n/g' | sort | uniq -c | graph
+    users | sed 's/ /\n/g' | sort | uniq -c | barcat
 
 Letter frequencies in text files:
 
     cat /usr/share/games/fortunes/*.u8 |
     perl -CO -nE 'say for grep length, split /\PL*/, uc' |
-    sort | uniq -c | graph
+    sort | uniq -c | barcat
 
 Memory usage of user processes:
 
-    ps xo %mem,pid,cmd | graph -l40
+    ps xo %mem,pid,cmd | barcat -l40
 
 Sizes (in megabytes) of all root files and directories:
 
-    du -d0 -m * | graph
+    du -d0 -m * | barcat
 
 Number of HTTP requests per day:
 
-    cat log/access.log | cut -d\  -f4 | cut -d: -f1 | uniq -c | graph
+    cat log/access.log | cut -d\  -f4 | cut -d: -f1 | uniq -c | barcat
 
 Any kind of database query with leading counts:
 
     echo 'SELECT count(*),schemaname FROM pg_tables GROUP BY 2' |
-    psql -t | graph -u
+    psql -t | barcat -u
 
 Exchange rate USD/EUR history from CSV download provided by ECB:
 
     curl https://sdw.ecb.europa.eu/export.do \
          -Gd 'node=SEARCHRESULTS&q=EXR.D.USD.EUR.SP00.A&exportType=csv' |
-    grep '^[12]' | graph -f',\K' --value-length=7
+    grep '^[12]' | barcat -f',\K' --value-length=7
 
 Total population history from the World Bank dataset (XML):
 
     curl http://api.worldbank.org/v2/country/1W/indicator/SP.POP.TOTL |
     xmllint --xpath '//*[local-name()="date" or local-name()="value"]' - |
-    sed -r 's,</wb:value>,\n,g; s,(<[^>]+>)+, ,g' | graph -f1
+    sed -r 's,</wb:value>,\n,g; s,(<[^>]+>)+, ,g' | barcat -f1 -H
 
 Movies per year from prepared JSON data:
 
     curl https://github.com/prust/wikipedia-movie-data/raw/master/movies.json |
-    jq '.[].year' | uniq -c | graph
+    jq '.[].year' | uniq -c | barcat
 
 Pokémon height comparison:
 
        curl https://github.com/Biuni/PokemonGO-Pokedex/raw/master/pokedex.json |
-       jq -r '.pokemon[] | [.height,.num,.name] | join(" ")' | graph
+       jq -r '.pokemon[] | [.height,.num,.name] | join(" ")' | barcat
 
 Git statistics, such commit count by year:
 
-    git log --pretty=%ci | cut -b-4 | uniq -c | graph
+    git log --pretty=%ci | cut -b-4 | uniq -c | barcat
 
-Or the most frequent authors:
+Or the top 3 most frequent authors with statistics over all:
 
-    git shortlog -sn | graph | head -3
+    git shortlog -sn | barcat -L3 -s
 
 Latency history:
 
-    ping google.com | graph -f'time=\K' -t
+    ping google.com | barcat -f'time=\K' -t
 
 =head1 AUTHOR