json example alternative without jq
[barcat.git] / barcat
diff --git a/barcat b/barcat
index 785df753eb73b8354f941ac6ae639afdeafa87de..d3ba821a27802df355ad070a43633d828fba3c16 100755 (executable)
--- a/barcat
+++ b/barcat
@@ -6,7 +6,7 @@ use List::Util qw( min max sum );
 use open qw( :std :utf8 );
 use experimental qw( lexical_subs );
 
-our $VERSION = '1.03';
+our $VERSION = '1.04';
 
 use Getopt::Long '2.33', qw( :config gnu_getopt );
 sub podexit {
@@ -61,6 +61,8 @@ $opt{units}   = [split //, ' kMGTPEZYyzafpnμm'] if $opt{'human-readable'};
 $opt{anchor} //= qr/\A/;
 $opt{'value-length'} = 6 if $opt{units};
 
+my (@lines, @values, @order);
+
 if (defined $opt{interval}) {
        $opt{interval} ||= 1;
        $SIG{ALRM} = sub {
@@ -68,17 +70,22 @@ if (defined $opt{interval}) {
                alarm $opt{interval};
        };
        alarm $opt{interval};
+
+       eval {
+               require Tie::Array::Sorted;
+               tie @order, 'Tie::Array::Sorted', sub { $_[1] <=> $_[0] };
+       } or warn $@, "Expect slowdown with large datasets!\n";
 }
 
 $SIG{INT} = 'IGNORE';  # continue after assumed eof
 
-my (@lines, @values);
 my $valmatch = qr/$opt{anchor} ( \h* -? [0-9]* \.? [0-9]+ (?: e[+-]?[0-9]+ )? |)/x;
 while (readline) {
        s/\r?\n\z//;
        s/^\h*// unless $opt{unmodified};
        push @values, s/$valmatch/\n/ && $1;
-       if (defined $opt{trim}) {
+       push @order, $1 if length $1;
+       if (defined $opt{trim} and defined $1) {
                my $trimpos = abs $opt{trim};
                if ($trimpos <= 1) {
                        $_ = substr $_, 0, 1;
@@ -92,8 +99,6 @@ while (readline) {
 
 $SIG{INT} = 'DEFAULT';
 
-my @order;
-
 sub show_lines {
 
 state $nr = $opt{hidemin} ? $opt{hidemin} - 1 : 0;
@@ -101,9 +106,9 @@ state $nr = $opt{hidemin} ? $opt{hidemin} - 1 : 0;
 @lines or return;
 @lines > $nr or return unless $opt{hidemin};
 
-@order  = sort { $b <=> $a } grep { length } @values;
-my $maxval = $opt{hidemax} ? max @values[0 .. $opt{hidemax} - 1] : $order[0];
-my $minval = min $order[-1], 0;
+@order = sort { $b <=> $a } @order unless tied @order;
+my $maxval = ($opt{hidemax} ? max grep { length } @values[0 .. $opt{hidemax} - 1] : $order[0]) // 0;
+my $minval = min $order[-1] // (), 0;
 my $lenval = $opt{'value-length'} // max map { length } @order;
 my $len    = defined $opt{trim} && $opt{trim} <= 0 ? -$opt{trim} + 1 :
        max map { length $values[$_] && length $lines[$_] }
@@ -171,11 +176,18 @@ while ($nr <= $#lines) {
 show_lines();
 
 if ($opt{stat}) {
-       my $total = sum @order;
-       printf '%s total', $total;
-       printf ' in %d values', scalar @values;
-       printf ' (%s min, %*.*f avg, %s max)',
-               $order[-1], 0, 2, $total / @order, $order[0];
+       if ($opt{hidemin} or $opt{hidemax}) {
+               $opt{hidemin} ||= 1;
+               $opt{hidemax} ||= @lines;
+               printf '%s of ', sum(@values[$opt{hidemin} - 1 .. $opt{hidemax} - 1]) // 0;
+       }
+       if (@order) {
+               my $total = sum @order;
+               printf '%s total', $total;
+               printf ' in %d values', scalar @values;
+               printf ' (%s min, %*.*f avg, %s max)',
+                       $order[-1], 0, 2, $total / @order, $order[0];
+       }
        say '';
 }
 
@@ -299,56 +311,68 @@ Appended graphics will extend to fill up the entire screen.
 
 =head1 EXAMPLES
 
-Commonly used after counting, such as users on the current server:
+Draw a sine wave:
 
-    users | sed 's/ /\n/g' | sort | uniq -c | barcat
+    seq 30 | awk '{print sin($1/10)}' | barcat
 
-Letter frequencies in text files:
+Compare file sizes (with human-readable numbers):
 
-    cat /usr/share/games/fortunes/*.u8 |
-    perl -CO -nE 'say for grep length, split /\PL*/, uc' |
-    sort | uniq -c | barcat
+    du -d0 -b * | barcat -H
 
-Memory usage of user processes:
+Memory usage of user processes with long names truncated:
 
     ps xo %mem,pid,cmd | barcat -l40
 
-Sizes (in megabytes) of all root files and directories:
+Monitor network latency from prefixed results:
 
-    du -d0 -m * | barcat
+    ping google.com | barcat -f'time=\K' -t
+
+Commonly used after counting, for example users on the current server:
+
+    users | sed 's/ /\n/g' | sort | uniq -c | barcat
+
+Letter frequencies in text files:
+
+    cat /usr/share/games/fortunes/*.u8 |
+    perl -CS -nE 'say for grep length, split /\PL*/, uc' |
+    sort | uniq -c | barcat
 
 Number of HTTP requests per day:
 
     cat log/access.log | cut -d\  -f4 | cut -d: -f1 | uniq -c | barcat
 
-Any kind of database query with leading counts:
+Any kind of database query with counts, preserving returned alignment:
 
     echo 'SELECT count(*),schemaname FROM pg_tables GROUP BY 2' |
     psql -t | barcat -u
 
-Exchange rate USD/EUR history from CSV download provided by ECB:
+External datasets, like movies per year:
+
+    curl https://github.com/prust/wikipedia-movie-data/raw/master/movies.json |
+    perl -054 -nlE 'say if s/^"year"://' | uniq -c | barcat
+
+But please get I<jq> to process JSON
+and replace the manual selection by C<< jq '.[].year' >>.
+
+Pokémon height comparison:
+
+    curl https://github.com/Biuni/PokemonGO-Pokedex/raw/master/pokedex.json |
+    jq -r '.pokemon[] | [.height,.num,.name] | join(" ")' | barcat
+
+USD/EUR exchange rate from CSV provided by the ECB:
 
     curl https://sdw.ecb.europa.eu/export.do \
          -Gd 'node=SEARCHRESULTS&q=EXR.D.USD.EUR.SP00.A&exportType=csv' |
     grep '^[12]' | barcat -f',\K' --value-length=7
 
 Total population history from the World Bank dataset (XML):
+External datasets, like total population in XML from the World Bank:
 
     curl http://api.worldbank.org/v2/country/1W/indicator/SP.POP.TOTL |
     xmllint --xpath '//*[local-name()="date" or local-name()="value"]' - |
     sed -r 's,</wb:value>,\n,g; s,(<[^>]+>)+, ,g' | barcat -f1 -H
 
-Movies per year from prepared JSON data:
-
-    curl https://github.com/prust/wikipedia-movie-data/raw/master/movies.json |
-    jq '.[].year' | uniq -c | barcat
-
-Pokémon height comparison:
-
-       curl https://github.com/Biuni/PokemonGO-Pokedex/raw/master/pokedex.json |
-       jq -r '.pokemon[] | [.height,.num,.name] | join(" ")' | barcat
-
-Git statistics, such commit count by year:
+And of course various Git statistics, such commit count by year:
 
     git log --pretty=%ci | cut -b-4 | uniq -c | barcat
 
@@ -356,10 +380,6 @@ Or the top 3 most frequent authors with statistics over all:
 
     git shortlog -sn | barcat -L3 -s
 
-Latency history:
-
-    ping google.com | barcat -f'time=\K' -t
-
 =head1 AUTHOR
 
 Mischa POSLAWSKY <perl@shiar.org>