barcat

   1 #!/usr/bin/env perl
   2 use 5.018;
   3 use warnings;
   4 use utf8;
   5 use List::Util qw( min max sum );
   6 use open qw( :std :utf8 );
   7 use experimental qw( lexical_subs );
   8
   9 our $VERSION = '1.03';
  10
  11 use Getopt::Long '2.33', qw( :config gnu_getopt );
  12 sub podexit {
  13         require Pod::Usage;
  14         Pod::Usage::pod2usage(-exitval => 0, -perldocopt => '-oman', @_);
  15 }
  16 my %opt;
  17 GetOptions(\%opt,
  18         'color|c!',
  19         'C' => sub { $opt{color} = 0 },
  20         'field|f=s' => sub {
  21                 $opt{anchor} = /^[0-9]+$/ ? qr/(?:\S*\h+){$_}\K/ : $_ for $_[1];
  22         },
  23         'human-readable|H!',
  24         'interval|t:i',
  25         'trim|length|l=s' => sub {
  26                 my ($optname, $optval) = @_;
  27                 $optval =~ s/%$// and $opt{trimpct}++;
  28                 $optval =~ m/^-?[0-9]+$/ or die(
  29                         "Value \"$optval\" invalid for option $optname",
  30                         " (number or percentage expected)\n"
  31                 );
  32                 $opt{trim} = $optval;
  33         },
  34         'value-length=i',
  35         'hidemin=i',
  36         'hidemax=i',
  37         'limit|L=s' => sub {
  38                 my ($optname, $optval) = @_;
  39                 $optval ||= 0;
  40                 ($opt{hidemin}, $opt{hidemax}) =
  41                 $optval =~ m/\A (?: ([0-9]+)? - )? ([0-9]+)? \z/x or die(
  42                         "Value \"$optval\" invalid for option limit",
  43                         " (range expected)\n"
  44                 );
  45         },
  46         'markers|m=s',
  47         'unmodified|u!',
  48         'width|w=i',
  49         'usage|h' => sub { podexit() },
  50         'help'    => sub { podexit(-verbose => 2) },
  51 ) or exit 64;  # EX_USAGE
  52
  53 $opt{width} ||= $ENV{COLUMNS} || 80;
  54 $opt{color} //= -t *STDOUT;  # enable on tty
  55 $opt{trim}   *= $opt{width} / 100 if $opt{trimpct};
  56 $opt{units}   = $opt{'human-readable'} && ['', qw( k M G T P E Z Y y z a f p n μ m )];
  57 $opt{anchor} //= qr/\A/;
  58
  59 if (defined $opt{interval}) {
  60         $opt{interval} ||= 1;
  61         $SIG{ALRM} = sub {
  62                 show_lines();
  63                 alarm $opt{interval};
  64         };
  65         alarm $opt{interval};
  66 }
  67
  68 $SIG{INT} = 'IGNORE';  # continue after assumed eof
  69
  70 my (@lines, @values);
  71 my $valmatch = qr/$opt{anchor} ( \h* -? [0-9]* \.? [0-9]+ |)/x;
  72 while (readline) {
  73         s/\r?\n\z//;
  74         s/^\h*// unless $opt{unmodified};
  75         push @values, s/$valmatch/\n/ && $1;
  76         if (defined $opt{trim}) {
  77                 my $trimpos = abs $opt{trim};
  78                 if ($trimpos <= 1) {
  79                         $_ = substr $_, 0, 1;
  80                 }
  81                 elsif (length > $trimpos) {
  82                         substr($_, $trimpos - 1) = '…';
  83                 }
  84         }
  85         push @lines, $_;
  86 }
  87
  88 $SIG{INT} = 'DEFAULT';
  89
  90 sub show_lines {
  91
  92 state $nr = $opt{hidemin} ? $opt{hidemin} - 1 : 0;
  93 @lines and @lines > $nr or return;
  94
  95 my @order  = sort { $b <=> $a } grep { length } @values;
  96 my $maxval = $opt{hidemax} ? max @values[0 .. $opt{hidemax} - 1] : $order[0];
  97 my $minval = min $order[-1], 0;
  98 my $lenval = $opt{'value-length'} // max map { length } @order;
  99 my $len    = defined $opt{trim} && $opt{trim} <= 0 ? -$opt{trim} + 1 :
 100         max map { length $values[$_] && length $lines[$_] }
 101                 0 .. min $#lines, $opt{hidemax} || ();  # left padding
 102 my $size   = ($maxval - $minval) &&
 103         ($opt{width} - $lenval - $len) / ($maxval - $minval);  # bar multiplication
 104
 105 my @barmark;
 106 if ($opt{markers} // 1 and $size > 0) {
 107         my sub orderpos { (($order[$_[0]] + $order[$_[0] + .5]) / 2 - $minval) * $size }
 108         $barmark[ (sum(@order) / @order - $minval) * $size ] = '=';  # average
 109         $barmark[ orderpos($#order * .31731) ] = '>';
 110         $barmark[ orderpos($#order * .68269) ] = '<';
 111         $barmark[ orderpos($#order / 2) ] = '+';  # mean
 112         $barmark[ -$minval * $size ] = '|' if $minval < 0;  # zero
 113         defined and $opt{color} and $_ = "\e[36m$_\e[0m" for @barmark;
 114
 115         state $lastmax = $maxval;
 116         if ($maxval > $lastmax) {
 117                 print ' ' x ($lenval + $len);
 118                 printf "\e[90m" if $opt{color};
 119                 printf '%-*s',
 120                         ($lastmax - $minval) * $size + .5,
 121                         '-' x (($values[$nr - 1] - $minval) * $size);
 122                 print "\e[92m" if $opt{color};
 123                 say '+' x (($maxval - $lastmax - $minval) * $size + .5);
 124                 print "\e[0m" if $opt{color};
 125                 $lastmax = $maxval;
 126         }
 127 }
 128
 129 sub sival {
 130         my $unit = int(log($_[0]) / log(1000) - ($_[0] < 1));
 131         sprintf "%3.1f%1s", $_[0] / 1000 ** $unit,
 132                 $#{$opt{units}} >> 1 < abs $unit ? "e$unit" : $opt{units}->[$unit];
 133 }
 134
 135 while ($nr <= $#lines) {
 136         $nr >= $opt{hidemax} and last if $opt{hidemax};
 137         my $val = $values[$nr];
 138         if (length $val) {
 139                 my $color = !$opt{color} ? 0 :
 140                         $val == $order[0] ? 32 : # max
 141                         $val == $order[-1] ? 31 : # min
 142                         90;
 143                 $val = $opt{units} ? sival($val) : sprintf "%*s", $lenval, $val;
 144                 $val = "\e[${color}m$val\e[0m" if $color;
 145         }
 146         my $line = $lines[$nr] =~ s/\n/$val/r;
 147         printf '%-*s', $len + length($val), $line;
 148         print $barmark[$_] // '-' for 1 .. $size && (($values[$nr] || 0) - $minval) * $size + .5;
 149         say '';
 150
 151         $nr++;
 152 }
 153
 154 }
 155 show_lines();
 156
 157 __END__
 158
 159 =head1 NAME
 160
 161 barcat - graph to visualize input values
 162
 163 =head1 SYNOPSIS
 164
 165 B<barcat> [<options>] [<input>]
 166
 167 =head1 DESCRIPTION
 168
 169 Visualizes relative sizes of values read from input (file(s) or STDIN).
 170 Contents are concatenated similar to I<cat>,
 171 but numbers are reformatted and a bar graph is appended to each line.
 172
 173 =head1 OPTIONS
 174
 175 =over
 176
 177 =item -c, --[no-]color
 178
 179 Force colored output of values and bar markers.
 180 Defaults on if output is a tty,
 181 disabled otherwise such as when piped or redirected.
 182
 183 =item -f, --field=(<number>|<regexp>)
 184
 185 Compare values after a given number of whitespace separators,
 186 or matching a regular expression.
 187
 188 Unspecified or I<-f0> means values are at the start of each line.
 189 With I<-f1> the second word is taken instead.
 190 A string can indicate the starting position of a value
 191 (such as I<-f:> if preceded by colons),
 192 or capture the numbers itself,
 193 for example I<-f'(\d+)'> for the first digits anywhere.
 194
 195 =item -H, --human-readable
 196
 197 Format values using SI unit prefixes,
 198 turning long numbers like I<12356789> into I<12.4M>.
 199
 200 =item -t, --interval[=<seconds>]
 201
 202 Interval time to output partial progress.
 203
 204 =item -l, --length=[-]<size>[%]
 205
 206 Trim line contents (between number and bars)
 207 to a maximum number of characters.
 208 The exceeding part is replaced by an abbreviation sign,
 209 unless C<--length=0>.
 210
 211 Prepend a dash (i.e. make negative) to enforce padding
 212 regardless of encountered contents.
 213
 214 =item -L, --limit=(<count>|<start>-[<end>])
 215
 216 Stop output after a number of lines.
 217 All input is still counted and analyzed for statistics,
 218 but disregarded for padding and bar size.
 219
 220 =item -m, --markers=
 221
 222 Statistical positions to indicate on bars.
 223 Cannot be customized yet,
 224 only disabled by providing an empty argument.
 225
 226 Any value enables all marker characters:
 227
 228 =over 2
 229
 230 =item B<=>
 231
 232 Average:
 233 the sum of all values divided by the number of counted lines.
 234
 235 =item B<+>
 236
 237 Mean, median:
 238 the middle value or average between middle values.
 239
 240 =item B<<>
 241
 242 Standard deviation left of the mean.
 243 Only 16% of all values are lower.
 244
 245 =item B<< > >>
 246
 247 Standard deviation right of the mean.
 248 The part between B<< <--> >> encompass all I<normal> results,
 249 or 68% of all entries.
 250
 251 =back
 252
 253 =item -u, --unmodified
 254
 255 Do not strip leading whitespace.
 256 Keep original value alignment, which may be significant in some programs.
 257
 258 =item --value-length=<size>
 259
 260 Reserved space for numbers.
 261
 262 =item -w, --width=<columns>
 263
 264 Override the maximum number of columns to use.
 265 Appended graphics will extend to fill up the entire screen.
 266
 267 =back
 268
 269 =head1 EXAMPLES
 270
 271 Commonly used after counting, such as users on the current server:
 272
 273     users | sed 's/ /\n/g' | sort | uniq -c | barcat
 274
 275 Letter frequencies in text files:
 276
 277     cat /usr/share/games/fortunes/*.u8 |
 278     perl -CO -nE 'say for grep length, split /\PL*/, uc' |
 279     sort | uniq -c | barcat
 280
 281 Memory usage of user processes:
 282
 283     ps xo %mem,pid,cmd | barcat -l40
 284
 285 Sizes (in megabytes) of all root files and directories:
 286
 287     du -d0 -m * | barcat
 288
 289 Number of HTTP requests per day:
 290
 291     cat log/access.log | cut -d\  -f4 | cut -d: -f1 | uniq -c | barcat
 292
 293 Any kind of database query with leading counts:
 294
 295     echo 'SELECT count(*),schemaname FROM pg_tables GROUP BY 2' |
 296     psql -t | barcat -u
 297
 298 Exchange rate USD/EUR history from CSV download provided by ECB:
 299
 300     curl https://sdw.ecb.europa.eu/export.do \
 301          -Gd 'node=SEARCHRESULTS&q=EXR.D.USD.EUR.SP00.A&exportType=csv' |
 302     grep '^[12]' | barcat -f',\K' --value-length=7
 303
 304 Total population history from the World Bank dataset (XML):
 305
 306     curl http://api.worldbank.org/v2/country/1W/indicator/SP.POP.TOTL |
 307     xmllint --xpath '//*[local-name()="date" or local-name()="value"]' - |
 308     sed -r 's,</wb:value>,\n,g; s,(<[^>]+>)+, ,g' | barcat -f1 -H
 309
 310 Movies per year from prepared JSON data:
 311
 312     curl https://github.com/prust/wikipedia-movie-data/raw/master/movies.json |
 313     jq '.[].year' | uniq -c | barcat
 314
 315 Pokémon height comparison:
 316
 317         curl https://github.com/Biuni/PokemonGO-Pokedex/raw/master/pokedex.json |
 318         jq -r '.pokemon[] | [.height,.num,.name] | join(" ")' | barcat
 319
 320 Git statistics, such commit count by year:
 321
 322     git log --pretty=%ci | cut -b-4 | uniq -c | barcat
 323
 324 Or the most frequent authors:
 325
 326     git shortlog -sn | barcat -L3
 327
 328 Latency history:
 329
 330     ping google.com | barcat -f'time=\K' -t
 331
 332 =head1 AUTHOR
 333
 334 Mischa POSLAWSKY <perl@shiar.org>
 335
 336 =head1 LICENSE
 337
 338 GPL3+.