retain unsubstituted line contents
[barcat.git] / graph
1 #!/usr/bin/env perl
2 use 5.018;
3 use warnings;
4 use utf8;
5 use List::Util qw( min max sum );
6 use open qw( :std :utf8 );
7 use experimental qw( lexical_subs );
8
9 our $VERSION = '1.02';
10
11 use Getopt::Long '2.33', qw( :config gnu_getopt );
12 sub podexit {
13         require Pod::Usage;
14         Pod::Usage::pod2usage(-exitval => 0, -perldocopt => '-oman', @_);
15 }
16 my %opt;
17 GetOptions(\%opt,
18         'color|c!',
19         'C' => sub { $opt{color} = 0 },
20         'field|f=i',
21         'interval|t:i',
22         'trim|length|l=s' => sub {
23                 my ($optname, $optval) = @_;
24                 $optval =~ s/%$// and $opt{trimpct}++;
25                 $optval =~ m/^-?[0-9]+$/ or die(
26                         "Value \"$optval\" invalid for option $optname",
27                         " (number or percentage expected)\n"
28                 );
29                 $opt{trim} = $optval;
30         },
31         'markers|m=s',
32         'unmodified|u!',
33         'width|w=i',
34         'usage|h' => sub { podexit() },
35         'help'    => sub { podexit(-verbose => 2) },
36 ) or exit 64;  # EX_USAGE
37
38 $opt{width} ||= $ENV{COLUMNS} || 80;
39 $opt{color} //= -t *STDOUT;  # enable on tty
40 $opt{trim}   *= $opt{width} / 100 if $opt{trimpct};
41
42 if (defined $opt{interval}) {
43         $opt{interval} ||= 1;
44         $SIG{ALRM} = sub {
45                 show_lines();
46                 alarm $opt{interval};
47         };
48         alarm $opt{interval};
49 }
50
51 $SIG{INT} = 'IGNORE';  # continue after assumed eof
52
53 my (@lines, @values);
54 my $anchor = $opt{field} ? qr/(?:\S*\h+){$opt{field}}\K/ : qr/^/;
55 while (readline) {
56         s/\r?\n\z//;
57         s/^\h*// unless $opt{unmodified};
58         push @values, s/$anchor ( \h* -? [0-9]* \.? [0-9]+ |)/\n/x && $1;
59         if (defined $opt{trim}) {
60                 my $trimpos = abs $opt{trim};
61                 if ($trimpos <= 1) {
62                         $_ = substr $_, 0, 1;
63                 }
64                 elsif (length > $trimpos) {
65                         substr($_, $trimpos - 1) = '…';
66                 }
67         }
68         push @lines, $_;
69 }
70
71 $SIG{INT} = 'DEFAULT';
72
73 sub show_lines {
74
75 state $nr = 0;
76 @lines and @lines > $nr or return;
77
78 my @order  = sort { $b <=> $a } grep { length } @values;
79 my $maxval = $order[0];
80 my $minval = min $order[-1], 0;
81 my $lenval = max map { length } @order;
82 my $len    = defined $opt{trim} && $opt{trim} <= 0 ? -$opt{trim} + 1 :
83         max map { length $values[$_] && length $lines[$_] } 0 .. $#lines;  # left padding
84 my $size   = ($maxval - $minval) &&
85         ($opt{width} - $lenval - $len) / ($maxval - $minval);  # bar multiplication
86
87 my @barmark;
88 if ($opt{markers} // 1 and $size > 0) {
89         my sub orderpos { (($order[$_[0]] + $order[$_[0] + .5]) / 2 - $minval) * $size }
90         $barmark[ (sum(@order) / @order - $minval) * $size ] = '=';  # average
91         $barmark[ orderpos($#order * .31731) ] = '>';
92         $barmark[ orderpos($#order * .68269) ] = '<';
93         $barmark[ orderpos($#order / 2) ] = '+';  # mean
94         $barmark[ -$minval * $size ] = '|' if $minval < 0;  # zero
95         defined and $opt{color} and $_ = "\e[36m$_\e[0m" for @barmark;
96
97         state $lastmax = $maxval;
98         if ($maxval > $lastmax) {
99                 print ' ' x ($lenval + $len);
100                 printf "\e[90m" if $opt{color};
101                 printf '%-*s',
102                         ($lastmax - $minval) * $size + .5,
103                         '-' x (($values[$nr - 1] - $minval) * $size);
104                 print "\e[92m" if $opt{color};
105                 say '+' x (($maxval - $lastmax - $minval) * $size + .5);
106                 print "\e[0m" if $opt{color};
107                 $lastmax = $maxval;
108         }
109 }
110
111 while ($nr <= $#lines) {
112         my $val = $values[$nr];
113         if (length $val) {
114                 my $color = !$opt{color} ? 0 :
115                         $val == $order[0] ? 32 : # max
116                         $val == $order[-1] ? 31 : # min
117                         90;
118                 $val = sprintf "%*s", $lenval, $val;
119                 $val = "\e[${color}m$val\e[0m" if $color;
120         }
121         my $line = $lines[$nr] =~ s/\n/$val/r;
122         printf '%-*s', $len + length($val), $line;
123         print $barmark[$_] // '-' for 1 .. $size && (($values[$nr] || 0) - $minval) * $size;
124         say '';
125         $nr++;
126 }
127
128 }
129 show_lines();
130
131 __END__
132
133 =head1 NAME
134
135 graph - append bar chart to input numbers
136
137 =head1 SYNOPSIS
138
139 B<graph> [<options>] [<input>]
140
141 =head1 DESCRIPTION
142
143 Visualizes relative sizes of values read from input (file(s) or STDIN).
144 Contents are concatenated similar to I<cat>,
145 but numbers are reformatted and a bar graph is appended to each line.
146
147 =head1 OPTIONS
148
149 =over
150
151 =item -c, --[no-]color
152
153 Force colored output of values and bar markers.
154 Defaults on if output is a tty,
155 disabled otherwise such as when piped or redirected.
156
157 =item -f, --field=<number>
158
159 Compare values after a given number of whitespace separators.
160 Unspecified or I<-f0> means values are at the start of each line.
161 With I<-f1> the second word is taken instead.
162
163 =item -t, --interval[=<seconds>]
164
165 Interval time to output partial progress.
166
167 =item -l, --length=[-]<size>[%]
168
169 Trim line contents (between number and bars)
170 to a maximum number of characters.
171 The exceeding part is replaced by an abbreviation sign,
172 unless C<--length=0>.
173
174 Prepend a dash (i.e. make negative) to enforce padding
175 regardless of encountered contents.
176
177 =item -m, --markers=
178
179 Statistical positions to indicate on bars.
180 Cannot be customized yet,
181 only disabled by providing an empty argument.
182
183 Any value enables all marker characters:
184
185 =over 2
186
187 =item B<=>
188
189 Average:
190 the sum of all values divided by the number of counted lines.
191
192 =item B<+>
193
194 Mean, median:
195 the middle value or average between middle values.
196
197 =item B<<>
198
199 Standard deviation left of the mean.
200 Only 16% of all values are lower.
201
202 =item B<< > >>
203
204 Standard deviation right of the mean.
205 The part between B<< <--> >> encompass all I<normal> results,
206 or 68% of all entries.
207
208 =back
209
210 =item -u, --unmodified
211
212 Do not strip leading whitespace.
213 Keep original value alignment, which may be significant in some programs.
214
215 =item -w, --width=<columns>
216
217 Override the maximum number of columns to use.
218 Appended graphics will extend to fill up the entire screen.
219
220 =back
221
222 =head1 EXAMPLES
223
224 Commonly used after counting, such as users on the current server:
225
226     users | sed 's/ /\n/g' | sort | uniq -c | graph
227
228 Letter frequencies in text files:
229
230     cat /usr/share/games/fortunes/*.u8 |
231     perl -CO -nE 'say for grep length, split /\PL*/, uc' |
232     sort | uniq -c | graph
233
234 Memory usage of user processes:
235
236     ps xo %mem,pid,cmd | graph -l40
237
238 Sizes (in megabytes) of all root files and directories:
239
240     du -d0 -m * | graph
241
242 Number of HTTP requests per day:
243
244     cat log/access.log | cut -d\  -f4 | cut -d: -f1 | uniq -c | graph
245
246 Any kind of database query with leading counts:
247
248     echo 'SELECT count(*),schemaname FROM pg_tables GROUP BY 2' |
249     psql -t | graph -u
250
251 Exchange rate USD/EUR history from CSV download provided by ECB:
252
253     curl https://sdw.ecb.europa.eu/export.do \
254          -Gd 'node=SEARCHRESULTS&q=EXR.D.USD.EUR.SP00.A&exportType=csv' |
255     awk -F, '{RS="\r\n"} /^[12]/{print $1,$2}' | graph -f1
256
257 Total population history from the World Bank dataset (XML):
258
259     curl http://api.worldbank.org/v2/country/1W/indicator/SP.POP.TOTL |
260     xmllint --xpath '//*[local-name()="date" or local-name()="value"]' - |
261     sed -r 's,</wb:value>,\n,g; s,(<[^>]+>)+, ,g' | graph -f1
262
263 Movies per year from prepared JSON data:
264
265     curl https://github.com/prust/wikipedia-movie-data/raw/master/movies.json |
266     jq '.[].year' | uniq -c | graph
267
268 Pokémon height comparison:
269
270         curl https://github.com/Biuni/PokemonGO-Pokedex/raw/master/pokedex.json |
271         jq -r '.pokemon[] | [.height,.num,.name] | join(" ")' | graph
272
273 Git statistics, such commit count by year:
274
275     git log --pretty=%ci | cut -b-4 | uniq -c | graph
276
277 Or the most frequent authors:
278
279     git shortlog -sn | graph | head -3
280
281 Latency history:
282
283     ping google.com |
284     perl -pe '$|=1; print s/ time=(.*)// ? "$1 for " : "> "' | graph -t
285
286 =head1 AUTHOR
287
288 Mischa POSLAWSKY <perl@shiar.org>
289
290 =head1 LICENSE
291
292 GPL3+.