tools/mkusage-wikimedia

   1 #!/usr/bin/perl
   2 use 5.014;
   3 use warnings;
   4
   5 use Data::Dump 'pp';
   6
   7 our $VERSION = '1.02';
   8
   9 my %BROWSERID = qw(
  10         IE                      edge
  11         IE-Mobile               ie_mob
  12         Edge                    edge
  13         Edge-Mobile             edge
  14         Firefox                 firefox
  15         Firefox-Mobile          and_ff
  16         Safari                  safari
  17         Mobile-Safari           ios_saf
  18         Mobile-Safari-UIWebView ios_saf
  19         Chrome                  chrome
  20         Chromium                chrome
  21         Chrome-Mobile           and_chr
  22         Chrome-Mobile-iOS       and_chr
  23         Android                 and_chr
  24         Opera                   opera
  25         Opera-Mini              op_mini
  26         BlackBerry-WebKit       bb
  27         UC-Browser              and_uc
  28         Samsung-Internet        samsung
  29         Other                   0
  30 );
  31
  32 my %count = (
  33         -title  => 'Wikimedia',
  34         -site   => 'https://analytics.wikimedia.org/',
  35 );
  36
  37 (readline =~ y/\t//) == 3 or die "unexpected amount of columns in header\n";
  38 my @lines = readline;
  39
  40 my $recent;  # minimum date to include
  41 for (reverse @lines) {
  42         my ($date) = /(\S+)/;
  43         $recent ne $date or next if $recent;  # same day
  44         $recent = $date;  # override older date
  45         last if state $i++ >= 2;  # repeat twice
  46 }
  47
  48 for my $row (@lines) {
  49         $row =~ s/\r?\n\z//;
  50         my ($date, $name, $version, $pct) = split /\t/, $row;
  51         $date ge $recent or next;
  52         $name =~ y/ /-/;
  53         my $browser = $BROWSERID{$name};
  54         if (not $browser) {
  55                 warn "unknown browser: $name v$version ($pct)\n"
  56                         unless defined $browser or $pct < .005;
  57                 next;
  58         }
  59         $version =~ s/\A-\z/0/;
  60         $count{$browser}{$version} += $pct;
  61         $count{-total} += $pct;
  62         $count{-date} = $date;
  63 }
  64
  65 my $mult = 100 / delete $count{-total};
  66 for (values %count) {
  67         ref $_ eq 'HASH' or next;
  68         $_ *= $mult for values %{$_};
  69 }
  70
  71 say '+', pp(\%count);
  72
  73 __END__
  74
  75 =head1 USAGE
  76
  77         ./mkusage-wikimedia wikipedia-analytics.tsv >browser-usage.inc.pl
  78