tools/mkusage-wikimedia

   1 #!/usr/bin/perl
   2 use 5.014;
   3 use warnings;
   4
   5 use Data::Dump 'pp';
   6
   7 our $VERSION = '1.01';
   8
   9 my %BROWSERID = qw(
  10         IE                      ie
  11         IE-Mobile               ie_mob
  12         Edge                    ie
  13         Edge-Mobile             ie
  14         Firefox                 firefox
  15         Firefox-Mobile          and_ff
  16         Safari                  safari
  17         Mobile-Safari           ios_saf
  18         Mobile-Safari-UIWebView ios_saf
  19         Chrome                  chrome
  20         Chromium                chrome
  21         Chrome-Mobile           android
  22         Chrome-Mobile-iOS       android
  23         Android                 android
  24         Opera                   opera
  25         Opera-Mini              op_mini
  26         BlackBerry-WebKit       bb
  27         UC-Browser              and_uc
  28         Other                   0
  29 );
  30
  31 my %count = (
  32         -title  => 'Wikimedia',
  33         -site   => 'https://analytics.wikimedia.org/',
  34 );
  35
  36 my $recent = qr/^2018-/;
  37
  38 (readline =~ y/\t//) == 3 or die "unexpected amount of columns in header\n";
  39
  40 while (my $row = readline) {
  41         $row =~ s/\r?\n\z//;
  42         my ($date, $name, $version, $pct) = split /\t/, $row;
  43         $date =~ $recent or next;
  44         $name =~ y/ /-/;
  45         my $browser = $BROWSERID{$name};
  46         if (not $browser) {
  47                 warn "unknown browser: $name v$version ($pct)\n"
  48                         unless defined $browser or $pct < .005;
  49                 next;
  50         }
  51         $version =~ s/\A-\z/0/;
  52         $count{$browser}{$version} += $pct;
  53         $count{-total} += $pct;
  54         $count{-date} = $date;
  55 }
  56
  57 my $mult = 100 / delete $count{-total};
  58 for (values %count) {
  59         ref $_ eq 'HASH' or next;
  60         $_ *= $mult for values %{$_};
  61 }
  62
  63 say '+', pp(\%count);
  64
  65 __END__
  66
  67 =head1 USAGE
  68
  69         ./mkusage-wikimedia wikipedia-analytics.tsv >browser-usage.inc.pl
  70