tools/convert-stats-wikimedia.pl

   1 #!perl -n
   2 use 5.010; use strict; use warnings;
   3 our %count;
   4 our $mobile;
   5
   6 # select relevant columns
   7 />Browser versions(.*)/ ... m{</table>} && last or next;
   8 my ($tr, $id, $count2, $count) = split /(?:<[^>]*>)+/;
   9 $mobile = $count2 =~ /(?<!non) mobile/ if $id ~~ '&nbsp;';
  10 next if $id ~~ ['Total', '&nbsp;'];
  11
  12 # convert to usable syntax
  13 my ($browser, $version) = split /\h+/, $id, 2;
  14 $count =~ s/,//g;
  15 $count =~ s/%$//;
  16 $version //= 0;
  17 given ($browser) {
  18         when (['Firefox', 'Iceweasel']) {
  19                 $browser = 'gecko';
  20                 continue;
  21         }
  22         when ('MSIE') {
  23                 $browser = 'trident';
  24                 continue;
  25         }
  26         when ('Opera') {
  27                 $browser = $mobile ? 'op_mob' : 'presto';
  28                 for ($version) {
  29                         if (m{\(Mini(.*)\)$}) {
  30                                 $browser = 'op_mini';
  31                                 ($_) = $1 =~ m{^/(\d+)};
  32                                 continue;
  33                         }
  34                         s/\d\d\.\d\K.*// or do {
  35                                 # major part only, except for ≥v9.6
  36                                 $_ ge '9.6' ? ($_ = '9.6') : (s/\..*//);
  37                         };
  38                 }
  39                 continue;
  40         }
  41         when ('Safari') {
  42                 $browser = $mobile ? 'ios_saf' : 'webkit_saf';
  43                 my $numversion = join('.', map { sprintf '%03d', $_ } split /\./, $version);
  44                 $numversion =~ s/6(?=\d{3})//;  # incomparable 6532.22 → 523
  45                 for (
  46                         # http://en.wikipedia.org/wiki/Safari_version_history
  47                         $mobile ? (
  48                                 [ '413'     => '1'   ],
  49                                 [ '419'     => '1.1' ],
  50                                 [ '525'     => '2'   ],
  51                                 [ '528'     => '3'   ],
  52                                 [ '531'     => '3.2' ],
  53                                 [ '531.022' => '4.1' ],
  54                                 [ '533'     => '4.2' ],
  55                                 [ '534'     => '4x' ],
  56                         ) : (
  57                                 [ '413'     => '2'   ],
  58                                 [ '522'     => '3'   ],
  59                                 [ '525.013' => '3.1' ],
  60                                 [ '525.026' => '3.2' ],
  61                                 [ '526'     => '4'   ],
  62                                 [ '533'     => '5'   ],
  63                                 [ '534'     => '5x'  ],
  64                         )
  65                 ) {
  66                         last if $numversion lt $_->[0];
  67                         $version = $_->[1];
  68                 }
  69         }
  70         when ('Chrome') {
  71                 $browser = 'webkit_chr';
  72                 s/\.\d+$// for $version;
  73         }
  74         when ('Android') {
  75                 $browser = 'android';
  76         }
  77         s/\.0$// for $version;
  78 }
  79
  80 $count{$browser}{$version} += $count;
  81
  82 END {
  83         use Data::Dump 'pp';
  84         print pp(\%count);
  85 }
  86
  87 __END__
  88
  89 =head1 USAGE
  90
  91         curl http://stats.wikimedia.org/archive/squid_reports/2010-10/SquidReportClients.htm |
  92         parsesquid.pl > browser-usage.inc.pl
  93