tools/convert-stats-wikimedia.pl

   1 #!perl -n
   2 use 5.010; use strict; use warnings;
   3 our %count;
   4 our $mobile;
   5
   6 if (m{<td class=hl>} .. m{</?td>}) {
   7         $count{-url} = 'http://stats.wikimedia.org/archive/squid_reports/';
   8         $count{-source} = 'Wikimedia';
   9         $count{-date} = $1 if m{ period: (?:\d+ )?(\w+ \d+) };
  10         next;
  11 }
  12
  13 # select relevant columns
  14 />Browser versions(.*)/ ... m{</table>} && last or next;
  15 my ($tr, $id, $count2, $count) = split /(?:<[^>]*>)+/;
  16 $mobile = $count2 =~ /(?<!non) mobile/ if $id ~~ '&nbsp;';
  17 next if $id ~~ ['Total', '&nbsp;'];
  18
  19 # convert to usable syntax
  20 my ($browser, $version) = split /\h+/, $id, 2;
  21 $count =~ s/,//g;
  22 $count =~ s/%$//;
  23 $version //= 0;
  24 given ($browser) {
  25         when (['Firefox', 'Iceweasel']) {
  26                 $browser = 'gecko';
  27                 continue;
  28         }
  29         when ('MSIE') {
  30                 $browser = 'trident';
  31                 continue;
  32         }
  33         when ('Opera') {
  34                 $browser = $mobile ? 'op_mob' : 'presto';
  35                 for ($version) {
  36                         if (m{\(Mini(.*)\)$}) {
  37                                 $browser = 'op_mini';
  38                                 ($_) = $1 =~ m{^/(\d+)};
  39                                 continue;
  40                         }
  41                         s/\d\d\.\d\K.*// or do {
  42                                 # major part only, except for ≥v9.6
  43                                 $_ ge '9.6' ? ($_ = '9.6') : (s/\..*//);
  44                         };
  45                 }
  46                 continue;
  47         }
  48         when ('Safari') {
  49                 $browser = $mobile ? 'ios_saf' : 'webkit_saf';
  50                 my $numversion = join('.', map { sprintf '%03d', $_ } split /\./, $version);
  51                 $numversion =~ s/6(?=\d{3})//;  # incomparable 6532.22 → 523
  52                 for (
  53                         # http://en.wikipedia.org/wiki/Safari_version_history
  54                         $mobile ? (
  55                                 [ '413'     => '1'   ],
  56                                 [ '419'     => '1.1' ],
  57                                 [ '525'     => '2'   ],
  58                                 [ '528'     => '3'   ],
  59                                 [ '531'     => '3.2' ],
  60                                 [ '531.022' => '4.1' ],
  61                                 [ '533'     => '4.2' ],
  62                                 [ '534'     => '4x' ],
  63                         ) : (
  64                                 [ '413'     => '2'   ],
  65                                 [ '522'     => '3'   ],
  66                                 [ '525.013' => '3.1' ],
  67                                 [ '525.026' => '3.2' ],
  68                                 [ '526'     => '4'   ],
  69                                 [ '533'     => '5'   ],
  70                                 [ '534'     => '5x'  ],
  71                         )
  72                 ) {
  73                         last if $numversion lt $_->[0];
  74                         $version = $_->[1];
  75                 }
  76         }
  77         when ('Chrome') {
  78                 $browser = 'webkit_chr';
  79                 s/\.\d+$// for $version;
  80         }
  81         when ('Android') {
  82                 $browser = 'android';
  83         }
  84         s/\.0$// for $version;
  85 }
  86
  87 $count{$browser}{$version} += $count;
  88
  89 END {
  90         use Data::Dump 'pp';
  91         print pp(\%count);
  92 }
  93
  94 __END__
  95
  96 =head1 USAGE
  97
  98         curl http://stats.wikimedia.org/archive/squid_reports/2010-10/SquidReportClients.htm |
  99         parsesquid.pl > browser-usage.inc.pl
 100