charset: describe unicode BMP blocks
[sheet.git] / charset.plp
index c83508b71707775d01840105fc0cf3f424af4d25..25b69b99b47c618048b1b460d008360d7d4ddb75 100644 (file)
@@ -26,12 +26,24 @@ my $diinfo = do 'digraphs.inc.pl';
 my %di = map { $diinfo->{$_}->[0] => $_ } grep { ref $diinfo->{$_} }
        keys %$diinfo;
 
-use Encode qw(decode);
+use Encode qw(decode resolve_alias);
 # generate character table(s)
 # (~16x faster than decoding in loop;
 #  substr strings is twice as fast as splitting to an array)
-my @request = ('iso-8859-1', 'cp437');
-my @tables = map { decode($_, pack 'C*', 0..255) } @request;
+my %ALIAS = (
+       default => [qw(utf-8 iso-8859-1 cp437)],
+       0 => [qw(cp437 cp863)],
+       1 => [qw(iso-8859-1 cp1252 MacRoman cp850)],
+       2 => [qw(iso-8859-2 cp1250 cp852 MacCentralEurRoman MacCroatian MacRumanian)],
+       5 => [qw(koi8-f iso-8859-5 cp1251 MacCyrillic cp855 cp866)],
+       7 => [qw(iso-8859-7 cp1253 MacGreek cp737 cp869)],
+       8 => [qw(iso-8859-8 cp1255 MacHebrew cp862)],
+);
+my @request = grep { defined } map {
+       $_ ? (resolve_alias($_) or print("Encoding $_ unknown") && ()) : ();
+} map { defined $ALIAS{$_} ? @{ $ALIAS{$_} } : $_ }
+       $ENV{PATH_INFO} =~ /\w/ ? split(m{[/+\s]}, $ENV{PATH_INFO}) : 'default';
+my @tables = map { $_ eq 'utf-8-strict' ? undef : $_ eq 'Internal' ? ' 'x512 : decode($_, pack 'C*', 0..255) } @request;
 my $NOCHAR = chr 0xFFFD;
 
 for my $cp437 (grep {$request[$_] eq 'cp437'} 0 .. $#request) {
@@ -50,12 +62,297 @@ sub quote {
        return $_;
 }
 
+sub printcell_unicode {
+       my ($value) = @_;
+       if ($value > 0x1FF) {
+               print "\n".'<td class="X">?';
+       }
+       elsif ($value == 0) {
+               print '<td colspan="2" class="X Cc">control';
+       }
+       elsif ($value == 2) {
+               print '<td colspan="6" class="X Ll Latin">latin';
+       }
+       elsif ($value == 8) {
+               print '<td colspan="2" class="X Cc">control';
+       }
+       elsif ($value == 10) {
+               print '<td colspan="6" class="X Ll Latin">latin supplement';
+       }
+       elsif ($value == 0x10) {
+               print '<td colspan="8" class="X Ll Latin">latin ext-A';
+       }
+       elsif ($value == 0x18) {
+               print '<td colspan="8" class="X Ll Latin">latin ext-B';
+       }
+       elsif ($value == 0x20) {
+               print '<td colspan="5" class="X Ll Latin">latin ext-B';
+       }
+       elsif ($value == 0x25) {
+               print '<td colspan="6" class="X Ll Latin">IPA';
+       }
+       elsif ($value == 0x2B) {
+               print '<td colspan="5" class="X Sk">spacing modifier';
+       }
+       elsif ($value == 0x30) {
+               print '<td colspan="8" class="X Mn">diacritics';
+       }
+       elsif ($value == 0x38) {
+               print '<td colspan="8" class="X Ll Greek">greek';
+       }
+       elsif ($value == 0x40) {
+               print '<td colspan="16" class="X Ll Cyrillic">cyrillic';
+       }
+       elsif ($value == 0x50) {
+               print '<td colspan="3" class="X Ll Cyrillic">cyrillic+';
+       }
+       elsif ($value == 0x53) {
+               print '<td colspan="5" class="X Ll Armenian">armenian';
+       }
+       elsif ($value == 0x58) {
+               print '<td colspan="8" class="X Ll Hebrew">hebrew';
+       }
+       elsif ($value == 0x60) {
+               print '<td colspan="16" class="X Ll Arabic">arabic';
+       }
+       elsif ($value == 0x70) {
+               print '<td colspan="5" class="X Ll Aramaic">syriac';
+       }
+       elsif ($value == 0x75) {
+               print '<td colspan="3" class="X Ll Arabic">arabic+';
+       }
+       elsif ($value == 0x78) {
+               print '<td colspan="4" class="X Ll African">thaana';
+       }
+       elsif ($value == 0x7C) {
+               print '<td colspan="4" class="X Ll African">nko';
+       }
+       elsif ($value == 0x80) {
+               print '<td colspan="4" class="X di-rare">samaritan';
+       }
+       elsif ($value == 0x84) {
+               print '<td colspan="2" class="X di-rare Ll Aramaic">manda';
+       }
+       elsif ($value == 0x86) {
+               print '<td colspan="12" class="di-invalid">reserved';
+       }
+       elsif ($value == 0x90) {
+               print '<td colspan="8" class="X Ll Brahmic">devanagari';
+       }
+       elsif ($value == 0x98) {
+               print '<td colspan="8" class="X Ll Brahmic">bengali';
+       }
+       elsif ($value == 0xA0) {
+               print '<td colspan="8" class="X Ll Brahmic">gurmukhi';
+       }
+       elsif ($value == 0xA8) {
+               print '<td colspan="8" class="X Ll Brahmic">gujarati';
+       }
+       elsif ($value == 0xB0) {
+               print '<td colspan="8" class="X Ll Brahmic">oriya';
+       }
+       elsif ($value == 0xB8) {
+               print '<td colspan="8" class="X Ll Brahmic">tamil';
+       }
+       elsif ($value == 0xC0) {
+               print '<td colspan="8" class="X Ll Brahmic">telugu';
+       }
+       elsif ($value == 0xC8) {
+               print '<td colspan="8" class="X Ll Brahmic">kannada';
+       }
+       elsif ($value == 0xD0) {
+               print '<td colspan="8" class="X Ll Brahmic">malayalam';
+       }
+       elsif ($value == 0xD8) {
+               print '<td colspan="8" class="X Ll Brahmic">sinhala';
+       }
+       elsif ($value == 0xE0) {
+               print '<td colspan="8" class="X Ll Brahmic Khmer">thai';
+       }
+       elsif ($value == 0xE8) {
+               print '<td colspan="8" class="X Ll Brahmic Khmer">lao';
+       }
+       elsif ($value == 0xF0) {
+               print '<td colspan="16" class="X Ll Brahmic">tibetan';
+       }
+       elsif ($value == 0x100) {
+               print '<td colspan="10" class="X Ll Brahmic">myanmar';
+       }
+       elsif ($value == 0x10A) {
+               print '<td colspan="6" class="X Ll Aramaic">georgian';
+       }
+       elsif ($value == 0x110) {
+               print '<td colspan="16" class="X Ll Hangul">hangeul jamo';
+       }
+       elsif ($value == 0x120) {
+               print '<td colspan="16" class="X Ll African">ethiopic';
+       }
+       elsif ($value == 0x130) {
+               print '<td colspan="8" class="X Ll African">ethiopic';
+       }
+       elsif ($value == 0x138) {
+               print '<td colspan="2" class="X Ll African">eth+';
+       }
+       elsif ($value == 0x13A) {
+               print '<td colspan="6" class="X Ll X">cherokee';
+       }
+       elsif ($value == 0x140) {
+               print '<td colspan="16" rowspan="2" class="X Ll Syllabic">unified canadian aboriginal syllabics';
+       }
+       elsif ($value == 0x160) {
+               print '<td colspan="8" class="X Ll Syllabic">unified canadian syllabics';
+       }
+       elsif ($value == 0x168) {
+               print '<td colspan="2" class="X Ll X">ogham';
+       }
+       elsif ($value == 0x16A) {
+               print '<td colspan="6" class="X Ll X">runic';
+       }
+       elsif ($value == 0x170) {
+               print '<td colspan="2" class="X Ll Brahmic">tagalog';
+       }
+       elsif ($value == 0x172) {
+               print '<td colspan="2" class="X Ll Brahmic">hanun';
+       }
+       elsif ($value == 0x174) {
+               print '<td colspan="2" class="X Ll Brahmic">buhid';
+       }
+       elsif ($value == 0x176) {
+               print '<td colspan="2" class="X Ll Brahmic" title="tagbanwa">tagb';
+       }
+       elsif ($value == 0x178) {
+               print '<td colspan="8" class="X Ll Brahmic Khmer">khmer';
+       }
+       elsif ($value == 0x180) {
+               print '<td colspan="11" class="X Ll Aramaic">mongolian';
+       }
+       elsif ($value == 0x18B) {
+               print '<td colspan="5" class="X Ll Syllabic di-rare">canadian+';
+       }
+       elsif ($value == 0x190) {
+               print '<td colspan="5" class="X Ll Brahmic">limbu';
+       }
+       elsif ($value == 0x195) {
+               print '<td colspan="4" class="X Ll Brahmic">tai le';
+       }
+       elsif ($value == 0x198) {
+               print '<td colspan="6" class="X Ll Brahmic">new tai lue';
+       }
+       elsif ($value == 0x19E) {
+               print '<td colspan="2" class="X Ll Brahmic Khmer" title="khmer symbols">km';
+       }
+       elsif ($value == 0x1A0) {
+               print '<td colspan="2" class="X Ll Brahmic">lontara';
+       }
+       elsif ($value == 0x1A2) {
+               print '<td colspan="9" class="X Ll Brahmic di-rare">tai tham';
+       }
+       elsif ($value == 0x1AB) {
+               print '<td colspan="5" class="di-invalid">reserved';
+       }
+       elsif ($value == 0x1B0) {
+               print '<td colspan="8" class="X Ll ">balinese';
+       }
+       elsif ($value == 0x1B8) {
+               print '<td colspan="4" class="X Ll ">sundanese';
+       }
+       elsif ($value == 0x1BC) {
+               print '<td colspan="4" class="X Ll di-rare">batak';
+       }
+       elsif ($value == 0x1C0) {
+               print '<td colspan="5" class="X Ll ">lepcha';
+       }
+       elsif ($value == 0x1C5) {
+               print '<td colspan="3" class="X Ll ">ol chiki';
+       }
+       elsif ($value == 0x1C8) {
+               print '<td colspan="5" class="di-invalid">reserved';
+       }
+       elsif ($value == 0x1CD) {
+               print '<td colspan="3" class="X Ll di-rare">vedic';
+       }
+       elsif ($value == 0x1D0) {
+               print '<td colspan="8" class="X Ll Latin">phonetic';
+       }
+       elsif ($value == 0x1D8) {
+               print '<td colspan="4" class="X Ll Latin">phonetic+';
+       }
+       elsif ($value == 0x1DC) {
+               print '<td colspan="4" class="X Mn">combining';
+       }
+       elsif ($value == 0x1E0) {
+               print '<td colspan="16" class="X Ll Latin">latin extended additional';
+       }
+       elsif ($value == 0x1F0) {
+               print '<td colspan="16" class="X Ll Greek">greek+';
+       }
+}
+
+sub printcell_utf8 {
+       my ($value) = @_;
+       if ($value <= 0x7F) {
+               print '<td rowspan="8" colspan="16" class="X di-a"',
+                         ' title="U+0000 – U+007F">Single byte ASCII'
+                       if $value == 0;
+       }
+       elsif ($value <= 0xBF) {
+               print '<td rowspan="4" colspan="16" class="X di-d"',
+                         '>Multi-byte continuation'
+                       if $value == 0x80;
+       }
+       elsif ($value <= 0xC1) {
+               print '<td colspan="2" class="X di-b" style="border-right:none; border-bottom:none"',
+                         ' title="U+0000 – U+007F">(Overl.)'
+                       if $value == 0xC0;
+       }
+       elsif ($value <= 0xDF) {
+               print '<td rowspan="2" colspan="14" class="X di-prop" style="border-left:none"',
+                         ' title="U+0080 – U+03FF">2-byte sequence start'
+                       if $value == 0xC2;
+               print '<td rowspan="1" colspan="16" class="X di-prop" style="border-top:none"',
+                         ' title="U+0400 – U+07FF">'
+                       if $value == 0xD0;
+       }
+       elsif ($value <= 0xEF) {
+               print '<td colspan="16" class="X di-prop"',
+                         ' title="U+0800 – U+FFFF">3-byte sequence start'
+                       if $value == 0xE0;
+       }
+       elsif ($value <= 0xF4) {
+               print '<td colspan="5" class="X di-prop" style="border-right:none"',
+                         ' title="U+1·0000 – U+10·FFFF">4-byte sequence'
+                       if $value == 0xF0;
+       }
+       elsif ($value <= 0xF7) {
+               print '<td colspan="3" class="X di-b" style="border-left:none"',
+                         ' title="U+11·0000 – U+1FF·FFFF">(Overflow)'
+                       if $value == 0xF5;
+       }
+       elsif ($value <= 0xFB) {
+               print '<td colspan="4" class="X di-b"',
+                         ' title="U+200·0000 – U+3FFF·FFFF">5-byte'
+                       if $value == 0xF8;
+       }
+       elsif ($value <= 0xFD) {
+               print '<td colspan="2" class="X di-b"',
+                         ' title="U+4000·0000 – 7FFFF·FFFF">6-byte'
+                       if $value == 0xFC;
+       }
+       elsif ($value <= 0xFF) {
+               print '<td colspan="2" class="di-invalid">Invalid'
+                       if $value == 0xFE;
+       }
+       else {
+               print "\n".'<td class="X">?';
+       }
+}
+
 print "<ul>\n";
 
 my @nibble = (0..9, 'A'..'F');
 for my $tablenum (0 .. $#tables) {
        print '<li><table class="glyphs">';
-       printf '<caption>%s</caption>', $request[$tablenum];
+       printf '<caption>%s</caption>', $request[$tablenum] eq 'utf-8-strict' ? 'UTF-8' : $request[$tablenum];
        print '<col>';
        for my $section (qw{thead}) {
                print "<$section><tr><th>↱";
@@ -63,9 +360,18 @@ for my $tablenum (0 .. $#tables) {
                print "\n";
        }
        print '<tbody>';
-       for my $msb (0 .. $#nibble) {
-               print '<tr><th>', $nibble[$msb];
+       for my $msb (0 .. (length($tables[$tablenum]) || 256) - 1 >> 4) {
+               printf '<tr><th>%X', $msb;
                for my $lsb (0 .. $#nibble) {
+                       if ($request[$tablenum] eq 'utf-8-strict') {
+                               printcell_utf8(($msb<<4) + $lsb);
+                               next;
+                       }
+                       elsif ($request[$tablenum] eq 'Internal') {
+                               printcell_unicode(($msb<<4) + $lsb);
+                               next;
+                       }
+
                        my $glyph = substr $tables[$tablenum], ($msb<<4) + $lsb, 1;
                        if ($glyph eq $NOCHAR) {
                                print '<td>';