charset: describe unicode BMP blocks upto U+27Xx
[sheet.git] / charset.plp
index e9c4fcc7c0d323f2b34895096ad73aacae08339a..777e0ee9d896c5732e5223163d7c18b671506c22 100644 (file)
@@ -31,7 +31,8 @@ use Encode qw(decode resolve_alias);
 # (~16x faster than decoding in loop;
 #  substr strings is twice as fast as splitting to an array)
 my %ALIAS = (
-       default => [qw(utf-8 iso-8859-1 cp437)],
+#      default => [qw(unicode utf-8 iso-8859-1 cp437 -cp1252- --iso-8859-15- -koi8-f)],
+       default => [qw(unicode utf-8 iso-8859-1 -cp1252- --iso-8859-15- cp437 -cp850)],
        0 => [qw(cp437 cp863)],
        1 => [qw(iso-8859-1 cp1252 MacRoman cp850)],
        2 => [qw(iso-8859-2 cp1250 cp852 MacCentralEurRoman MacCroatian MacRumanian)],
@@ -39,16 +40,47 @@ my %ALIAS = (
        7 => [qw(iso-8859-7 cp1253 MacGreek cp737 cp869)],
        8 => [qw(iso-8859-8 cp1255 MacHebrew cp862)],
 );
-my @request = grep { defined } map {
-       $_ ? (resolve_alias($_) or print("Encoding $_ unknown") && ()) : ();
+my @request = map {
+       if (my $input = $_) {
+               my %row = (offset => 0);
+               my $endpoint = 255;
+               if ($input =~ s/^--//) {
+                       $row{offset} = $endpoint > 160 ? 160 : 48;
+               }
+               elsif ($input =~ s/^-//) {
+                       $row{offset} = $endpoint > 128 ? 128 : 32;
+               }
+               if ($input =~ s/-$//) {
+                       $endpoint = $row{offset} ? $row{offset} < 160 ? 159 : 191 : 127;
+               }
+               if ($row{set} = resolve_alias($input)) {
+                       if ($row{set} eq 'Internal') {
+                               $row{table} = ' 'x640;
+                               $row{set} = 'Unicode BMP';
+                       }
+                       elsif ($row{set} eq 'utf-8-strict') {
+                               $row{table} = undef;
+                               $row{set} = 'UTF-8';
+                       }
+                       else {
+                               $row{table} = decode($row{set}, pack 'C*', $row{offset} .. $endpoint);
+                       }
+               }
+               else {
+                       print "<p>Encoding $input unknown</p>\n";
+               }
+               \%row;
+       }
+       else {
+               ();
+       }
 } map { defined $ALIAS{$_} ? @{ $ALIAS{$_} } : $_ }
        $ENV{PATH_INFO} =~ /\w/ ? split(m{[/+\s]}, $ENV{PATH_INFO}) : 'default';
-my @tables = map { $_ eq 'utf-8-strict' ? undef : decode($_, pack 'C*', 0..255) } @request;
 my $NOCHAR = chr 0xFFFD;
 
-for my $cp437 (grep {$request[$_] eq 'cp437'} 0 .. $#request) {
-       substr($tables[$cp437], 237, 1) = pack 'U*', 0x3D5; # phi sign
-       substr($tables[$cp437], 0, 32) = pack 'U*', map {hex} qw(
+for my $cp437 (grep {$request[$_]->{set} eq 'cp437'} 0 .. $#request) {
+       substr($request[$cp437]->{table}, 237, 1) = pack 'U*', 0x3D5; # phi sign
+       substr($request[$cp437]->{table}, 0, 32) = pack 'U*', map {hex} qw(
                2007 263A 263B 2665 2666 2663 2660 2022 25D8 25CB 25D9 2642 2640 266A 266B 263C
                25BA 25C4 2195 203C 00B6 00A7 25AC 21A8 2191 2193 2192 2190 221F 2194 25B2 25BC
        );
@@ -62,6 +94,289 @@ sub quote {
        return $_;
 }
 
+sub printcell_unicode {
+       my ($value) = @_;
+       if ($value > 0x27F) {
+               print "\n".'<td class="X">?';
+       }
+       elsif ($value == 0) {
+               print '<td colspan="2" class="X Cc">control';
+       }
+       elsif ($value == 2) {
+               print '<td colspan="6" class="X Ll Latin">latin';
+       }
+       elsif ($value == 8) {
+               print '<td colspan="2" class="X Cc">control';
+       }
+       elsif ($value == 10) {
+               print '<td colspan="6" class="X Ll Latin">latin supplement';
+       }
+       elsif ($value == 0x10) {
+               print '<td colspan="8" class="X Ll Latin">latin ext-A';
+       }
+       elsif ($value == 0x18) {
+               print '<td colspan="8" class="X Ll Latin">latin ext-B';
+       }
+       elsif ($value == 0x20) {
+               print '<td colspan="5" class="X Ll Latin">latin ext-B';
+       }
+       elsif ($value == 0x25) {
+               print '<td colspan="6" class="X Ll Latin">IPA';
+       }
+       elsif ($value == 0x2B) {
+               print '<td colspan="5" class="X Sk">spacing modifier';
+       }
+       elsif ($value == 0x30) {
+               print '<td colspan="8" class="X Mn">diacritics';
+       }
+       elsif ($value == 0x38) {
+               print '<td colspan="8" class="X Ll Greek">greek';
+       }
+       elsif ($value == 0x40) {
+               print '<td colspan="16" class="X Ll Cyrillic">cyrillic';
+       }
+       elsif ($value == 0x50) {
+               print '<td colspan="3" class="X Ll Cyrillic">cyrillic+';
+       }
+       elsif ($value == 0x53) {
+               print '<td colspan="5" class="X Ll Armenian">armenian';
+       }
+       elsif ($value == 0x58) {
+               print '<td colspan="8" class="X Ll Hebrew">hebrew';
+       }
+       elsif ($value == 0x60) {
+               print '<td colspan="16" class="X Ll Arabic">arabic';
+       }
+       elsif ($value == 0x70) {
+               print '<td colspan="5" class="X Ll Aramaic">syriac';
+       }
+       elsif ($value == 0x75) {
+               print '<td colspan="3" class="X Ll Arabic">arabic+';
+       }
+       elsif ($value == 0x78) {
+               print '<td colspan="4" class="X Ll African">thaana';
+       }
+       elsif ($value == 0x7C) {
+               print '<td colspan="4" class="X Ll African">nko';
+       }
+       elsif ($value == 0x80) {
+               print '<td colspan="4" class="X di-rare">samaritan';
+       }
+       elsif ($value == 0x84) {
+               print '<td colspan="2" class="X di-rare Ll Aramaic">manda';
+       }
+       elsif ($value == 0x86) {
+               print '<td colspan="12" class="di-invalid">reserved';
+       }
+       elsif ($value == 0x90) {
+               print '<td colspan="8" class="X Ll Brahmic">devanagari';
+       }
+       elsif ($value == 0x98) {
+               print '<td colspan="8" class="X Ll Brahmic">bengali';
+       }
+       elsif ($value == 0xA0) {
+               print '<td colspan="8" class="X Ll Brahmic">gurmukhi';
+       }
+       elsif ($value == 0xA8) {
+               print '<td colspan="8" class="X Ll Brahmic">gujarati';
+       }
+       elsif ($value == 0xB0) {
+               print '<td colspan="8" class="X Ll Brahmic">oriya';
+       }
+       elsif ($value == 0xB8) {
+               print '<td colspan="8" class="X Ll Brahmic">tamil';
+       }
+       elsif ($value == 0xC0) {
+               print '<td colspan="8" class="X Ll Brahmic">telugu';
+       }
+       elsif ($value == 0xC8) {
+               print '<td colspan="8" class="X Ll Brahmic">kannada';
+       }
+       elsif ($value == 0xD0) {
+               print '<td colspan="8" class="X Ll Brahmic">malayalam';
+       }
+       elsif ($value == 0xD8) {
+               print '<td colspan="8" class="X Ll Brahmic">sinhala';
+       }
+       elsif ($value == 0xE0) {
+               print '<td colspan="8" class="X Ll Brahmic Khmer">thai';
+       }
+       elsif ($value == 0xE8) {
+               print '<td colspan="8" class="X Ll Brahmic Khmer">lao';
+       }
+       elsif ($value == 0xF0) {
+               print '<td colspan="16" class="X Ll Brahmic">tibetan';
+       }
+       elsif ($value == 0x100) {
+               print '<td colspan="10" class="X Ll Brahmic">myanmar';
+       }
+       elsif ($value == 0x10A) {
+               print '<td colspan="6" class="X Ll Aramaic">georgian';
+       }
+       elsif ($value == 0x110) {
+               print '<td colspan="16" class="X Ll Hangul">hangeul jamo';
+       }
+       elsif ($value == 0x120) {
+               print '<td colspan="16" class="X Ll African">ethiopic';
+       }
+       elsif ($value == 0x130) {
+               print '<td colspan="8" class="X Ll African">ethiopic';
+       }
+       elsif ($value == 0x138) {
+               print '<td colspan="2" class="X Ll African">eth+';
+       }
+       elsif ($value == 0x13A) {
+               print '<td colspan="6" class="X Ll Syllabic">cherokee';
+       }
+       elsif ($value == 0x140) {
+               print '<td colspan="16" rowspan="2" class="X Ll Syllabic">unified canadian aboriginal syllabics';
+       }
+       elsif ($value == 0x160) {
+               print '<td colspan="8" class="X Ll Syllabic">unified canadian syllabics';
+       }
+       elsif ($value == 0x168) {
+               print '<td colspan="2" class="X Ll X">ogham';
+       }
+       elsif ($value == 0x16A) {
+               print '<td colspan="6" class="X Ll X">runic';
+       }
+       elsif ($value == 0x170) {
+               print '<td colspan="2" class="X Ll Brahmic">tagalog';
+       }
+       elsif ($value == 0x172) {
+               print '<td colspan="2" class="X Ll Brahmic">hanun';
+       }
+       elsif ($value == 0x174) {
+               print '<td colspan="2" class="X Ll Brahmic">buhid';
+       }
+       elsif ($value == 0x176) {
+               print '<td colspan="2" class="X Ll Brahmic" title="tagbanwa">tagb';
+       }
+       elsif ($value == 0x178) {
+               print '<td colspan="8" class="X Ll Brahmic Khmer">khmer';
+       }
+       elsif ($value == 0x180) {
+               print '<td colspan="11" class="X Ll Aramaic">mongolian';
+       }
+       elsif ($value == 0x18B) {
+               print '<td colspan="5" class="X Ll Syllabic di-rare">canadian+';
+       }
+       elsif ($value == 0x190) {
+               print '<td colspan="5" class="X Ll Brahmic">limbu';
+       }
+       elsif ($value == 0x195) {
+               print '<td colspan="4" class="X Ll Brahmic">tai le';
+       }
+       elsif ($value == 0x198) {
+               print '<td colspan="6" class="X Ll Brahmic">new tai lue';
+       }
+       elsif ($value == 0x19E) {
+               print '<td colspan="2" class="X Ll Brahmic Khmer" title="khmer symbols">km';
+       }
+       elsif ($value == 0x1A0) {
+               print '<td colspan="2" class="X Ll Brahmic">lontara';
+       }
+       elsif ($value == 0x1A2) {
+               print '<td colspan="9" class="X Ll Brahmic di-rare">tai tham';
+       }
+       elsif ($value == 0x1AB) {
+               print '<td colspan="5" class="di-invalid">reserved';
+       }
+       elsif ($value == 0x1B0) {
+               print '<td colspan="8" class="X Ll ">balinese';
+       }
+       elsif ($value == 0x1B8) {
+               print '<td colspan="4" class="X Ll ">sundanese';
+       }
+       elsif ($value == 0x1BC) {
+               print '<td colspan="4" class="X Ll di-rare">batak';
+       }
+       elsif ($value == 0x1C0) {
+               print '<td colspan="5" class="X Ll ">lepcha';
+       }
+       elsif ($value == 0x1C5) {
+               print '<td colspan="3" class="X Ll ">ol chiki';
+       }
+       elsif ($value == 0x1C8) {
+               print '<td colspan="5" class="di-invalid">reserved';
+       }
+       elsif ($value == 0x1CD) {
+               print '<td colspan="3" class="X Ll di-rare">vedic';
+       }
+       elsif ($value == 0x1D0) {
+               print '<td colspan="8" class="X Ll Latin">phonetic';
+       }
+       elsif ($value == 0x1D8) {
+               print '<td colspan="4" class="X Ll Latin">phonetic+';
+       }
+       elsif ($value == 0x1DC) {
+               print '<td colspan="4" class="X Mn">combining';
+       }
+       elsif ($value == 0x1E0) {
+               print '<td colspan="16" class="X Ll Latin">latin extended additional';
+       }
+       elsif ($value == 0x1F0) {
+               print '<td colspan="16" class="X Ll Greek">greek+';
+       }
+       elsif ($value == 0x200) {
+               print '<td colspan="7" class="X Pd">general punctuation';
+       }
+       elsif ($value == 0x207) {
+               print '<td colspan="3" class="X Latin">su[bp]script';
+       }
+       elsif ($value == 0x20A) {
+               print '<td colspan="3" class="X Sc">currency';
+       }
+       elsif ($value == 0x20D) {
+               print '<td colspan="3" class="X Mn">overlay';
+       }
+       elsif ($value == 0x210) {
+               print '<td colspan="5" class="X So">letterlike';
+       }
+       elsif ($value == 0x215) {
+               print '<td colspan="4" class="X Latin">number';
+       }
+       elsif ($value == 0x219) {
+               print '<td colspan="7" class="X So">arrows';
+       }
+       elsif ($value == 0x220) {
+               print '<td colspan="16" class="X Sm">mathematical symbols';
+       }
+       elsif ($value == 0x230) {
+               print '<td colspan="16" class="X So">miscellaneous technical';
+       }
+       elsif ($value == 0x240) {
+               print '<td colspan="4" class="X So">control';
+       }
+       elsif ($value == 0x244) {
+               print '<td colspan="2" class="X So">OCR';
+       }
+       elsif ($value == 0x246) {
+               print '<td colspan="10" class="X Latin">enclosed alphanumerics';
+       }
+       elsif ($value == 0x250) {
+               print '<td colspan="8" class="X So">box drawing';
+       }
+       elsif ($value == 0x258) {
+               print '<td colspan="2" class="X So">blocks';
+       }
+       elsif ($value == 0x25A) {
+               print '<td colspan="6" class="X So">geometric shapes';
+       }
+       elsif ($value == 0x260) {
+               print '<td colspan="16" class="X So">miscellaneous symbols';
+       }
+       elsif ($value == 0x270) {
+               print '<td colspan="12" class="X So">dingbats';
+       }
+       elsif ($value == 0x27C) {
+               print '<td colspan="3" class="X So">maths-A';
+       }
+       elsif ($value == 0x27F) {
+               print '<td colspan="1" class="X So" title="supplemental arrows-A">arr';
+       }
+}
+
 sub printcell_utf8 {
        my ($value) = @_;
        if ($value <= 0x7F) {
@@ -124,9 +439,9 @@ sub printcell_utf8 {
 print "<ul>\n";
 
 my @nibble = (0..9, 'A'..'F');
-for my $tablenum (0 .. $#tables) {
+for my $row (@request) {
        print '<li><table class="glyphs">';
-       printf '<caption>%s</caption>', $request[$tablenum] eq 'utf-8-strict' ? 'UTF-8' : $request[$tablenum];
+       printf '<caption>%s</caption>', $row->{set};
        print '<col>';
        for my $section (qw{thead}) {
                print "<$section><tr><th>↱";
@@ -134,15 +449,19 @@ for my $tablenum (0 .. $#tables) {
                print "\n";
        }
        print '<tbody>';
-       for my $msb (0 .. $#nibble) {
-               print '<tr><th>', $nibble[$msb];
+       for my $msb (0 .. (length($row->{table}) || 256) - 1 >> 4) {
+               printf '<tr><th>%X', $msb + ($row->{offset} >> 4);
                for my $lsb (0 .. $#nibble) {
-                       if ($request[$tablenum] eq 'utf-8-strict') {
+                       if ($row->{set} eq 'UTF-8') {
                                printcell_utf8(($msb<<4) + $lsb);
                                next;
                        }
+                       elsif ($row->{set} eq 'Unicode BMP') {
+                               printcell_unicode(($msb<<4) + $lsb);
+                               next;
+                       }
 
-                       my $glyph = substr $tables[$tablenum], ($msb<<4) + $lsb, 1;
+                       my $glyph = substr $row->{table}, ($msb<<4) + $lsb, 1;
                        if ($glyph eq $NOCHAR) {
                                print '<td>';
                                next;