tools/mkdigraphlist

   1 #!/usr/bin/env perl
   2
   3 use strict;
   4 use warnings;
   5 use utf8;
   6
   7 use open OUT => ':encoding(utf-8)', ':std';
   8 use JSON ();
   9
  10 our $VERSION = '1.07';
  11
  12 # import and combine various digraph data
  13 push @INC, 'data';
  14 my $rfc = do 'digraphs-rfc.inc.pl'
  15         or die "error reading digraphs include: ", $@ // $!;
  16 my $extra = do 'digraphs-shiar.inc.pl'
  17         or warn "could not include shiar proposals: ", $@ // $!;
  18 my $vim = do 'digraphs-vim.inc.pl'
  19         or warn "could not include vim extensions ", $@ // $!;
  20 my $vimold = do 'digraphs-vim-74.inc.pl'
  21         or warn "could not include vim compatibility ", $@ // $!;
  22 my $di = { %{$vim // {}}, %{$rfc}, %{$extra // {}} };
  23
  24 # optionally get unicode character information
  25 my $uninfo = do 'unicode-char.inc.pl'
  26         or warn "could not include unicode details: ", $@ // $!;
  27
  28 # output json map of character info
  29 my %table;
  30 $table{$_} = 0 for (
  31         grep { !defined $di->{$_} }
  32         map { substr($_, 1, 1).substr($_, 0, 1) } sort keys %{$di}
  33 );
  34 $table{$_} = [
  35         ord $di->{$_},   # original code point
  36         $uninfo->{ $di->{$_} }->[1] // '',  # name
  37         join(' ',
  38                 $rfc->{$_}
  39                         ? $vim->{$_} ? 'l4' : 'l1'  # vim+rfc or rfc only
  40                         : $vim->{$_} ? 'l3' : 'l2', # vim only or neither
  41                 $vimold && $vim->{$_} && !$vimold->{$_} ? 'ex' : (), # new vim feature
  42         ),
  43         ($uninfo->{ $di->{$_} }->[0] // '') =~ s/ u-di| u-prop| ex//gr,  # class
  44         $uninfo->{ $di->{$_} }->[4] // (),  # string
  45 ] for sort keys %{$di};
  46
  47 print JSON->new->ascii->canonical->encode({
  48         key  => \%table,
  49         flag => {
  50                 l4 => 'full support',
  51                 l3 => 'vim extension',
  52                 'l3 ex' => 'vim v8.0',
  53                 l2 => 'proposal',
  54                 l1 => 'not in vim',
  55         },
  56 });
  57
  58 __END__
  59
  60 =head1 NAME
  61
  62 mkdigraphlist - Output character list of combined digraph data
  63
  64 =head1 SYNOPSIS
  65
  66     mkdigraphlist | jq -r '.key."DO"[0]' | perl -nE 'say chr' # $
  67
  68 =head1 DESCRIPTION
  69
  70 Combines precompiled digraph includes of rfc (1345), vim, and shiar
  71 and outputs a complete map including character details and usage classes.
  72
  73 The C<key> values can either be a scalar string containing another
  74 digraph which can be considered identical (usually inverted),
  75 or an array ref containing at least the resulting character's
  76 Unicode code point value.  If available, the following UCD data
  77 is appended: character name, usage classes, unicode classes,
  78 and replacement output string.
  79 For example:
  80
  81   {
  82    "key": {
  83     "AE" => [198, "LATIN CAPITAL LETTER AE", "u-di", "Latin Lu Xl u-v11"],
  84     "EA" => "AE",
  85    }
  86   }
  87
  88 =head1 AUTHOR
  89
  90 Mischa POSLAWSKY <perl@shiar.org>
  91
  92 =head1 LICENSE
  93
  94 Licensed under the GNU Affero General Public License version 3.
  95