/[suikacvs]/markup/html/whatpm/Whatpm/HTML/Tokenizer.pm
Suika

Diff of /markup/html/whatpm/Whatpm/HTML/Tokenizer.pm

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 1.18 by wakaba, Sun Oct 19 06:14:57 2008 UTC revision 1.30 by wakaba, Sun Aug 16 05:24:47 2009 UTC
# Line 182  sub NDATA_STATE () { 86 } Line 182  sub NDATA_STATE () { 86 }
182  sub AFTER_NDATA_STATE () { 87 }  sub AFTER_NDATA_STATE () { 87 }
183  sub BEFORE_NOTATION_NAME_STATE () { 88 }  sub BEFORE_NOTATION_NAME_STATE () { 88 }
184  sub NOTATION_NAME_STATE () { 89 }  sub NOTATION_NAME_STATE () { 89 }
185  sub AFTER_NOTATION_NAME_STATE () { 90 }  sub DOCTYPE_ENTITY_VALUE_DOUBLE_QUOTED_STATE () { 90 }
186  sub BOGUS_MD_STATE () { 91 }  sub DOCTYPE_ENTITY_VALUE_SINGLE_QUOTED_STATE () { 91 }
187    sub ENTITY_VALUE_ENTITY_STATE () { 92 }
188    sub AFTER_ELEMENT_NAME_STATE () { 93 }
189    sub BEFORE_ELEMENT_CONTENT_STATE () { 94 }
190    sub CONTENT_KEYWORD_STATE () { 95 }
191    sub AFTER_CM_GROUP_OPEN_STATE () { 96 }
192    sub CM_ELEMENT_NAME_STATE () { 97 }
193    sub AFTER_CM_ELEMENT_NAME_STATE () { 98 }
194    sub AFTER_CM_GROUP_CLOSE_STATE () { 99 }
195    sub AFTER_MD_DEF_STATE () { 100 }
196    sub BOGUS_MD_STATE () { 101 }
197    
198  ## Tree constructor state constants (see Whatpm::HTML for the full  ## Tree constructor state constants (see Whatpm::HTML for the full
199  ## list and descriptions)  ## list and descriptions)
# Line 1238  sub _get_next_token ($) { Line 1248  sub _get_next_token ($) {
1248          if ({          if ({
1249               0x0022 => 1, # "               0x0022 => 1, # "
1250               0x0027 => 1, # '               0x0027 => 1, # '
1251                 0x003C => 1, # <
1252               0x003D => 1, # =               0x003D => 1, # =
1253              }->{$self->{nc}}) {              }->{$self->{nc}}) {
1254                        
# Line 1420  sub _get_next_token ($) { Line 1431  sub _get_next_token ($) {
1431    
1432          redo A;          redo A;
1433        } else {        } else {
1434          if ($self->{nc} == 0x0022 or # "          if ({
1435              $self->{nc} == 0x0027) { # '               0x0022 => 1, # "
1436                 0x0027 => 1, # '
1437                 0x003C => 1, # <
1438                }->{$self->{nc}}) {
1439                        
1440            ## XML5: Not a parse error.            ## XML5: Not a parse error.
1441            $self->{parse_error}->(level => $self->{level}->{must}, type => 'bad attribute name');            $self->{parse_error}->(level => $self->{level}->{must}, type => 'bad attribute name');
# Line 1592  sub _get_next_token ($) { Line 1606  sub _get_next_token ($) {
1606                        
1607          }          }
1608    
1609          if ($self->{nc} == 0x0022 or # "          if ({
1610              $self->{nc} == 0x0027) { # '               0x0022 => 1, # "
1611                 0x0027 => 1, # '
1612                 0x003C => 1, # <
1613                }->{$self->{nc}}) {
1614                        
1615            ## XML5: Not a parse error.            ## XML5: Not a parse error.
1616            $self->{parse_error}->(level => $self->{level}->{must}, type => 'bad attribute name');            $self->{parse_error}->(level => $self->{level}->{must}, type => 'bad attribute name');
# Line 1730  sub _get_next_token ($) { Line 1747  sub _get_next_token ($) {
1747    
1748          redo A;          redo A;
1749        } else {        } else {
1750          if ($self->{nc} == 0x003D) { # =          if ($self->{nc} == 0x003D or $self->{nc} == 0x003C) { # =, <
1751                        
1752            ## XML5: Not a parse error.            ## XML5: Not a parse error.
1753            $self->{parse_error}->(level => $self->{level}->{must}, type => 'bad attribute value');            $self->{parse_error}->(level => $self->{level}->{must}, type => 'bad attribute value');
# Line 1806  sub _get_next_token ($) { Line 1823  sub _get_next_token ($) {
1823      }      }
1824        
1825          redo A;          redo A;
1826          } elsif ($self->{is_xml} and
1827                   $is_space->{$self->{nc}}) {
1828            
1829            $self->{ca}->{value} .= ' ';
1830            ## Stay in the state.
1831            
1832        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
1833          $self->{line_prev} = $self->{line};
1834          $self->{column_prev} = $self->{column};
1835          $self->{column}++;
1836          $self->{nc}
1837              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
1838        } else {
1839          $self->{set_nc}->($self);
1840        }
1841      
1842            redo A;
1843        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
1844          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed attribute value');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed attribute value');
1845          if ($self->{ct}->{type} == START_TAG_TOKEN) {          if ($self->{ct}->{type} == START_TAG_TOKEN) {
# Line 1853  sub _get_next_token ($) { Line 1887  sub _get_next_token ($) {
1887          }          }
1888          $self->{ca}->{value} .= chr ($self->{nc});          $self->{ca}->{value} .= chr ($self->{nc});
1889          $self->{read_until}->($self->{ca}->{value},          $self->{read_until}->($self->{ca}->{value},
1890                                q["&<],                                qq["&<\x09\x0C\x20],
1891                                length $self->{ca}->{value});                                length $self->{ca}->{value});
1892    
1893          ## Stay in the state          ## Stay in the state
# Line 1920  sub _get_next_token ($) { Line 1954  sub _get_next_token ($) {
1954      }      }
1955        
1956          redo A;          redo A;
1957          } elsif ($self->{is_xml} and
1958                   $is_space->{$self->{nc}}) {
1959            
1960            $self->{ca}->{value} .= ' ';
1961            ## Stay in the state.
1962            
1963        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
1964          $self->{line_prev} = $self->{line};
1965          $self->{column_prev} = $self->{column};
1966          $self->{column}++;
1967          $self->{nc}
1968              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
1969        } else {
1970          $self->{set_nc}->($self);
1971        }
1972      
1973            redo A;
1974        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
1975          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed attribute value');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed attribute value');
1976          if ($self->{ct}->{type} == START_TAG_TOKEN) {          if ($self->{ct}->{type} == START_TAG_TOKEN) {
# Line 1967  sub _get_next_token ($) { Line 2018  sub _get_next_token ($) {
2018          }          }
2019          $self->{ca}->{value} .= chr ($self->{nc});          $self->{ca}->{value} .= chr ($self->{nc});
2020          $self->{read_until}->($self->{ca}->{value},          $self->{read_until}->($self->{ca}->{value},
2021                                q['&<],                                qq['&<\x09\x0C\x20],
2022                                length $self->{ca}->{value});                                length $self->{ca}->{value});
2023    
2024          ## Stay in the state          ## Stay in the state
# Line 2139  sub _get_next_token ($) { Line 2190  sub _get_next_token ($) {
2190               0x0022 => 1, # "               0x0022 => 1, # "
2191               0x0027 => 1, # '               0x0027 => 1, # '
2192               0x003D => 1, # =               0x003D => 1, # =
2193                 0x003C => 1, # <
2194              }->{$self->{nc}}) {              }->{$self->{nc}}) {
2195                        
2196            ## XML5: Not a parse error.            ## XML5: Not a parse error.
# Line 2148  sub _get_next_token ($) { Line 2200  sub _get_next_token ($) {
2200          }          }
2201          $self->{ca}->{value} .= chr ($self->{nc});          $self->{ca}->{value} .= chr ($self->{nc});
2202          $self->{read_until}->($self->{ca}->{value},          $self->{read_until}->($self->{ca}->{value},
2203                                q["'=& >],                                qq["'=& \x09\x0C>],
2204                                length $self->{ca}->{value});                                length $self->{ca}->{value});
2205    
2206          ## Stay in the state          ## Stay in the state
# Line 2954  sub _get_next_token ($) { Line 3006  sub _get_next_token ($) {
3006          redo A;          redo A;
3007        } else {        } else {
3008                    
         ## XML5: Not a parse error.  
         $self->{parse_error}->(level => $self->{level}->{must}, type => 'dash in comment',  
                         line => $self->{line_prev},  
                         column => $self->{column_prev});  
3009          $self->{ct}->{data} .= '--' . chr ($self->{nc}); # comment          $self->{ct}->{data} .= '--' . chr ($self->{nc}); # comment
3010          $self->{state} = COMMENT_STATE;          $self->{state} = COMMENT_STATE;
3011                    
# Line 2989  sub _get_next_token ($) { Line 3037  sub _get_next_token ($) {
3037      }      }
3038        
3039          redo A;          redo A;
3040          } elsif ($self->{nc} == -1) {
3041            
3042            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed DOCTYPE');
3043            $self->{ct}->{quirks} = 1;
3044    
3045            $self->{state} = DATA_STATE;
3046            ## Reconsume.
3047            return  ($self->{ct}); # DOCTYPE (quirks)
3048    
3049            redo A;
3050        } else {        } else {
3051                    
3052          ## XML5: Unless EOF, swith to the bogus comment state.          ## XML5: Swith to the bogus comment state.
3053          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before DOCTYPE name');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before DOCTYPE name');
3054          $self->{state} = BEFORE_DOCTYPE_NAME_STATE;          $self->{state} = BEFORE_DOCTYPE_NAME_STATE;
3055          ## reconsume          ## reconsume
# Line 3036  sub _get_next_token ($) { Line 3094  sub _get_next_token ($) {
3094          return  ($self->{ct}); # DOCTYPE (quirks)          return  ($self->{ct}); # DOCTYPE (quirks)
3095    
3096          redo A;          redo A;
3097          } elsif (0x0041 <= $self->{nc} and $self->{nc} <= 0x005A) { # A..Z
3098            
3099            $self->{ct}->{name} # DOCTYPE
3100                = chr ($self->{nc} + ($self->{is_xml} ? 0 : 0x0020));
3101            delete $self->{ct}->{quirks};
3102            $self->{state} = DOCTYPE_NAME_STATE;
3103            
3104        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
3105          $self->{line_prev} = $self->{line};
3106          $self->{column_prev} = $self->{column};
3107          $self->{column}++;
3108          $self->{nc}
3109              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
3110        } else {
3111          $self->{set_nc}->($self);
3112        }
3113      
3114            redo A;
3115        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
3116                    
3117          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no DOCTYPE name');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no DOCTYPE name');
# Line 3122  sub _get_next_token ($) { Line 3198  sub _get_next_token ($) {
3198          return  ($self->{ct}); # DOCTYPE          return  ($self->{ct}); # DOCTYPE
3199    
3200          redo A;          redo A;
3201          } elsif (0x0041 <= $self->{nc} and $self->{nc} <= 0x005A) { # A..Z
3202            
3203            $self->{ct}->{name} # DOCTYPE
3204                .= chr ($self->{nc} + ($self->{is_xml} ? 0 : 0x0020));
3205            delete $self->{ct}->{quirks};
3206            ## Stay in the state.
3207            
3208        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
3209          $self->{line_prev} = $self->{line};
3210          $self->{column_prev} = $self->{column};
3211          $self->{column}++;
3212          $self->{nc}
3213              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
3214        } else {
3215          $self->{set_nc}->($self);
3216        }
3217      
3218            redo A;
3219        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
3220                    
3221          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed DOCTYPE');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed DOCTYPE');
# Line 3153  sub _get_next_token ($) { Line 3247  sub _get_next_token ($) {
3247          redo A;          redo A;
3248        } else {        } else {
3249                    
3250          $self->{ct}->{name}          $self->{ct}->{name} .= chr ($self->{nc}); # DOCTYPE
3251            .= chr ($self->{nc}); # DOCTYPE          ## Stay in the state.
         ## Stay in the state  
3252                    
3253      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
3254        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 3262  sub _get_next_token ($) { Line 3355  sub _get_next_token ($) {
3355      }      }
3356        
3357          redo A;          redo A;
3358  ## TODO: " and ' for ENTITY        } elsif ($self->{nc} == 0x0022 and # "
3359                   ($self->{ct}->{type} == GENERAL_ENTITY_TOKEN or
3360                    $self->{ct}->{type} == PARAMETER_ENTITY_TOKEN)) {
3361            
3362            $self->{state} = DOCTYPE_ENTITY_VALUE_DOUBLE_QUOTED_STATE;
3363            $self->{ct}->{value} = ''; # ENTITY
3364            
3365        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
3366          $self->{line_prev} = $self->{line};
3367          $self->{column_prev} = $self->{column};
3368          $self->{column}++;
3369          $self->{nc}
3370              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
3371        } else {
3372          $self->{set_nc}->($self);
3373        }
3374      
3375            redo A;
3376          } elsif ($self->{nc} == 0x0027 and # '
3377                   ($self->{ct}->{type} == GENERAL_ENTITY_TOKEN or
3378                    $self->{ct}->{type} == PARAMETER_ENTITY_TOKEN)) {
3379            
3380            $self->{state} = DOCTYPE_ENTITY_VALUE_SINGLE_QUOTED_STATE;
3381            $self->{ct}->{value} = ''; # ENTITY
3382            
3383        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
3384          $self->{line_prev} = $self->{line};
3385          $self->{column_prev} = $self->{column};
3386          $self->{column}++;
3387          $self->{nc}
3388              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
3389        } else {
3390          $self->{set_nc}->($self);
3391        }
3392      
3393            redo A;
3394        } elsif ($self->{is_xml} and        } elsif ($self->{is_xml} and
3395                 $self->{ct}->{type} == DOCTYPE_TOKEN and                 $self->{ct}->{type} == DOCTYPE_TOKEN and
3396                 $self->{nc} == 0x005B) { # [                 $self->{nc} == 0x005B) { # [
# Line 4583  sub _get_next_token ($) { Line 4711  sub _get_next_token ($) {
4711              0x003C => 1, 0x0026 => 1, -1 => 1, # <, &              0x003C => 1, 0x0026 => 1, -1 => 1, # <, &
4712              $self->{entity_add} => 1,              $self->{entity_add} => 1,
4713            }->{$self->{nc}}) {            }->{$self->{nc}}) {
4714                    if ($self->{is_xml}) {
4715              
4716              $self->{parse_error}->(level => $self->{level}->{must}, type => 'bare ero',
4717                              line => $self->{line_prev},
4718                              column => $self->{column_prev}
4719                                  + ($self->{nc} == -1 ? 1 : 0));
4720            } else {
4721              
4722              ## No error
4723            }
4724          ## Don't consume          ## Don't consume
         ## No error  
4725          ## Return nothing.          ## Return nothing.
4726          #          #
4727        } elsif ($self->{nc} == 0x0023) { # #        } elsif ($self->{nc} == 0x0023) { # #
# Line 4604  sub _get_next_token ($) { Line 4740  sub _get_next_token ($) {
4740      }      }
4741        
4742          redo A;          redo A;
4743        } elsif ((0x0041 <= $self->{nc} and        } elsif ($self->{is_xml} or
4744                   (0x0041 <= $self->{nc} and
4745                  $self->{nc} <= 0x005A) or # A..Z                  $self->{nc} <= 0x005A) or # A..Z
4746                 (0x0061 <= $self->{nc} and                 (0x0061 <= $self->{nc} and
4747                  $self->{nc} <= 0x007A)) { # a..z                  $self->{nc} <= 0x007A)) { # a..z
# Line 4658  sub _get_next_token ($) { Line 4795  sub _get_next_token ($) {
4795          redo A;          redo A;
4796        }        }
4797      } elsif ($self->{state} == ENTITY_HASH_STATE) {      } elsif ($self->{state} == ENTITY_HASH_STATE) {
4798        if ($self->{nc} == 0x0078 or # x        if ($self->{nc} == 0x0078) { # x
4799            $self->{nc} == 0x0058) { # X          
4800            $self->{state} = HEXREF_X_STATE;
4801            $self->{kwd} .= chr $self->{nc};
4802            
4803        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
4804          $self->{line_prev} = $self->{line};
4805          $self->{column_prev} = $self->{column};
4806          $self->{column}++;
4807          $self->{nc}
4808              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
4809        } else {
4810          $self->{set_nc}->($self);
4811        }
4812      
4813            redo A;
4814          } elsif ($self->{nc} == 0x0058) { # X
4815                    
4816            if ($self->{is_xml}) {
4817              $self->{parse_error}->(level => $self->{level}->{must}, type => 'uppercase hcro'); ## TODO: type
4818            }
4819          $self->{state} = HEXREF_X_STATE;          $self->{state} = HEXREF_X_STATE;
4820          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
4821                    
# Line 4765  sub _get_next_token ($) { Line 4920  sub _get_next_token ($) {
4920        my $code = $self->{kwd};        my $code = $self->{kwd};
4921        my $l = $self->{line_prev};        my $l = $self->{line_prev};
4922        my $c = $self->{column_prev};        my $c = $self->{column_prev};
4923        if ($charref_map->{$code}) {        if ((not $self->{is_xml} and $charref_map->{$code}) or
4924              ($self->{is_xml} and 0xD800 <= $code and $code <= 0xDFFF) or
4925              ($self->{is_xml} and $code == 0x0000)) {
4926                    
4927          $self->{parse_error}->(level => $self->{level}->{must}, type => 'invalid character reference',          $self->{parse_error}->(level => $self->{level}->{must}, type => 'invalid character reference',
4928                          text => (sprintf 'U+%04X', $code),                          text => (sprintf 'U+%04X', $code),
# Line 4918  sub _get_next_token ($) { Line 5075  sub _get_next_token ($) {
5075        my $code = $self->{kwd};        my $code = $self->{kwd};
5076        my $l = $self->{line_prev};        my $l = $self->{line_prev};
5077        my $c = $self->{column_prev};        my $c = $self->{column_prev};
5078        if ($charref_map->{$code}) {        if ((not $self->{is_xml} and $charref_map->{$code}) or
5079              ($self->{is_xml} and 0xD800 <= $code and $code <= 0xDFFF) or
5080              ($self->{is_xml} and $code == 0x0000)) {
5081                    
5082          $self->{parse_error}->(level => $self->{level}->{must}, type => 'invalid character reference',          $self->{parse_error}->(level => $self->{level}->{must}, type => 'invalid character reference',
5083                          text => (sprintf 'U+%04X', $code),                          text => (sprintf 'U+%04X', $code),
# Line 4952  sub _get_next_token ($) { Line 5111  sub _get_next_token ($) {
5111          redo A;          redo A;
5112        }        }
5113      } elsif ($self->{state} == ENTITY_NAME_STATE) {      } elsif ($self->{state} == ENTITY_NAME_STATE) {
5114        if (length $self->{kwd} < 30 and        if ((0x0041 <= $self->{nc} and # a
5115            ## NOTE: Some number greater than the maximum length of entity name             $self->{nc} <= 0x005A) or # x
5116            ((0x0041 <= $self->{nc} and # a            (0x0061 <= $self->{nc} and # a
5117              $self->{nc} <= 0x005A) or # x             $self->{nc} <= 0x007A) or # z
5118             (0x0061 <= $self->{nc} and # a            (0x0030 <= $self->{nc} and # 0
5119              $self->{nc} <= 0x007A) or # z             $self->{nc} <= 0x0039) or # 9
5120             (0x0030 <= $self->{nc} and # 0            $self->{nc} == 0x003B or # ;
5121              $self->{nc} <= 0x0039) or # 9            ($self->{is_xml} and
5122             $self->{nc} == 0x003B)) { # ;             not ($is_space->{$self->{nc}} or
5123                    {
5124                      0x003C => 1, 0x0026 => 1, -1 => 1, # <, &
5125                      $self->{entity_add} => 1,
5126                    }->{$self->{nc}}))) {
5127          our $EntityChar;          our $EntityChar;
5128          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
5129          if (defined $EntityChar->{$self->{kwd}}) {          if (defined $EntityChar->{$self->{kwd}} or
5130                $self->{ge}->{$self->{kwd}}) {
5131            if ($self->{nc} == 0x003B) { # ;            if ($self->{nc} == 0x003B) { # ;
5132                            if (defined $self->{ge}->{$self->{kwd}}) {
5133              $self->{entity__value} = $EntityChar->{$self->{kwd}};                if ($self->{ge}->{$self->{kwd}}->{only_text}) {
5134                    
5135                    $self->{entity__value} = $self->{ge}->{$self->{kwd}}->{value};
5136                  } else {
5137                    if (defined $self->{ge}->{$self->{kwd}}->{notation}) {
5138                      
5139                      $self->{parse_error}->(level => $self->{level}->{must}, type => 'unparsed entity', ## TODO: type
5140                                      value => $self->{kwd});
5141                    } else {
5142                      
5143                    }
5144                    $self->{entity__value} = '&' . $self->{kwd}; ## TODO: expand
5145                  }
5146                } else {
5147                  if ($self->{is_xml}) {
5148                    
5149                    $self->{parse_error}->(level => $self->{level}->{must}, type => 'entity not declared', ## TODO: type
5150                                    value => $self->{kwd},
5151                                    level => {
5152                                              'amp;' => $self->{level}->{warn},
5153                                              'quot;' => $self->{level}->{warn},
5154                                              'lt;' => $self->{level}->{warn},
5155                                              'gt;' => $self->{level}->{warn},
5156                                              'apos;' => $self->{level}->{warn},
5157                                             }->{$self->{kwd}} ||
5158                                             $self->{level}->{must});
5159                  } else {
5160                    
5161                  }
5162                  $self->{entity__value} = $EntityChar->{$self->{kwd}};
5163                }
5164              $self->{entity__match} = 1;              $self->{entity__match} = 1;
5165                            
5166      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
# Line 5362  sub _get_next_token ($) { Line 5556  sub _get_next_token ($) {
5556          ## XML5: Not defined yet.          ## XML5: Not defined yet.
5557    
5558          ## TODO:          ## TODO:
5559    
5560            if (not $self->{stop_processing} and
5561                not $self->{document}->xml_standalone) {
5562              $self->{parse_error}->(level => $self->{level}->{must}, type => 'stop processing', ## TODO: type
5563                              level => $self->{level}->{info});
5564              $self->{stop_processing} = 1;
5565            }
5566    
5567                    
5568      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
5569        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 5796  sub _get_next_token ($) { Line 5998  sub _get_next_token ($) {
5998          }          }
5999          $self->{ct} = {type => ELEMENT_TOKEN, name => '',          $self->{ct} = {type => ELEMENT_TOKEN, name => '',
6000                         line => $self->{line_prev},                         line => $self->{line_prev},
6001                         column => $self->{column_prev} - 6};                         column => $self->{column_prev} - 7};
6002          $self->{state} = DOCTYPE_MD_STATE;          $self->{state} = DOCTYPE_MD_STATE;
6003                    
6004      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
# Line 5864  sub _get_next_token ($) { Line 6066  sub _get_next_token ($) {
6066          $self->{ct} = {type => ATTLIST_TOKEN, name => '',          $self->{ct} = {type => ATTLIST_TOKEN, name => '',
6067                         attrdefs => [],                         attrdefs => [],
6068                         line => $self->{line_prev},                         line => $self->{line_prev},
6069                         column => $self->{column_prev} - 6};                         column => $self->{column_prev} - 7};
6070          $self->{state} = DOCTYPE_MD_STATE;          $self->{state} = DOCTYPE_MD_STATE;
6071                    
6072      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
# Line 5933  sub _get_next_token ($) { Line 6135  sub _get_next_token ($) {
6135          }          }
6136          $self->{ct} = {type => NOTATION_TOKEN, name => '',          $self->{ct} = {type => NOTATION_TOKEN, name => '',
6137                         line => $self->{line_prev},                         line => $self->{line_prev},
6138                         column => $self->{column_prev} - 6};                         column => $self->{column_prev} - 8};
6139          $self->{state} = DOCTYPE_MD_STATE;          $self->{state} = DOCTYPE_MD_STATE;
6140                    
6141      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
# Line 6145  sub _get_next_token ($) { Line 6347  sub _get_next_token ($) {
6347          if ($self->{ct}->{type} == ATTLIST_TOKEN) {          if ($self->{ct}->{type} == ATTLIST_TOKEN) {
6348            $self->{state} = DOCTYPE_ATTLIST_NAME_AFTER_STATE;            $self->{state} = DOCTYPE_ATTLIST_NAME_AFTER_STATE;
6349          } elsif ($self->{ct}->{type} == ELEMENT_TOKEN) {          } elsif ($self->{ct}->{type} == ELEMENT_TOKEN) {
6350            ## TODO: ...            $self->{state} = AFTER_ELEMENT_NAME_STATE;
           $self->{state} = DOCTYPE_ATTLIST_NAME_AFTER_STATE;  
6351          } else { # ENTITY/NOTATION          } else { # ENTITY/NOTATION
6352            $self->{state} = AFTER_DOCTYPE_NAME_STATE;            $self->{state} = AFTER_DOCTYPE_NAME_STATE;
6353          }          }
# Line 7629  sub _get_next_token ($) { Line 7830  sub _get_next_token ($) {
7830        }        }
7831      } elsif ($self->{state} == NOTATION_NAME_STATE) {      } elsif ($self->{state} == NOTATION_NAME_STATE) {
7832        if ($is_space->{$self->{nc}}) {        if ($is_space->{$self->{nc}}) {
7833          $self->{state} = AFTER_NOTATION_NAME_STATE;          $self->{state} = AFTER_MD_DEF_STATE;
7834                    
7835      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7836        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 7689  sub _get_next_token ($) { Line 7890  sub _get_next_token ($) {
7890        
7891          redo A;          redo A;
7892        }        }
7893      } elsif ($self->{state} == AFTER_NOTATION_NAME_STATE) {      } elsif ($self->{state} == DOCTYPE_ENTITY_VALUE_DOUBLE_QUOTED_STATE) {
7894          if ($self->{nc} == 0x0022) { # "
7895            $self->{state} = AFTER_MD_DEF_STATE;
7896            
7897        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7898          $self->{line_prev} = $self->{line};
7899          $self->{column_prev} = $self->{column};
7900          $self->{column}++;
7901          $self->{nc}
7902              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7903        } else {
7904          $self->{set_nc}->($self);
7905        }
7906      
7907            redo A;
7908          } elsif ($self->{nc} == 0x0026) { # &
7909            $self->{prev_state} = $self->{state};
7910            $self->{state} = ENTITY_VALUE_ENTITY_STATE;
7911            $self->{entity_add} = 0x0022; # "
7912            
7913        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7914          $self->{line_prev} = $self->{line};
7915          $self->{column_prev} = $self->{column};
7916          $self->{column}++;
7917          $self->{nc}
7918              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7919        } else {
7920          $self->{set_nc}->($self);
7921        }
7922      
7923            redo A;
7924    ## TODO: %
7925          } elsif ($self->{nc} == -1) {
7926            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed entity value'); ## TODO: type
7927            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7928            ## Reconsume.
7929            return  ($self->{ct}); # ENTITY
7930            redo A;
7931          } else {
7932            $self->{ct}->{value} .= chr $self->{nc}; # ENTITY
7933            
7934        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7935          $self->{line_prev} = $self->{line};
7936          $self->{column_prev} = $self->{column};
7937          $self->{column}++;
7938          $self->{nc}
7939              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7940        } else {
7941          $self->{set_nc}->($self);
7942        }
7943      
7944            redo A;
7945          }
7946        } elsif ($self->{state} == DOCTYPE_ENTITY_VALUE_SINGLE_QUOTED_STATE) {
7947          if ($self->{nc} == 0x0027) { # '
7948            $self->{state} = AFTER_MD_DEF_STATE;
7949            
7950        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7951          $self->{line_prev} = $self->{line};
7952          $self->{column_prev} = $self->{column};
7953          $self->{column}++;
7954          $self->{nc}
7955              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7956        } else {
7957          $self->{set_nc}->($self);
7958        }
7959      
7960            redo A;
7961          } elsif ($self->{nc} == 0x0026) { # &
7962            $self->{prev_state} = $self->{state};
7963            $self->{state} = ENTITY_VALUE_ENTITY_STATE;
7964            $self->{entity_add} = 0x0027; # '
7965            
7966        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7967          $self->{line_prev} = $self->{line};
7968          $self->{column_prev} = $self->{column};
7969          $self->{column}++;
7970          $self->{nc}
7971              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7972        } else {
7973          $self->{set_nc}->($self);
7974        }
7975      
7976            redo A;
7977    ## TODO: %
7978          } elsif ($self->{nc} == -1) {
7979            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed entity value'); ## TODO: type
7980            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7981            ## Reconsume.
7982            return  ($self->{ct}); # ENTITY
7983            redo A;
7984          } else {
7985            $self->{ct}->{value} .= chr $self->{nc}; # ENTITY
7986            
7987        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7988          $self->{line_prev} = $self->{line};
7989          $self->{column_prev} = $self->{column};
7990          $self->{column}++;
7991          $self->{nc}
7992              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7993        } else {
7994          $self->{set_nc}->($self);
7995        }
7996      
7997            redo A;
7998          }
7999        } elsif ($self->{state} == ENTITY_VALUE_ENTITY_STATE) {
8000          if ($is_space->{$self->{nc}} or
8001              {
8002                0x003C => 1, 0x0026 => 1, -1 => 1, # <, &
8003                $self->{entity_add} => 1,
8004              }->{$self->{nc}}) {
8005            $self->{parse_error}->(level => $self->{level}->{must}, type => 'bare ero',
8006                            line => $self->{line_prev},
8007                            column => $self->{column_prev}
8008                                + ($self->{nc} == -1 ? 1 : 0));
8009            ## Don't consume
8010            ## Return nothing.
8011            #
8012          } elsif ($self->{nc} == 0x0023) { # #
8013            $self->{ca} = $self->{ct};
8014            $self->{state} = ENTITY_HASH_STATE;
8015            $self->{kwd} = '#';
8016            
8017        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8018          $self->{line_prev} = $self->{line};
8019          $self->{column_prev} = $self->{column};
8020          $self->{column}++;
8021          $self->{nc}
8022              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8023        } else {
8024          $self->{set_nc}->($self);
8025        }
8026      
8027            redo A;
8028          } else {
8029            #
8030          }
8031    
8032          $self->{ct}->{value} .= '&';
8033          $self->{state} = $self->{prev_state};
8034          ## Reconsume.
8035          redo A;
8036        } elsif ($self->{state} == AFTER_ELEMENT_NAME_STATE) {
8037          if ($is_space->{$self->{nc}}) {
8038            $self->{state} = BEFORE_ELEMENT_CONTENT_STATE;
8039            
8040        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8041          $self->{line_prev} = $self->{line};
8042          $self->{column_prev} = $self->{column};
8043          $self->{column}++;
8044          $self->{nc}
8045              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8046        } else {
8047          $self->{set_nc}->($self);
8048        }
8049      
8050            redo A;
8051          } elsif ($self->{nc} == 0x0028) { # (
8052            $self->{state} = AFTER_CM_GROUP_OPEN_STATE;
8053            $self->{ct}->{content} = ['('];
8054            $self->{group_depth} = 1;
8055            
8056        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8057          $self->{line_prev} = $self->{line};
8058          $self->{column_prev} = $self->{column};
8059          $self->{column}++;
8060          $self->{nc}
8061              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8062        } else {
8063          $self->{set_nc}->($self);
8064        }
8065      
8066            redo A;
8067          } elsif ($self->{nc} == 0x003E) { # >
8068            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no md def'); ## TODO: type
8069            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8070            
8071        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8072          $self->{line_prev} = $self->{line};
8073          $self->{column_prev} = $self->{column};
8074          $self->{column}++;
8075          $self->{nc}
8076              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8077        } else {
8078          $self->{set_nc}->($self);
8079        }
8080      
8081            return  ($self->{ct}); # ELEMENT
8082            redo A;
8083          } elsif ($self->{nc} == -1) {
8084            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
8085            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8086            
8087        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8088          $self->{line_prev} = $self->{line};
8089          $self->{column_prev} = $self->{column};
8090          $self->{column}++;
8091          $self->{nc}
8092              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8093        } else {
8094          $self->{set_nc}->($self);
8095        }
8096      
8097            return  ($self->{ct}); # ELEMENT
8098            redo A;
8099          } else {
8100            $self->{ct}->{content} = [chr $self->{nc}];
8101            $self->{state} = CONTENT_KEYWORD_STATE;
8102            
8103        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8104          $self->{line_prev} = $self->{line};
8105          $self->{column_prev} = $self->{column};
8106          $self->{column}++;
8107          $self->{nc}
8108              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8109        } else {
8110          $self->{set_nc}->($self);
8111        }
8112      
8113            redo A;
8114          }
8115        } elsif ($self->{state} == CONTENT_KEYWORD_STATE) {
8116          if ($is_space->{$self->{nc}}) {
8117            $self->{state} = AFTER_MD_DEF_STATE;
8118            
8119        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8120          $self->{line_prev} = $self->{line};
8121          $self->{column_prev} = $self->{column};
8122          $self->{column}++;
8123          $self->{nc}
8124              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8125        } else {
8126          $self->{set_nc}->($self);
8127        }
8128      
8129            redo A;
8130          } elsif ($self->{nc} == 0x003E) { # >
8131            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8132            
8133        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8134          $self->{line_prev} = $self->{line};
8135          $self->{column_prev} = $self->{column};
8136          $self->{column}++;
8137          $self->{nc}
8138              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8139        } else {
8140          $self->{set_nc}->($self);
8141        }
8142      
8143            return  ($self->{ct}); # ELEMENT
8144            redo A;
8145          } elsif ($self->{nc} == -1) {
8146            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
8147            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8148            
8149        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8150          $self->{line_prev} = $self->{line};
8151          $self->{column_prev} = $self->{column};
8152          $self->{column}++;
8153          $self->{nc}
8154              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8155        } else {
8156          $self->{set_nc}->($self);
8157        }
8158      
8159            return  ($self->{ct}); # ELEMENT
8160            redo A;
8161          } else {
8162            $self->{ct}->{content}->[-1] .= chr $self->{nc}; # ELEMENT
8163            ## Stay in the state.
8164            
8165        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8166          $self->{line_prev} = $self->{line};
8167          $self->{column_prev} = $self->{column};
8168          $self->{column}++;
8169          $self->{nc}
8170              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8171        } else {
8172          $self->{set_nc}->($self);
8173        }
8174      
8175            redo A;
8176          }
8177        } elsif ($self->{state} == AFTER_CM_GROUP_OPEN_STATE) {
8178        if ($is_space->{$self->{nc}}) {        if ($is_space->{$self->{nc}}) {
8179          ## Stay in the state.          ## Stay in the state.
8180                    
# Line 7704  sub _get_next_token ($) { Line 8189  sub _get_next_token ($) {
8189      }      }
8190        
8191          redo A;          redo A;
8192          } elsif ($self->{nc} == 0x0028) { # (
8193            $self->{group_depth}++;
8194            push @{$self->{ct}->{content}}, chr $self->{nc};
8195            ## Stay in the state.
8196            
8197        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8198          $self->{line_prev} = $self->{line};
8199          $self->{column_prev} = $self->{column};
8200          $self->{column}++;
8201          $self->{nc}
8202              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8203        } else {
8204          $self->{set_nc}->($self);
8205        }
8206      
8207            redo A;
8208          } elsif ($self->{nc} == 0x007C or # |
8209                   $self->{nc} == 0x002C) { # ,
8210            $self->{parse_error}->(level => $self->{level}->{must}, type => 'empty element name'); ## TODO: type
8211            ## Stay in the state.
8212            
8213        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8214          $self->{line_prev} = $self->{line};
8215          $self->{column_prev} = $self->{column};
8216          $self->{column}++;
8217          $self->{nc}
8218              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8219        } else {
8220          $self->{set_nc}->($self);
8221        }
8222      
8223            redo A;
8224          } elsif ($self->{nc} == 0x0029) { # )
8225            $self->{parse_error}->(level => $self->{level}->{must}, type => 'empty element name'); ## TODO: type
8226            push @{$self->{ct}->{content}}, chr $self->{nc};
8227            $self->{group_depth}--;
8228            $self->{state} = AFTER_CM_GROUP_CLOSE_STATE;
8229            
8230        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8231          $self->{line_prev} = $self->{line};
8232          $self->{column_prev} = $self->{column};
8233          $self->{column}++;
8234          $self->{nc}
8235              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8236        } else {
8237          $self->{set_nc}->($self);
8238        }
8239      
8240            redo A;
8241        } elsif ($self->{nc} == 0x003E) { # >        } elsif ($self->{nc} == 0x003E) { # >
8242            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed cm group'); ## TODO: type
8243            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8244          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8245                    
8246      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
# Line 7717  sub _get_next_token ($) { Line 8253  sub _get_next_token ($) {
8253        $self->{set_nc}->($self);        $self->{set_nc}->($self);
8254      }      }
8255        
8256          return  ($self->{ct}); # ENTITY          return  ($self->{ct}); # ELEMENT
8257          redo A;          redo A;
8258        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
8259          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
8260            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8261          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8262                    
8263      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
# Line 7733  sub _get_next_token ($) { Line 8270  sub _get_next_token ($) {
8270        $self->{set_nc}->($self);        $self->{set_nc}->($self);
8271      }      }
8272        
8273          return  ($self->{ct}); # ENTITY          return  ($self->{ct}); # ELEMENT
8274          redo A;          redo A;
8275        } else {        } else {
8276          $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after notation name'); ## TODO: type          push @{$self->{ct}->{content}}, chr $self->{nc};
8277            $self->{state} = CM_ELEMENT_NAME_STATE;
8278            
8279        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8280          $self->{line_prev} = $self->{line};
8281          $self->{column_prev} = $self->{column};
8282          $self->{column}++;
8283          $self->{nc}
8284              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8285        } else {
8286          $self->{set_nc}->($self);
8287        }
8288      
8289            redo A;
8290          }
8291        } elsif ($self->{state} == CM_ELEMENT_NAME_STATE) {
8292          if ($is_space->{$self->{nc}}) {
8293            $self->{state} = AFTER_CM_ELEMENT_NAME_STATE;
8294            
8295        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8296          $self->{line_prev} = $self->{line};
8297          $self->{column_prev} = $self->{column};
8298          $self->{column}++;
8299          $self->{nc}
8300              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8301        } else {
8302          $self->{set_nc}->($self);
8303        }
8304      
8305            redo A;
8306          } elsif ($self->{nc} == 0x002A or # *
8307                   $self->{nc} == 0x002B or # +
8308                   $self->{nc} == 0x003F) { # ?
8309            push @{$self->{ct}->{content}}, chr $self->{nc};
8310            $self->{state} = AFTER_CM_ELEMENT_NAME_STATE;
8311            
8312        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8313          $self->{line_prev} = $self->{line};
8314          $self->{column_prev} = $self->{column};
8315          $self->{column}++;
8316          $self->{nc}
8317              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8318        } else {
8319          $self->{set_nc}->($self);
8320        }
8321      
8322            redo A;
8323          } elsif ($self->{nc} == 0x007C or # |
8324                   $self->{nc} == 0x002C) { # ,
8325            push @{$self->{ct}->{content}}, $self->{nc} == 0x007C ? ' | ' : ', ';
8326            $self->{state} = AFTER_CM_GROUP_OPEN_STATE;
8327            
8328        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8329          $self->{line_prev} = $self->{line};
8330          $self->{column_prev} = $self->{column};
8331          $self->{column}++;
8332          $self->{nc}
8333              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8334        } else {
8335          $self->{set_nc}->($self);
8336        }
8337      
8338            redo A;
8339          } elsif ($self->{nc} == 0x0029) { # )
8340            $self->{group_depth}--;
8341            push @{$self->{ct}->{content}}, chr $self->{nc};
8342            $self->{state} = AFTER_CM_GROUP_CLOSE_STATE;
8343            
8344        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8345          $self->{line_prev} = $self->{line};
8346          $self->{column_prev} = $self->{column};
8347          $self->{column}++;
8348          $self->{nc}
8349              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8350        } else {
8351          $self->{set_nc}->($self);
8352        }
8353      
8354            redo A;
8355          } elsif ($self->{nc} == 0x003E) { # >
8356            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed cm group'); ## TODO: type
8357            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8358            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8359            
8360        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8361          $self->{line_prev} = $self->{line};
8362          $self->{column_prev} = $self->{column};
8363          $self->{column}++;
8364          $self->{nc}
8365              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8366        } else {
8367          $self->{set_nc}->($self);
8368        }
8369      
8370            return  ($self->{ct}); # ELEMENT
8371            redo A;
8372          } elsif ($self->{nc} == -1) {
8373            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
8374            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8375            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8376            
8377        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8378          $self->{line_prev} = $self->{line};
8379          $self->{column_prev} = $self->{column};
8380          $self->{column}++;
8381          $self->{nc}
8382              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8383        } else {
8384          $self->{set_nc}->($self);
8385        }
8386      
8387            return  ($self->{ct}); # ELEMENT
8388            redo A;
8389          } else {
8390            $self->{ct}->{content}->[-1] .= chr $self->{nc};
8391            ## Stay in the state.
8392            
8393        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8394          $self->{line_prev} = $self->{line};
8395          $self->{column_prev} = $self->{column};
8396          $self->{column}++;
8397          $self->{nc}
8398              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8399        } else {
8400          $self->{set_nc}->($self);
8401        }
8402      
8403            redo A;
8404          }
8405        } elsif ($self->{state} == AFTER_CM_ELEMENT_NAME_STATE) {
8406          if ($is_space->{$self->{nc}}) {
8407            ## Stay in the state.
8408            
8409        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8410          $self->{line_prev} = $self->{line};
8411          $self->{column_prev} = $self->{column};
8412          $self->{column}++;
8413          $self->{nc}
8414              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8415        } else {
8416          $self->{set_nc}->($self);
8417        }
8418      
8419            redo A;
8420          } elsif ($self->{nc} == 0x007C or # |
8421                   $self->{nc} == 0x002C) { # ,
8422            push @{$self->{ct}->{content}}, $self->{nc} == 0x007C ? ' | ' : ', ';
8423            $self->{state} = AFTER_CM_GROUP_OPEN_STATE;
8424            
8425        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8426          $self->{line_prev} = $self->{line};
8427          $self->{column_prev} = $self->{column};
8428          $self->{column}++;
8429          $self->{nc}
8430              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8431        } else {
8432          $self->{set_nc}->($self);
8433        }
8434      
8435            redo A;
8436          } elsif ($self->{nc} == 0x0029) { # )
8437            $self->{group_depth}--;
8438            push @{$self->{ct}->{content}}, chr $self->{nc};
8439            $self->{state} = AFTER_CM_GROUP_CLOSE_STATE;
8440            
8441        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8442          $self->{line_prev} = $self->{line};
8443          $self->{column_prev} = $self->{column};
8444          $self->{column}++;
8445          $self->{nc}
8446              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8447        } else {
8448          $self->{set_nc}->($self);
8449        }
8450      
8451            redo A;
8452          } elsif ($self->{nc} == 0x003E) { # >
8453            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed cm group'); ## TODO: type
8454            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8455            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8456            
8457        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8458          $self->{line_prev} = $self->{line};
8459          $self->{column_prev} = $self->{column};
8460          $self->{column}++;
8461          $self->{nc}
8462              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8463        } else {
8464          $self->{set_nc}->($self);
8465        }
8466      
8467            return  ($self->{ct}); # ELEMENT
8468            redo A;
8469          } elsif ($self->{nc} == -1) {
8470            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
8471            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8472            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8473            
8474        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8475          $self->{line_prev} = $self->{line};
8476          $self->{column_prev} = $self->{column};
8477          $self->{column}++;
8478          $self->{nc}
8479              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8480        } else {
8481          $self->{set_nc}->($self);
8482        }
8483      
8484            return  ($self->{ct}); # ELEMENT
8485            redo A;
8486          } else {
8487            $self->{parse_error}->(level => $self->{level}->{must}, type => 'after element name'); ## TODO: type
8488            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8489            $self->{state} = BOGUS_MD_STATE;
8490            
8491        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8492          $self->{line_prev} = $self->{line};
8493          $self->{column_prev} = $self->{column};
8494          $self->{column}++;
8495          $self->{nc}
8496              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8497        } else {
8498          $self->{set_nc}->($self);
8499        }
8500      
8501            redo A;
8502          }
8503        } elsif ($self->{state} == AFTER_CM_GROUP_CLOSE_STATE) {
8504          if ($is_space->{$self->{nc}}) {
8505            if ($self->{group_depth}) {
8506              $self->{state} = AFTER_CM_ELEMENT_NAME_STATE;
8507            } else {
8508              $self->{state} = AFTER_MD_DEF_STATE;
8509            }
8510            
8511        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8512          $self->{line_prev} = $self->{line};
8513          $self->{column_prev} = $self->{column};
8514          $self->{column}++;
8515          $self->{nc}
8516              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8517        } else {
8518          $self->{set_nc}->($self);
8519        }
8520      
8521            redo A;
8522          } elsif ($self->{nc} == 0x002A or # *
8523                   $self->{nc} == 0x002B or # +
8524                   $self->{nc} == 0x003F) { # ?
8525            push @{$self->{ct}->{content}}, chr $self->{nc};
8526            if ($self->{group_depth}) {
8527              $self->{state} = AFTER_CM_ELEMENT_NAME_STATE;
8528            } else {
8529              $self->{state} = AFTER_MD_DEF_STATE;
8530            }
8531            
8532        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8533          $self->{line_prev} = $self->{line};
8534          $self->{column_prev} = $self->{column};
8535          $self->{column}++;
8536          $self->{nc}
8537              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8538        } else {
8539          $self->{set_nc}->($self);
8540        }
8541      
8542            redo A;
8543          } elsif ($self->{nc} == 0x0029) { # )
8544            if ($self->{group_depth}) {
8545              $self->{group_depth}--;
8546              push @{$self->{ct}->{content}}, chr $self->{nc};
8547              ## Stay in the state.
8548              
8549        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8550          $self->{line_prev} = $self->{line};
8551          $self->{column_prev} = $self->{column};
8552          $self->{column}++;
8553          $self->{nc}
8554              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8555        } else {
8556          $self->{set_nc}->($self);
8557        }
8558      
8559              redo A;
8560            } else {
8561              $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after md def'); ## TODO: type
8562              $self->{state} = BOGUS_MD_STATE;
8563              ## Reconsume.
8564              redo A;
8565            }
8566          } elsif ($self->{nc} == 0x003E) { # >
8567            if ($self->{group_depth}) {
8568              $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed cm group'); ## TODO: type
8569              push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8570            }
8571            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8572            
8573        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8574          $self->{line_prev} = $self->{line};
8575          $self->{column_prev} = $self->{column};
8576          $self->{column}++;
8577          $self->{nc}
8578              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8579        } else {
8580          $self->{set_nc}->($self);
8581        }
8582      
8583            return  ($self->{ct}); # ELEMENT
8584            redo A;
8585          } elsif ($self->{nc} == -1) {
8586            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
8587            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8588            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8589            
8590        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8591          $self->{line_prev} = $self->{line};
8592          $self->{column_prev} = $self->{column};
8593          $self->{column}++;
8594          $self->{nc}
8595              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8596        } else {
8597          $self->{set_nc}->($self);
8598        }
8599      
8600            return  ($self->{ct}); # ELEMENT
8601            redo A;
8602          } else {
8603            if ($self->{group_depth}) {
8604              $self->{state} = AFTER_CM_ELEMENT_NAME_STATE;
8605            } else {
8606              $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after md def'); ## TODO: type
8607              $self->{state} = BOGUS_MD_STATE;
8608            }
8609            ## Reconsume.
8610            redo A;
8611          }
8612        } elsif ($self->{state} == AFTER_MD_DEF_STATE) {
8613          if ($is_space->{$self->{nc}}) {
8614            ## Stay in the state.
8615            
8616        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8617          $self->{line_prev} = $self->{line};
8618          $self->{column_prev} = $self->{column};
8619          $self->{column}++;
8620          $self->{nc}
8621              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8622        } else {
8623          $self->{set_nc}->($self);
8624        }
8625      
8626            redo A;
8627          } elsif ($self->{nc} == 0x003E) { # >
8628            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8629            
8630        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8631          $self->{line_prev} = $self->{line};
8632          $self->{column_prev} = $self->{column};
8633          $self->{column}++;
8634          $self->{nc}
8635              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8636        } else {
8637          $self->{set_nc}->($self);
8638        }
8639      
8640            return  ($self->{ct}); # ENTITY/ELEMENT
8641            redo A;
8642          } elsif ($self->{nc} == -1) {
8643            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
8644            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8645            
8646        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8647          $self->{line_prev} = $self->{line};
8648          $self->{column_prev} = $self->{column};
8649          $self->{column}++;
8650          $self->{nc}
8651              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8652        } else {
8653          $self->{set_nc}->($self);
8654        }
8655      
8656            return  ($self->{ct}); # ENTITY/ELEMENT
8657            redo A;
8658          } else {
8659            $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after md def'); ## TODO: type
8660          $self->{state} = BOGUS_MD_STATE;          $self->{state} = BOGUS_MD_STATE;
8661          ## Reconsume.          ## Reconsume.
8662          redo A;          redo A;
8663        }        }
   
   
8664      } elsif ($self->{state} == BOGUS_MD_STATE) {      } elsif ($self->{state} == BOGUS_MD_STATE) {
8665        if ($self->{nc} == 0x003E) { # >        if ($self->{nc} == 0x003E) { # >
8666          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
Legend:
Removed from v.1.18  
changed lines
  Added in v.1.30
admin@suikawiki.org
 ViewVC Help
Powered by ViewVC 1.1.24