/[suikacvs]/markup/html/whatpm/Whatpm/HTML/Tokenizer.pm
Suika

Diff of /markup/html/whatpm/Whatpm/HTML/Tokenizer.pm

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 1.14 by wakaba, Fri Oct 17 07:14:29 2008 UTC revision 1.28 by wakaba, Sun Jul 5 04:38:45 2009 UTC
# Line 164  sub BEFORE_MD_NAME_STATE () { 68 } Line 164  sub BEFORE_MD_NAME_STATE () { 68 }
164  sub MD_NAME_STATE () { 69 }  sub MD_NAME_STATE () { 69 }
165  sub DOCTYPE_ENTITY_PARAMETER_BEFORE_STATE () { 70 }  sub DOCTYPE_ENTITY_PARAMETER_BEFORE_STATE () { 70 }
166  sub DOCTYPE_ATTLIST_NAME_AFTER_STATE () { 71 }  sub DOCTYPE_ATTLIST_NAME_AFTER_STATE () { 71 }
167    sub DOCTYPE_ATTLIST_ATTRIBUTE_NAME_STATE () { 72 }
168    sub DOCTYPE_ATTLIST_ATTRIBUTE_NAME_AFTER_STATE () { 73 }
169    sub DOCTYPE_ATTLIST_ATTRIBUTE_TYPE_STATE () { 74 }
170    sub DOCTYPE_ATTLIST_ATTRIBUTE_TYPE_AFTER_STATE () { 75 }
171    sub BEFORE_ALLOWED_TOKEN_STATE () { 76 }
172    sub ALLOWED_TOKEN_STATE () { 77 }
173    sub AFTER_ALLOWED_TOKEN_STATE () { 78 }
174    sub AFTER_ALLOWED_TOKENS_STATE () { 79 }
175    sub BEFORE_ATTR_DEFAULT_STATE () { 80 }
176    sub DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_BEFORE_STATE () { 81 }
177    sub DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_STATE () { 82 }
178    sub DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_AFTER_STATE () { 83 }
179    sub AFTER_ATTLIST_ATTR_VALUE_QUOTED_STATE () { 84 }
180    sub BEFORE_NDATA_STATE () { 85 }
181    sub NDATA_STATE () { 86 }
182    sub AFTER_NDATA_STATE () { 87 }
183    sub BEFORE_NOTATION_NAME_STATE () { 88 }
184    sub NOTATION_NAME_STATE () { 89 }
185    sub DOCTYPE_ENTITY_VALUE_DOUBLE_QUOTED_STATE () { 90 }
186    sub DOCTYPE_ENTITY_VALUE_SINGLE_QUOTED_STATE () { 91 }
187    sub ENTITY_VALUE_ENTITY_STATE () { 92 }
188    sub AFTER_ELEMENT_NAME_STATE () { 93 }
189    sub BEFORE_ELEMENT_CONTENT_STATE () { 94 }
190    sub CONTENT_KEYWORD_STATE () { 95 }
191    sub AFTER_CM_GROUP_OPEN_STATE () { 96 }
192    sub CM_ELEMENT_NAME_STATE () { 97 }
193    sub AFTER_CM_ELEMENT_NAME_STATE () { 98 }
194    sub AFTER_CM_GROUP_CLOSE_STATE () { 99 }
195    sub AFTER_MD_DEF_STATE () { 100 }
196    sub BOGUS_MD_STATE () { 101 }
197    
198  ## Tree constructor state constants (see Whatpm::HTML for the full  ## Tree constructor state constants (see Whatpm::HTML for the full
199  ## list and descriptions)  ## list and descriptions)
# Line 1710  sub _get_next_token ($) { Line 1740  sub _get_next_token ($) {
1740    
1741          redo A;          redo A;
1742        } else {        } else {
1743          if ($self->{nc} == 0x003D) { # =          if ($self->{nc} == 0x003D or $self->{nc} == 0x003C) { # =, <
1744                        
1745            ## XML5: Not a parse error.            ## XML5: Not a parse error.
1746            $self->{parse_error}->(level => $self->{level}->{must}, type => 'bad attribute value');            $self->{parse_error}->(level => $self->{level}->{must}, type => 'bad attribute value');
# Line 1737  sub _get_next_token ($) { Line 1767  sub _get_next_token ($) {
1767          redo A;          redo A;
1768        }        }
1769      } elsif ($self->{state} == ATTRIBUTE_VALUE_DOUBLE_QUOTED_STATE) {      } elsif ($self->{state} == ATTRIBUTE_VALUE_DOUBLE_QUOTED_STATE) {
1770        ## XML5: "Tag attribute value double quoted state".        ## XML5: "Tag attribute value double quoted state" and "DOCTYPE
1771          ## ATTLIST attribute value double quoted state".
1772                
1773        if ($self->{nc} == 0x0022) { # "        if ($self->{nc} == 0x0022) { # "
1774                    if ($self->{ct}->{type} == ATTLIST_TOKEN) {
1775          ## XML5: "Tag attribute name before state".            
1776          $self->{state} = AFTER_ATTRIBUTE_VALUE_QUOTED_STATE;            ## XML5: "DOCTYPE ATTLIST name after state".
1777              push @{$self->{ct}->{attrdefs}}, $self->{ca};
1778              $self->{state} = AFTER_ATTLIST_ATTR_VALUE_QUOTED_STATE;
1779            } else {
1780              
1781              ## XML5: "Tag attribute name before state".
1782              $self->{state} = AFTER_ATTRIBUTE_VALUE_QUOTED_STATE;
1783            }
1784                    
1785      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
1786        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 1778  sub _get_next_token ($) { Line 1816  sub _get_next_token ($) {
1816      }      }
1817        
1818          redo A;          redo A;
1819          } elsif ($self->{is_xml} and
1820                   $is_space->{$self->{nc}}) {
1821            
1822            $self->{ca}->{value} .= ' ';
1823            ## Stay in the state.
1824            
1825        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
1826          $self->{line_prev} = $self->{line};
1827          $self->{column_prev} = $self->{column};
1828          $self->{column}++;
1829          $self->{nc}
1830              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
1831        } else {
1832          $self->{set_nc}->($self);
1833        }
1834      
1835            redo A;
1836        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
1837          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed attribute value');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed attribute value');
1838          if ($self->{ct}->{type} == START_TAG_TOKEN) {          if ($self->{ct}->{type} == START_TAG_TOKEN) {
1839                        
1840            $self->{last_stag_name} = $self->{ct}->{tag_name};            $self->{last_stag_name} = $self->{ct}->{tag_name};
1841    
1842              $self->{state} = DATA_STATE;
1843              $self->{s_kwd} = '';
1844              ## reconsume
1845              return  ($self->{ct}); # start tag
1846              redo A;
1847          } elsif ($self->{ct}->{type} == END_TAG_TOKEN) {          } elsif ($self->{ct}->{type} == END_TAG_TOKEN) {
1848            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
1849            if ($self->{ct}->{attributes}) {            if ($self->{ct}->{attributes}) {
# Line 1792  sub _get_next_token ($) { Line 1853  sub _get_next_token ($) {
1853              ## NOTE: This state should never be reached.              ## NOTE: This state should never be reached.
1854                            
1855            }            }
1856    
1857              $self->{state} = DATA_STATE;
1858              $self->{s_kwd} = '';
1859              ## reconsume
1860              return  ($self->{ct}); # end tag
1861              redo A;
1862            } elsif ($self->{ct}->{type} == ATTLIST_TOKEN) {
1863              ## XML5: No parse error above; not defined yet.
1864              push @{$self->{ct}->{attrdefs}}, $self->{ca};
1865              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
1866              ## Reconsume.
1867              return  ($self->{ct}); # ATTLIST
1868              redo A;
1869          } else {          } else {
1870            die "$0: $self->{ct}->{type}: Unknown token type";            die "$0: $self->{ct}->{type}: Unknown token type";
1871          }          }
         $self->{state} = DATA_STATE;  
         $self->{s_kwd} = '';  
         ## reconsume  
   
         return  ($self->{ct}); # start tag or end tag  
   
         redo A;  
1872        } else {        } else {
1873            ## XML5 [ATTLIST]: Not defined yet.
1874          if ($self->{is_xml} and $self->{nc} == 0x003C) { # <          if ($self->{is_xml} and $self->{nc} == 0x003C) { # <
1875                        
1876            ## XML5: Not a parse error.            ## XML5: Not a parse error.
# Line 1812  sub _get_next_token ($) { Line 1880  sub _get_next_token ($) {
1880          }          }
1881          $self->{ca}->{value} .= chr ($self->{nc});          $self->{ca}->{value} .= chr ($self->{nc});
1882          $self->{read_until}->($self->{ca}->{value},          $self->{read_until}->($self->{ca}->{value},
1883                                q["&<],                                qq["&<\x09\x0C\x20],
1884                                length $self->{ca}->{value});                                length $self->{ca}->{value});
1885    
1886          ## Stay in the state          ## Stay in the state
# Line 1830  sub _get_next_token ($) { Line 1898  sub _get_next_token ($) {
1898          redo A;          redo A;
1899        }        }
1900      } elsif ($self->{state} == ATTRIBUTE_VALUE_SINGLE_QUOTED_STATE) {      } elsif ($self->{state} == ATTRIBUTE_VALUE_SINGLE_QUOTED_STATE) {
1901        ## XML5: "Tag attribute value single quoted state".        ## XML5: "Tag attribute value single quoted state" and "DOCTYPE
1902          ## ATTLIST attribute value single quoted state".
1903    
1904        if ($self->{nc} == 0x0027) { # '        if ($self->{nc} == 0x0027) { # '
1905                    if ($self->{ct}->{type} == ATTLIST_TOKEN) {
1906          ## XML5: "Before attribute name state" (sic).            
1907          $self->{state} = AFTER_ATTRIBUTE_VALUE_QUOTED_STATE;            ## XML5: "DOCTYPE ATTLIST name after state".
1908              push @{$self->{ct}->{attrdefs}}, $self->{ca};
1909              $self->{state} = AFTER_ATTLIST_ATTR_VALUE_QUOTED_STATE;
1910            } else {
1911              
1912              ## XML5: "Before attribute name state" (sic).
1913              $self->{state} = AFTER_ATTRIBUTE_VALUE_QUOTED_STATE;
1914            }
1915                    
1916      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
1917        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 1871  sub _get_next_token ($) { Line 1947  sub _get_next_token ($) {
1947      }      }
1948        
1949          redo A;          redo A;
1950          } elsif ($self->{is_xml} and
1951                   $is_space->{$self->{nc}}) {
1952            
1953            $self->{ca}->{value} .= ' ';
1954            ## Stay in the state.
1955            
1956        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
1957          $self->{line_prev} = $self->{line};
1958          $self->{column_prev} = $self->{column};
1959          $self->{column}++;
1960          $self->{nc}
1961              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
1962        } else {
1963          $self->{set_nc}->($self);
1964        }
1965      
1966            redo A;
1967        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
1968          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed attribute value');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed attribute value');
1969          if ($self->{ct}->{type} == START_TAG_TOKEN) {          if ($self->{ct}->{type} == START_TAG_TOKEN) {
1970                        
1971            $self->{last_stag_name} = $self->{ct}->{tag_name};            $self->{last_stag_name} = $self->{ct}->{tag_name};
1972    
1973              $self->{state} = DATA_STATE;
1974              $self->{s_kwd} = '';
1975              ## reconsume
1976              return  ($self->{ct}); # start tag
1977              redo A;
1978          } elsif ($self->{ct}->{type} == END_TAG_TOKEN) {          } elsif ($self->{ct}->{type} == END_TAG_TOKEN) {
1979            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
1980            if ($self->{ct}->{attributes}) {            if ($self->{ct}->{attributes}) {
# Line 1885  sub _get_next_token ($) { Line 1984  sub _get_next_token ($) {
1984              ## NOTE: This state should never be reached.              ## NOTE: This state should never be reached.
1985                            
1986            }            }
1987    
1988              $self->{state} = DATA_STATE;
1989              $self->{s_kwd} = '';
1990              ## reconsume
1991              return  ($self->{ct}); # end tag
1992              redo A;
1993            } elsif ($self->{ct}->{type} == ATTLIST_TOKEN) {
1994              ## XML5: No parse error above; not defined yet.
1995              push @{$self->{ct}->{attrdefs}}, $self->{ca};
1996              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
1997              ## Reconsume.
1998              return  ($self->{ct}); # ATTLIST
1999              redo A;
2000          } else {          } else {
2001            die "$0: $self->{ct}->{type}: Unknown token type";            die "$0: $self->{ct}->{type}: Unknown token type";
2002          }          }
         $self->{state} = DATA_STATE;  
         $self->{s_kwd} = '';  
         ## reconsume  
   
         return  ($self->{ct}); # start tag or end tag  
   
         redo A;  
2003        } else {        } else {
2004            ## XML5 [ATTLIST]: Not defined yet.
2005          if ($self->{is_xml} and $self->{nc} == 0x003C) { # <          if ($self->{is_xml} and $self->{nc} == 0x003C) { # <
2006                        
2007            ## XML5: Not a parse error.            ## XML5: Not a parse error.
# Line 1905  sub _get_next_token ($) { Line 2011  sub _get_next_token ($) {
2011          }          }
2012          $self->{ca}->{value} .= chr ($self->{nc});          $self->{ca}->{value} .= chr ($self->{nc});
2013          $self->{read_until}->($self->{ca}->{value},          $self->{read_until}->($self->{ca}->{value},
2014                                q['&<],                                qq['&<\x09\x0C\x20],
2015                                length $self->{ca}->{value});                                length $self->{ca}->{value});
2016    
2017          ## Stay in the state          ## Stay in the state
# Line 1926  sub _get_next_token ($) { Line 2032  sub _get_next_token ($) {
2032        ## XML5: "Tag attribute value unquoted state".        ## XML5: "Tag attribute value unquoted state".
2033    
2034        if ($is_space->{$self->{nc}}) {        if ($is_space->{$self->{nc}}) {
2035                    if ($self->{ct}->{type} == ATTLIST_TOKEN) {
2036          ## XML5: "Tag attribute name before state".            
2037          $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;            push @{$self->{ct}->{attrdefs}}, $self->{ca};
2038              $self->{state} = DOCTYPE_ATTLIST_NAME_AFTER_STATE;
2039            } else {
2040              
2041              ## XML5: "Tag attribute name before state".
2042              $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;
2043            }
2044                    
2045      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
2046        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 1969  sub _get_next_token ($) { Line 2081  sub _get_next_token ($) {
2081          if ($self->{ct}->{type} == START_TAG_TOKEN) {          if ($self->{ct}->{type} == START_TAG_TOKEN) {
2082                        
2083            $self->{last_stag_name} = $self->{ct}->{tag_name};            $self->{last_stag_name} = $self->{ct}->{tag_name};
2084    
2085              $self->{state} = DATA_STATE;
2086              $self->{s_kwd} = '';
2087              
2088        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
2089          $self->{line_prev} = $self->{line};
2090          $self->{column_prev} = $self->{column};
2091          $self->{column}++;
2092          $self->{nc}
2093              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
2094        } else {
2095          $self->{set_nc}->($self);
2096        }
2097      
2098              return  ($self->{ct}); # start tag
2099              redo A;
2100          } elsif ($self->{ct}->{type} == END_TAG_TOKEN) {          } elsif ($self->{ct}->{type} == END_TAG_TOKEN) {
2101            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
2102            if ($self->{ct}->{attributes}) {            if ($self->{ct}->{attributes}) {
# Line 1978  sub _get_next_token ($) { Line 2106  sub _get_next_token ($) {
2106              ## NOTE: This state should never be reached.              ## NOTE: This state should never be reached.
2107                            
2108            }            }
2109          } else {  
2110            die "$0: $self->{ct}->{type}: Unknown token type";            $self->{state} = DATA_STATE;
2111          }            $self->{s_kwd} = '';
2112          $self->{state} = DATA_STATE;            
         $self->{s_kwd} = '';  
           
2113      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
2114        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
2115        $self->{column_prev} = $self->{column};        $self->{column_prev} = $self->{column};
# Line 1994  sub _get_next_token ($) { Line 2120  sub _get_next_token ($) {
2120        $self->{set_nc}->($self);        $self->{set_nc}->($self);
2121      }      }
2122        
2123              return  ($self->{ct}); # end tag
2124          return  ($self->{ct}); # start tag or end tag            redo A;
2125            } elsif ($self->{ct}->{type} == ATTLIST_TOKEN) {
2126          redo A;            push @{$self->{ct}->{attrdefs}}, $self->{ca};
2127              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2128              
2129        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
2130          $self->{line_prev} = $self->{line};
2131          $self->{column_prev} = $self->{column};
2132          $self->{column}++;
2133          $self->{nc}
2134              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
2135        } else {
2136          $self->{set_nc}->($self);
2137        }
2138      
2139              return  ($self->{ct}); # ATTLIST
2140              redo A;
2141            } else {
2142              die "$0: $self->{ct}->{type}: Unknown token type";
2143            }
2144        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
         $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed tag');  
2145          if ($self->{ct}->{type} == START_TAG_TOKEN) {          if ($self->{ct}->{type} == START_TAG_TOKEN) {
2146                        
2147              $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed tag');
2148            $self->{last_stag_name} = $self->{ct}->{tag_name};            $self->{last_stag_name} = $self->{ct}->{tag_name};
2149    
2150              $self->{state} = DATA_STATE;
2151              $self->{s_kwd} = '';
2152              ## reconsume
2153              return  ($self->{ct}); # start tag
2154              redo A;
2155          } elsif ($self->{ct}->{type} == END_TAG_TOKEN) {          } elsif ($self->{ct}->{type} == END_TAG_TOKEN) {
2156              $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed tag');
2157            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
2158            if ($self->{ct}->{attributes}) {            if ($self->{ct}->{attributes}) {
2159                            
# Line 2012  sub _get_next_token ($) { Line 2162  sub _get_next_token ($) {
2162              ## NOTE: This state should never be reached.              ## NOTE: This state should never be reached.
2163                            
2164            }            }
2165    
2166              $self->{state} = DATA_STATE;
2167              $self->{s_kwd} = '';
2168              ## reconsume
2169              return  ($self->{ct}); # end tag
2170              redo A;
2171            } elsif ($self->{ct}->{type} == ATTLIST_TOKEN) {
2172              $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
2173              push @{$self->{ct}->{attrdefs}}, $self->{ca};
2174              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2175              ## Reconsume.
2176              return  ($self->{ct}); # ATTLIST
2177              redo A;
2178          } else {          } else {
2179            die "$0: $self->{ct}->{type}: Unknown token type";            die "$0: $self->{ct}->{type}: Unknown token type";
2180          }          }
         $self->{state} = DATA_STATE;  
         $self->{s_kwd} = '';  
         ## reconsume  
   
         return  ($self->{ct}); # start tag or end tag  
   
         redo A;  
2181        } else {        } else {
2182          if ({          if ({
2183               0x0022 => 1, # "               0x0022 => 1, # "
2184               0x0027 => 1, # '               0x0027 => 1, # '
2185               0x003D => 1, # =               0x003D => 1, # =
2186                 0x003C => 1, # <
2187              }->{$self->{nc}}) {              }->{$self->{nc}}) {
2188                        
2189            ## XML5: Not a parse error.            ## XML5: Not a parse error.
# Line 2036  sub _get_next_token ($) { Line 2193  sub _get_next_token ($) {
2193          }          }
2194          $self->{ca}->{value} .= chr ($self->{nc});          $self->{ca}->{value} .= chr ($self->{nc});
2195          $self->{read_until}->($self->{ca}->{value},          $self->{read_until}->($self->{ca}->{value},
2196                                q["'=& >],                                qq["'=& \x09\x0C>],
2197                                length $self->{ca}->{value});                                length $self->{ca}->{value});
2198    
2199          ## Stay in the state          ## Stay in the state
# Line 2842  sub _get_next_token ($) { Line 2999  sub _get_next_token ($) {
2999          redo A;          redo A;
3000        } else {        } else {
3001                    
         ## XML5: Not a parse error.  
         $self->{parse_error}->(level => $self->{level}->{must}, type => 'dash in comment',  
                         line => $self->{line_prev},  
                         column => $self->{column_prev});  
3002          $self->{ct}->{data} .= '--' . chr ($self->{nc}); # comment          $self->{ct}->{data} .= '--' . chr ($self->{nc}); # comment
3003          $self->{state} = COMMENT_STATE;          $self->{state} = COMMENT_STATE;
3004                    
# Line 2877  sub _get_next_token ($) { Line 3030  sub _get_next_token ($) {
3030      }      }
3031        
3032          redo A;          redo A;
3033          } elsif ($self->{nc} == -1) {
3034            
3035            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed DOCTYPE');
3036            $self->{ct}->{quirks} = 1;
3037    
3038            $self->{state} = DATA_STATE;
3039            ## Reconsume.
3040            return  ($self->{ct}); # DOCTYPE (quirks)
3041    
3042            redo A;
3043        } else {        } else {
3044                    
3045          ## XML5: Unless EOF, swith to the bogus comment state.          ## XML5: Swith to the bogus comment state.
3046          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before DOCTYPE name');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before DOCTYPE name');
3047          $self->{state} = BEFORE_DOCTYPE_NAME_STATE;          $self->{state} = BEFORE_DOCTYPE_NAME_STATE;
3048          ## reconsume          ## reconsume
# Line 3077  sub _get_next_token ($) { Line 3240  sub _get_next_token ($) {
3240        
3241          redo A;          redo A;
3242        } elsif ($self->{nc} == 0x003E) { # >        } elsif ($self->{nc} == 0x003E) { # >
3243            if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
3244              
3245              $self->{state} = DATA_STATE;
3246              $self->{s_kwd} = '';
3247            } else {
3248              
3249              $self->{parse_error}->(level => $self->{level}->{must}, type => 'no md def'); ## TODO: type
3250              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
3251            }
3252                    
         $self->{state} = DATA_STATE;  
         $self->{s_kwd} = '';  
3253                    
3254      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
3255        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 3091  sub _get_next_token ($) { Line 3261  sub _get_next_token ($) {
3261        $self->{set_nc}->($self);        $self->{set_nc}->($self);
3262      }      }
3263        
3264            return  ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         return  ($self->{ct}); # DOCTYPE  
   
3265          redo A;          redo A;
3266        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
3267            if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
3268              
3269              $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed DOCTYPE');
3270              $self->{state} = DATA_STATE;
3271              $self->{s_kwd} = '';
3272              $self->{ct}->{quirks} = 1;
3273            } else {
3274              
3275              $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
3276              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
3277            }
3278                    
3279          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed DOCTYPE');          ## Reconsume.
3280          $self->{state} = DATA_STATE;          return  ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         $self->{s_kwd} = '';  
         ## reconsume  
   
         $self->{ct}->{quirks} = 1;  
         return  ($self->{ct}); # DOCTYPE  
   
3281          redo A;          redo A;
3282        } elsif ($self->{nc} == 0x0050 or # P        } elsif ($self->{nc} == 0x0050 or # P
3283                 $self->{nc} == 0x0070) { # p                 $self->{nc} == 0x0070) { # p
# Line 3140  sub _get_next_token ($) { Line 3313  sub _get_next_token ($) {
3313      }      }
3314        
3315          redo A;          redo A;
3316        } elsif ($self->{is_xml} and $self->{nc} == 0x005B) { # [        } elsif ($self->{nc} == 0x0022 and # "
3317                   ($self->{ct}->{type} == GENERAL_ENTITY_TOKEN or
3318                    $self->{ct}->{type} == PARAMETER_ENTITY_TOKEN)) {
3319            
3320            $self->{state} = DOCTYPE_ENTITY_VALUE_DOUBLE_QUOTED_STATE;
3321            $self->{ct}->{value} = ''; # ENTITY
3322            
3323        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
3324          $self->{line_prev} = $self->{line};
3325          $self->{column_prev} = $self->{column};
3326          $self->{column}++;
3327          $self->{nc}
3328              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
3329        } else {
3330          $self->{set_nc}->($self);
3331        }
3332      
3333            redo A;
3334          } elsif ($self->{nc} == 0x0027 and # '
3335                   ($self->{ct}->{type} == GENERAL_ENTITY_TOKEN or
3336                    $self->{ct}->{type} == PARAMETER_ENTITY_TOKEN)) {
3337            
3338            $self->{state} = DOCTYPE_ENTITY_VALUE_SINGLE_QUOTED_STATE;
3339            $self->{ct}->{value} = ''; # ENTITY
3340            
3341        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
3342          $self->{line_prev} = $self->{line};
3343          $self->{column_prev} = $self->{column};
3344          $self->{column}++;
3345          $self->{nc}
3346              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
3347        } else {
3348          $self->{set_nc}->($self);
3349        }
3350      
3351            redo A;
3352          } elsif ($self->{is_xml} and
3353                   $self->{ct}->{type} == DOCTYPE_TOKEN and
3354                   $self->{nc} == 0x005B) { # [
3355                    
3356          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
3357          $self->{ct}->{has_internal_subset} = 1; # DOCTYPE          $self->{ct}->{has_internal_subset} = 1; # DOCTYPE
# Line 3159  sub _get_next_token ($) { Line 3370  sub _get_next_token ($) {
3370          return  ($self->{ct}); # DOCTYPE          return  ($self->{ct}); # DOCTYPE
3371          redo A;          redo A;
3372        } else {        } else {
3373                    $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after DOCTYPE name'); ## TODO: type
3374          $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after DOCTYPE name');  
3375          $self->{ct}->{quirks} = 1;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
3376              
3377              $self->{ct}->{quirks} = 1;
3378              $self->{state} = BOGUS_DOCTYPE_STATE;
3379            } else {
3380              
3381              $self->{state} = BOGUS_MD_STATE;
3382            }
3383    
         $self->{state} = BOGUS_DOCTYPE_STATE;  
3384                    
3385      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
3386        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 3235  sub _get_next_token ($) { Line 3452  sub _get_next_token ($) {
3452        
3453          redo A;          redo A;
3454        } else {        } else {
3455                    $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after DOCTYPE name', ## TODO: type
         $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after DOCTYPE name',  
3456                          line => $self->{line_prev},                          line => $self->{line_prev},
3457                          column => $self->{column_prev} + 1 - length $self->{kwd});                          column => $self->{column_prev} + 1 - length $self->{kwd});
3458          $self->{ct}->{quirks} = 1;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
3459              
3460          $self->{state} = BOGUS_DOCTYPE_STATE;            $self->{ct}->{quirks} = 1;
3461              $self->{state} = BOGUS_DOCTYPE_STATE;
3462            } else {
3463              
3464              $self->{state} = BOGUS_MD_STATE;
3465            }
3466          ## Reconsume.          ## Reconsume.
3467          redo A;          redo A;
3468        }        }
# Line 3303  sub _get_next_token ($) { Line 3524  sub _get_next_token ($) {
3524        
3525          redo A;          redo A;
3526        } else {        } else {
3527                    $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after DOCTYPE name', ## TODO: type
         $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after DOCTYPE name',  
3528                          line => $self->{line_prev},                          line => $self->{line_prev},
3529                          column => $self->{column_prev} + 1 - length $self->{kwd});                          column => $self->{column_prev} + 1 - length $self->{kwd});
3530          $self->{ct}->{quirks} = 1;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
3531              
3532          $self->{state} = BOGUS_DOCTYPE_STATE;            $self->{ct}->{quirks} = 1;
3533              $self->{state} = BOGUS_DOCTYPE_STATE;
3534            } else {
3535              
3536              $self->{state} = BOGUS_MD_STATE;
3537            }
3538          ## Reconsume.          ## Reconsume.
3539          redo A;          redo A;
3540        }        }
# Line 3362  sub _get_next_token ($) { Line 3587  sub _get_next_token ($) {
3587        
3588          redo A;          redo A;
3589        } elsif ($self->{nc} eq 0x003E) { # >        } elsif ($self->{nc} eq 0x003E) { # >
           
3590          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no PUBLIC literal');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no PUBLIC literal');
3591            
3592          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
3593          $self->{s_kwd} = '';            
3594              $self->{state} = DATA_STATE;
3595              $self->{s_kwd} = '';
3596              $self->{ct}->{quirks} = 1;
3597            } else {
3598              
3599              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
3600            }
3601            
3602                    
3603      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
3604        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 3378  sub _get_next_token ($) { Line 3610  sub _get_next_token ($) {
3610        $self->{set_nc}->($self);        $self->{set_nc}->($self);
3611      }      }
3612        
3613            return  ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         $self->{ct}->{quirks} = 1;  
         return  ($self->{ct}); # DOCTYPE  
   
3614          redo A;          redo A;
3615        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
3616            if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
3617              
3618              $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed DOCTYPE');
3619              $self->{state} = DATA_STATE;
3620              $self->{s_kwd} = '';
3621              $self->{ct}->{quirks} = 1;
3622            } else {
3623              
3624              $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
3625              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
3626            }
3627                    
         $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed DOCTYPE');  
   
         $self->{state} = DATA_STATE;  
         $self->{s_kwd} = '';  
3628          ## reconsume          ## reconsume
   
         $self->{ct}->{quirks} = 1;  
3629          return  ($self->{ct}); # DOCTYPE          return  ($self->{ct}); # DOCTYPE
   
3630          redo A;          redo A;
3631        } elsif ($self->{is_xml} and $self->{nc} == 0x005B) { # [        } elsif ($self->{is_xml} and
3632                   $self->{ct}->{type} == DOCTYPE_TOKEN and
3633                   $self->{nc} == 0x005B) { # [
3634                    
3635          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no PUBLIC literal');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no PUBLIC literal');
3636          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
# Line 3415  sub _get_next_token ($) { Line 3650  sub _get_next_token ($) {
3650          return  ($self->{ct}); # DOCTYPE          return  ($self->{ct}); # DOCTYPE
3651          redo A;          redo A;
3652        } else {        } else {
           
3653          $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after PUBLIC');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after PUBLIC');
         $self->{ct}->{quirks} = 1;  
3654    
3655          $self->{state} = BOGUS_DOCTYPE_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
3656              
3657              $self->{ct}->{quirks} = 1;
3658              $self->{state} = BOGUS_DOCTYPE_STATE;
3659            } else {
3660              
3661              $self->{state} = BOGUS_MD_STATE;
3662            }
3663    
3664                    
3665      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
3666        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 3450  sub _get_next_token ($) { Line 3691  sub _get_next_token ($) {
3691        
3692          redo A;          redo A;
3693        } elsif ($self->{nc} == 0x003E) { # >        } elsif ($self->{nc} == 0x003E) { # >
           
3694          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed PUBLIC literal');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed PUBLIC literal');
3695    
3696          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
3697          $self->{s_kwd} = '';            
3698              $self->{state} = DATA_STATE;
3699              $self->{s_kwd} = '';
3700              $self->{ct}->{quirks} = 1;
3701            } else {
3702              
3703              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
3704            }
3705    
3706                    
3707      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
3708        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 3466  sub _get_next_token ($) { Line 3714  sub _get_next_token ($) {
3714        $self->{set_nc}->($self);        $self->{set_nc}->($self);
3715      }      }
3716        
3717            return  ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         $self->{ct}->{quirks} = 1;  
         return  ($self->{ct}); # DOCTYPE  
   
3718          redo A;          redo A;
3719        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
           
3720          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed PUBLIC literal');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed PUBLIC literal');
3721    
3722          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
3723          $self->{s_kwd} = '';            
3724          ## reconsume            $self->{state} = DATA_STATE;
3725              $self->{s_kwd} = '';
3726          $self->{ct}->{quirks} = 1;            $self->{ct}->{quirks} = 1;
3727            } else {
3728              
3729              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
3730            }
3731            
3732            ## Reconsume.
3733          return  ($self->{ct}); # DOCTYPE          return  ($self->{ct}); # DOCTYPE
   
3734          redo A;          redo A;
3735        } else {        } else {
3736                    
3737          $self->{ct}->{pubid} # DOCTYPE          $self->{ct}->{pubid} .= chr $self->{nc}; # DOCTYPE/ENTITY/NOTATION
             .= chr $self->{nc};  
3738          $self->{read_until}->($self->{ct}->{pubid}, q[">],          $self->{read_until}->($self->{ct}->{pubid}, q[">],
3739                                length $self->{ct}->{pubid});                                length $self->{ct}->{pubid});
3740    
# Line 3521  sub _get_next_token ($) { Line 3769  sub _get_next_token ($) {
3769        
3770          redo A;          redo A;
3771        } elsif ($self->{nc} == 0x003E) { # >        } elsif ($self->{nc} == 0x003E) { # >
           
3772          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed PUBLIC literal');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed PUBLIC literal');
3773    
3774          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
3775          $self->{s_kwd} = '';            
3776              $self->{state} = DATA_STATE;
3777              $self->{s_kwd} = '';
3778              $self->{ct}->{quirks} = 1;
3779            } else {
3780              
3781              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
3782            }
3783    
3784                    
3785      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
3786        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 3537  sub _get_next_token ($) { Line 3792  sub _get_next_token ($) {
3792        $self->{set_nc}->($self);        $self->{set_nc}->($self);
3793      }      }
3794        
3795            return  ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         $self->{ct}->{quirks} = 1;  
         return  ($self->{ct}); # DOCTYPE  
   
3796          redo A;          redo A;
3797        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
           
3798          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed PUBLIC literal');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed PUBLIC literal');
3799    
3800          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
3801          $self->{s_kwd} = '';            
3802              $self->{state} = DATA_STATE;
3803              $self->{s_kwd} = '';
3804              $self->{ct}->{quirks} = 1;
3805            } else {
3806              
3807              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
3808            }
3809          
3810          ## reconsume          ## reconsume
3811            return  ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         $self->{ct}->{quirks} = 1;  
         return  ($self->{ct}); # DOCTYPE  
   
3812          redo A;          redo A;
3813        } else {        } else {
3814                    
3815          $self->{ct}->{pubid} # DOCTYPE          $self->{ct}->{pubid} .= chr $self->{nc}; # DOCTYPE/ENTITY/NOTATION
             .= chr $self->{nc};  
3816          $self->{read_until}->($self->{ct}->{pubid}, q['>],          $self->{read_until}->($self->{ct}->{pubid}, q['>],
3817                                length $self->{ct}->{pubid});                                length $self->{ct}->{pubid});
3818    
# Line 3593  sub _get_next_token ($) { Line 3848  sub _get_next_token ($) {
3848          redo A;          redo A;
3849        } elsif ($self->{nc} == 0x0022) { # "        } elsif ($self->{nc} == 0x0022) { # "
3850                    
3851          $self->{ct}->{sysid} = ''; # DOCTYPE          $self->{ct}->{sysid} = ''; # DOCTYPE/ENTITY/NOTATION
3852          $self->{state} = DOCTYPE_SYSTEM_IDENTIFIER_DOUBLE_QUOTED_STATE;          $self->{state} = DOCTYPE_SYSTEM_IDENTIFIER_DOUBLE_QUOTED_STATE;
3853                    
3854      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
# Line 3609  sub _get_next_token ($) { Line 3864  sub _get_next_token ($) {
3864          redo A;          redo A;
3865        } elsif ($self->{nc} == 0x0027) { # '        } elsif ($self->{nc} == 0x0027) { # '
3866                    
3867          $self->{ct}->{sysid} = ''; # DOCTYPE          $self->{ct}->{sysid} = ''; # DOCTYPE/ENTITY/NOTATION
3868          $self->{state} = DOCTYPE_SYSTEM_IDENTIFIER_SINGLE_QUOTED_STATE;          $self->{state} = DOCTYPE_SYSTEM_IDENTIFIER_SINGLE_QUOTED_STATE;
3869                    
3870      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
# Line 3624  sub _get_next_token ($) { Line 3879  sub _get_next_token ($) {
3879        
3880          redo A;          redo A;
3881        } elsif ($self->{nc} == 0x003E) { # >        } elsif ($self->{nc} == 0x003E) { # >
3882          if ($self->{is_xml}) {          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
3883                        if ($self->{is_xml}) {
3884            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no SYSTEM literal');              
3885                $self->{parse_error}->(level => $self->{level}->{must}, type => 'no SYSTEM literal');
3886              } else {
3887                
3888              }
3889              $self->{state} = DATA_STATE;
3890              $self->{s_kwd} = '';
3891          } else {          } else {
3892                        if ($self->{ct}->{type} == NOTATION_TOKEN) {
3893                
3894              } else {
3895                
3896                $self->{parse_error}->(level => $self->{level}->{must}, type => 'no SYSTEM literal');            
3897              }
3898              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
3899          }          }
3900          $self->{state} = DATA_STATE;          
         $self->{s_kwd} = '';  
3901                    
3902      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
3903        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 3643  sub _get_next_token ($) { Line 3909  sub _get_next_token ($) {
3909        $self->{set_nc}->($self);        $self->{set_nc}->($self);
3910      }      }
3911        
3912            return  ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         return  ($self->{ct}); # DOCTYPE  
   
3913          redo A;          redo A;
3914        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
3915            if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
3916              
3917              $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed DOCTYPE');
3918              
3919              $self->{state} = DATA_STATE;
3920              $self->{s_kwd} = '';
3921              $self->{ct}->{quirks} = 1;
3922            } else {
3923              $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
3924              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
3925            }
3926                    
         $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed DOCTYPE');  
   
         $self->{state} = DATA_STATE;  
         $self->{s_kwd} = '';  
3927          ## reconsume          ## reconsume
3928            return  ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         $self->{ct}->{quirks} = 1;  
         return  ($self->{ct}); # DOCTYPE  
   
3929          redo A;          redo A;
3930        } elsif ($self->{is_xml} and $self->{nc} == 0x005B) { # [        } elsif ($self->{is_xml} and
3931                   $self->{ct}->{type} == DOCTYPE_TOKEN and
3932                   $self->{nc} == 0x005B) { # [
3933                    
3934          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no SYSTEM literal');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no SYSTEM literal');
3935          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
# Line 3679  sub _get_next_token ($) { Line 3949  sub _get_next_token ($) {
3949          return  ($self->{ct}); # DOCTYPE          return  ($self->{ct}); # DOCTYPE
3950          redo A;          redo A;
3951        } else {        } else {
           
3952          $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after PUBLIC literal');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after PUBLIC literal');
         $self->{ct}->{quirks} = 1;  
3953    
3954          $self->{state} = BOGUS_DOCTYPE_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
3955              
3956              $self->{ct}->{quirks} = 1;
3957              $self->{state} = BOGUS_DOCTYPE_STATE;
3958            } else {
3959              
3960              $self->{state} = BOGUS_MD_STATE;
3961            }
3962    
3963                    
3964      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
3965        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 3746  sub _get_next_token ($) { Line 4022  sub _get_next_token ($) {
4022        
4023          redo A;          redo A;
4024        } elsif ($self->{nc} == 0x003E) { # >        } elsif ($self->{nc} == 0x003E) { # >
           
4025          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no SYSTEM literal');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no SYSTEM literal');
         $self->{state} = DATA_STATE;  
         $self->{s_kwd} = '';  
4026                    
4027      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
4028        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 3762  sub _get_next_token ($) { Line 4035  sub _get_next_token ($) {
4035      }      }
4036        
4037    
4038          $self->{ct}->{quirks} = 1;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
4039          return  ($self->{ct}); # DOCTYPE            
4040              $self->{state} = DATA_STATE;
4041              $self->{s_kwd} = '';
4042              $self->{ct}->{quirks} = 1;
4043            } else {
4044              
4045              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4046            }
4047    
4048            return  ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
4049          redo A;          redo A;
4050        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
4051            if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
4052              
4053              $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed DOCTYPE');
4054              $self->{state} = DATA_STATE;
4055              $self->{s_kwd} = '';
4056              $self->{ct}->{quirks} = 1;
4057            } else {
4058              
4059              $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
4060              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4061            }
4062                    
         $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed DOCTYPE');  
   
         $self->{state} = DATA_STATE;  
         $self->{s_kwd} = '';  
4063          ## reconsume          ## reconsume
4064            return  ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         $self->{ct}->{quirks} = 1;  
         return  ($self->{ct}); # DOCTYPE  
   
4065          redo A;          redo A;
4066        } elsif ($self->{is_xml} and $self->{nc} == 0x005B) { # [        } elsif ($self->{is_xml} and
4067                   $self->{ct}->{type} == DOCTYPE_TOKEN and
4068                   $self->{nc} == 0x005B) { # [
4069                    
4070          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no SYSTEM literal');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'no SYSTEM literal');
4071    
# Line 3799  sub _get_next_token ($) { Line 4086  sub _get_next_token ($) {
4086          return  ($self->{ct}); # DOCTYPE          return  ($self->{ct}); # DOCTYPE
4087          redo A;          redo A;
4088        } else {        } else {
           
4089          $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after SYSTEM');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after SYSTEM');
         $self->{ct}->{quirks} = 1;  
4090    
4091          $self->{state} = BOGUS_DOCTYPE_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
4092                        
4093              $self->{ct}->{quirks} = 1;
4094              $self->{state} = BOGUS_DOCTYPE_STATE;
4095            } else {
4096              
4097              $self->{state} = BOGUS_MD_STATE;
4098            }
4099    
4100                    
4101      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
4102        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 3834  sub _get_next_token ($) { Line 4127  sub _get_next_token ($) {
4127        
4128          redo A;          redo A;
4129        } elsif (not $self->{is_xml} and $self->{nc} == 0x003E) { # >        } elsif (not $self->{is_xml} and $self->{nc} == 0x003E) { # >
           
4130          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed SYSTEM literal');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed SYSTEM literal');
4131    
4132          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
4133          $self->{s_kwd} = '';            
4134              $self->{state} = DATA_STATE;
4135              $self->{s_kwd} = '';
4136              $self->{ct}->{quirks} = 1;
4137            } else {
4138              
4139              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4140            }
4141            
4142                    
4143      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
4144        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 3850  sub _get_next_token ($) { Line 4150  sub _get_next_token ($) {
4150        $self->{set_nc}->($self);        $self->{set_nc}->($self);
4151      }      }
4152        
4153            return  ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         $self->{ct}->{quirks} = 1;  
         return  ($self->{ct}); # DOCTYPE  
   
4154          redo A;          redo A;
4155        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
           
4156          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed SYSTEM literal');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed SYSTEM literal');
4157    
4158          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
4159          $self->{s_kwd} = '';            
4160              $self->{state} = DATA_STATE;
4161              $self->{s_kwd} = '';
4162              $self->{ct}->{quirks} = 1;
4163            } else {
4164              
4165              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4166            }
4167            
4168          ## reconsume          ## reconsume
4169            return  ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         $self->{ct}->{quirks} = 1;  
         return  ($self->{ct}); # DOCTYPE  
   
4170          redo A;          redo A;
4171        } else {        } else {
4172                    
4173          $self->{ct}->{sysid} # DOCTYPE          $self->{ct}->{sysid} .= chr $self->{nc}; # DOCTYPE/ENTITY/NOTATION
             .= chr $self->{nc};  
4174          $self->{read_until}->($self->{ct}->{sysid}, q[">],          $self->{read_until}->($self->{ct}->{sysid}, q[">],
4175                                length $self->{ct}->{sysid});                                length $self->{ct}->{sysid});
4176    
# Line 3927  sub _get_next_token ($) { Line 4227  sub _get_next_token ($) {
4227    
4228          redo A;          redo A;
4229        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
           
4230          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed SYSTEM literal');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed SYSTEM literal');
4231    
4232          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
4233          $self->{s_kwd} = '';            
4234          ## reconsume            $self->{state} = DATA_STATE;
4235              $self->{s_kwd} = '';
4236          $self->{ct}->{quirks} = 1;            $self->{ct}->{quirks} = 1;
4237          return  ($self->{ct}); # DOCTYPE          } else {
4238              
4239              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4240            }
4241    
4242            ## reconsume
4243            return  ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
4244          redo A;          redo A;
4245        } else {        } else {
4246                    
4247          $self->{ct}->{sysid} # DOCTYPE          $self->{ct}->{sysid} .= chr $self->{nc}; # DOCTYPE/ENTITY/NOTATION
             .= chr $self->{nc};  
4248          $self->{read_until}->($self->{ct}->{sysid}, q['>],          $self->{read_until}->($self->{ct}->{sysid}, q['>],
4249                                length $self->{ct}->{sysid});                                length $self->{ct}->{sysid});
4250    
# Line 3961  sub _get_next_token ($) { Line 4264  sub _get_next_token ($) {
4264        }        }
4265      } elsif ($self->{state} == AFTER_DOCTYPE_SYSTEM_IDENTIFIER_STATE) {      } elsif ($self->{state} == AFTER_DOCTYPE_SYSTEM_IDENTIFIER_STATE) {
4266        if ($is_space->{$self->{nc}}) {        if ($is_space->{$self->{nc}}) {
4267                    if ($self->{ct}->{type} == GENERAL_ENTITY_TOKEN) {
4268          ## Stay in the state            
4269              $self->{state} = BEFORE_NDATA_STATE;
4270            } else {
4271              
4272              ## Stay in the state
4273            }
4274                    
4275      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
4276        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 3976  sub _get_next_token ($) { Line 4284  sub _get_next_token ($) {
4284        
4285          redo A;          redo A;
4286        } elsif ($self->{nc} == 0x003E) { # >        } elsif ($self->{nc} == 0x003E) { # >
4287            if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
4288              
4289              $self->{state} = DATA_STATE;
4290              $self->{s_kwd} = '';
4291            } else {
4292              
4293              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4294            }
4295    
4296                    
4297          $self->{state} = DATA_STATE;      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
4298          $self->{s_kwd} = '';        $self->{line_prev} = $self->{line};
4299          $self->{column_prev} = $self->{column};
4300          $self->{column}++;
4301          $self->{nc}
4302              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
4303        } else {
4304          $self->{set_nc}->($self);
4305        }
4306      
4307            return  ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
4308            redo A;
4309          } elsif ($self->{ct}->{type} == GENERAL_ENTITY_TOKEN and
4310                   ($self->{nc} == 0x004E or # N
4311                    $self->{nc} == 0x006E)) { # n
4312            
4313            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before NDATA'); ## TODO: type
4314            $self->{state} = NDATA_STATE;
4315            $self->{kwd} = chr $self->{nc};
4316                    
4317      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
4318        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 3990  sub _get_next_token ($) { Line 4324  sub _get_next_token ($) {
4324        $self->{set_nc}->($self);        $self->{set_nc}->($self);
4325      }      }
4326        
   
         return  ($self->{ct}); # DOCTYPE  
   
4327          redo A;          redo A;
4328        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
4329                    if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
4330          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed DOCTYPE');            
4331          $self->{state} = DATA_STATE;            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed DOCTYPE');
4332          $self->{s_kwd} = '';            $self->{state} = DATA_STATE;
4333          ## reconsume            $self->{s_kwd} = '';
4334              $self->{ct}->{quirks} = 1;
4335          $self->{ct}->{quirks} = 1;          } else {
4336          return  ($self->{ct}); # DOCTYPE            
4337              $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
4338              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4339            }
4340    
4341            ## reconsume
4342            return  ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
4343          redo A;          redo A;
4344        } elsif ($self->{is_xml} and $self->{nc} == 0x005B) { # [        } elsif ($self->{is_xml} and
4345                   $self->{ct}->{type} == DOCTYPE_TOKEN and
4346                   $self->{nc} == 0x005B) { # [
4347                    
4348          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4349          $self->{ct}->{has_internal_subset} = 1; # DOCTYPE          $self->{ct}->{has_internal_subset} = 1; # DOCTYPE
# Line 4024  sub _get_next_token ($) { Line 4362  sub _get_next_token ($) {
4362          return  ($self->{ct}); # DOCTYPE          return  ($self->{ct}); # DOCTYPE
4363          redo A;          redo A;
4364        } else {        } else {
           
4365          $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after SYSTEM literal');          $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after SYSTEM literal');
         #$self->{ct}->{quirks} = 1;  
4366    
4367          $self->{state} = BOGUS_DOCTYPE_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
4368              
4369              #$self->{ct}->{quirks} = 1;
4370              $self->{state} = BOGUS_DOCTYPE_STATE;
4371            } else {
4372              
4373              $self->{state} = BOGUS_MD_STATE;
4374            }
4375    
4376            
4377        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
4378          $self->{line_prev} = $self->{line};
4379          $self->{column_prev} = $self->{column};
4380          $self->{column}++;
4381          $self->{nc}
4382              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
4383        } else {
4384          $self->{set_nc}->($self);
4385        }
4386      
4387            redo A;
4388          }
4389        } elsif ($self->{state} == BEFORE_NDATA_STATE) {
4390          if ($is_space->{$self->{nc}}) {
4391            
4392            ## Stay in the state.
4393            
4394        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
4395          $self->{line_prev} = $self->{line};
4396          $self->{column_prev} = $self->{column};
4397          $self->{column}++;
4398          $self->{nc}
4399              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
4400        } else {
4401          $self->{set_nc}->($self);
4402        }
4403      
4404            redo A;
4405          } elsif ($self->{nc} == 0x003E) { # >
4406            
4407            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4408            
4409        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
4410          $self->{line_prev} = $self->{line};
4411          $self->{column_prev} = $self->{column};
4412          $self->{column}++;
4413          $self->{nc}
4414              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
4415        } else {
4416          $self->{set_nc}->($self);
4417        }
4418      
4419            return  ($self->{ct}); # ENTITY
4420            redo A;
4421          } elsif ($self->{nc} == 0x004E or # N
4422                   $self->{nc} == 0x006E) { # n
4423            
4424            $self->{state} = NDATA_STATE;
4425            $self->{kwd} = chr $self->{nc};
4426            
4427        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
4428          $self->{line_prev} = $self->{line};
4429          $self->{column_prev} = $self->{column};
4430          $self->{column}++;
4431          $self->{nc}
4432              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
4433        } else {
4434          $self->{set_nc}->($self);
4435        }
4436      
4437            redo A;
4438          } elsif ($self->{nc} == -1) {
4439            
4440            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
4441            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4442            ## reconsume
4443            return  ($self->{ct}); # ENTITY
4444            redo A;
4445          } else {
4446            
4447            $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after SYSTEM literal');
4448            $self->{state} = BOGUS_MD_STATE;
4449                    
4450      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
4451        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 4252  sub _get_next_token ($) { Line 4669  sub _get_next_token ($) {
4669              0x003C => 1, 0x0026 => 1, -1 => 1, # <, &              0x003C => 1, 0x0026 => 1, -1 => 1, # <, &
4670              $self->{entity_add} => 1,              $self->{entity_add} => 1,
4671            }->{$self->{nc}}) {            }->{$self->{nc}}) {
4672                    if ($self->{is_xml}) {
4673              
4674              $self->{parse_error}->(level => $self->{level}->{must}, type => 'bare ero',
4675                              line => $self->{line_prev},
4676                              column => $self->{column_prev}
4677                                  + ($self->{nc} == -1 ? 1 : 0));
4678            } else {
4679              
4680              ## No error
4681            }
4682          ## Don't consume          ## Don't consume
         ## No error  
4683          ## Return nothing.          ## Return nothing.
4684          #          #
4685        } elsif ($self->{nc} == 0x0023) { # #        } elsif ($self->{nc} == 0x0023) { # #
# Line 4273  sub _get_next_token ($) { Line 4698  sub _get_next_token ($) {
4698      }      }
4699        
4700          redo A;          redo A;
4701        } elsif ((0x0041 <= $self->{nc} and        } elsif ($self->{is_xml} or
4702                   (0x0041 <= $self->{nc} and
4703                  $self->{nc} <= 0x005A) or # A..Z                  $self->{nc} <= 0x005A) or # A..Z
4704                 (0x0061 <= $self->{nc} and                 (0x0061 <= $self->{nc} and
4705                  $self->{nc} <= 0x007A)) { # a..z                  $self->{nc} <= 0x007A)) { # a..z
# Line 4327  sub _get_next_token ($) { Line 4753  sub _get_next_token ($) {
4753          redo A;          redo A;
4754        }        }
4755      } elsif ($self->{state} == ENTITY_HASH_STATE) {      } elsif ($self->{state} == ENTITY_HASH_STATE) {
4756        if ($self->{nc} == 0x0078 or # x        if ($self->{nc} == 0x0078) { # x
4757            $self->{nc} == 0x0058) { # X          
4758            $self->{state} = HEXREF_X_STATE;
4759            $self->{kwd} .= chr $self->{nc};
4760            
4761        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
4762          $self->{line_prev} = $self->{line};
4763          $self->{column_prev} = $self->{column};
4764          $self->{column}++;
4765          $self->{nc}
4766              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
4767        } else {
4768          $self->{set_nc}->($self);
4769        }
4770      
4771            redo A;
4772          } elsif ($self->{nc} == 0x0058) { # X
4773                    
4774            if ($self->{is_xml}) {
4775              $self->{parse_error}->(level => $self->{level}->{must}, type => 'uppercase hcro'); ## TODO: type
4776            }
4777          $self->{state} = HEXREF_X_STATE;          $self->{state} = HEXREF_X_STATE;
4778          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
4779                    
# Line 4434  sub _get_next_token ($) { Line 4878  sub _get_next_token ($) {
4878        my $code = $self->{kwd};        my $code = $self->{kwd};
4879        my $l = $self->{line_prev};        my $l = $self->{line_prev};
4880        my $c = $self->{column_prev};        my $c = $self->{column_prev};
4881        if ($charref_map->{$code}) {        if ((not $self->{is_xml} and $charref_map->{$code}) or
4882              ($self->{is_xml} and 0xD800 <= $code and $code <= 0xDFFF) or
4883              ($self->{is_xml} and $code == 0x0000)) {
4884                    
4885          $self->{parse_error}->(level => $self->{level}->{must}, type => 'invalid character reference',          $self->{parse_error}->(level => $self->{level}->{must}, type => 'invalid character reference',
4886                          text => (sprintf 'U+%04X', $code),                          text => (sprintf 'U+%04X', $code),
# Line 4587  sub _get_next_token ($) { Line 5033  sub _get_next_token ($) {
5033        my $code = $self->{kwd};        my $code = $self->{kwd};
5034        my $l = $self->{line_prev};        my $l = $self->{line_prev};
5035        my $c = $self->{column_prev};        my $c = $self->{column_prev};
5036        if ($charref_map->{$code}) {        if ((not $self->{is_xml} and $charref_map->{$code}) or
5037              ($self->{is_xml} and 0xD800 <= $code and $code <= 0xDFFF) or
5038              ($self->{is_xml} and $code == 0x0000)) {
5039                    
5040          $self->{parse_error}->(level => $self->{level}->{must}, type => 'invalid character reference',          $self->{parse_error}->(level => $self->{level}->{must}, type => 'invalid character reference',
5041                          text => (sprintf 'U+%04X', $code),                          text => (sprintf 'U+%04X', $code),
# Line 4621  sub _get_next_token ($) { Line 5069  sub _get_next_token ($) {
5069          redo A;          redo A;
5070        }        }
5071      } elsif ($self->{state} == ENTITY_NAME_STATE) {      } elsif ($self->{state} == ENTITY_NAME_STATE) {
5072        if (length $self->{kwd} < 30 and        if ((0x0041 <= $self->{nc} and # a
5073            ## NOTE: Some number greater than the maximum length of entity name             $self->{nc} <= 0x005A) or # x
5074            ((0x0041 <= $self->{nc} and # a            (0x0061 <= $self->{nc} and # a
5075              $self->{nc} <= 0x005A) or # x             $self->{nc} <= 0x007A) or # z
5076             (0x0061 <= $self->{nc} and # a            (0x0030 <= $self->{nc} and # 0
5077              $self->{nc} <= 0x007A) or # z             $self->{nc} <= 0x0039) or # 9
5078             (0x0030 <= $self->{nc} and # 0            $self->{nc} == 0x003B or # ;
5079              $self->{nc} <= 0x0039) or # 9            ($self->{is_xml} and
5080             $self->{nc} == 0x003B)) { # ;             not ($is_space->{$self->{nc}} or
5081                    {
5082                      0x003C => 1, 0x0026 => 1, -1 => 1, # <, &
5083                      $self->{entity_add} => 1,
5084                    }->{$self->{nc}}))) {
5085          our $EntityChar;          our $EntityChar;
5086          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
5087          if (defined $EntityChar->{$self->{kwd}}) {          if (defined $EntityChar->{$self->{kwd}} or
5088                $self->{ge}->{$self->{kwd}}) {
5089            if ($self->{nc} == 0x003B) { # ;            if ($self->{nc} == 0x003B) { # ;
5090                            if (defined $self->{ge}->{$self->{kwd}}) {
5091              $self->{entity__value} = $EntityChar->{$self->{kwd}};                if ($self->{ge}->{$self->{kwd}}->{only_text}) {
5092                    
5093                    $self->{entity__value} = $self->{ge}->{$self->{kwd}}->{value};
5094                  } else {
5095                    if (defined $self->{ge}->{$self->{kwd}}->{notation}) {
5096                      
5097                      $self->{parse_error}->(level => $self->{level}->{must}, type => 'unparsed entity', ## TODO: type
5098                                      value => $self->{kwd});
5099                    } else {
5100                      
5101                    }
5102                    $self->{entity__value} = '&' . $self->{kwd}; ## TODO: expand
5103                  }
5104                } else {
5105                  if ($self->{is_xml}) {
5106                    
5107                    $self->{parse_error}->(level => $self->{level}->{must}, type => 'entity not declared', ## TODO: type
5108                                    value => $self->{kwd},
5109                                    level => {
5110                                              'amp;' => $self->{level}->{warn},
5111                                              'quot;' => $self->{level}->{warn},
5112                                              'lt;' => $self->{level}->{warn},
5113                                              'gt;' => $self->{level}->{warn},
5114                                              'apos;' => $self->{level}->{warn},
5115                                             }->{$self->{kwd}} ||
5116                                             $self->{level}->{must});
5117                  } else {
5118                    
5119                  }
5120                  $self->{entity__value} = $EntityChar->{$self->{kwd}};
5121                }
5122              $self->{entity__match} = 1;              $self->{entity__match} = 1;
5123                            
5124      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
# Line 5031  sub _get_next_token ($) { Line 5514  sub _get_next_token ($) {
5514          ## XML5: Not defined yet.          ## XML5: Not defined yet.
5515    
5516          ## TODO:          ## TODO:
5517    
5518            if (not $self->{stop_processing} and
5519                not $self->{document}->xml_standalone) {
5520              $self->{parse_error}->(level => $self->{level}->{must}, type => 'stop processing', ## TODO: type
5521                              level => $self->{level}->{info});
5522              $self->{stop_processing} = 1;
5523            }
5524    
5525                    
5526      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
5527        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 5253  sub _get_next_token ($) { Line 5744  sub _get_next_token ($) {
5744      }      }
5745        
5746          redo A;          redo A;
5747        } elsif ($self->{nc} == 0x0045) { # E        } elsif ($self->{nc} == 0x0045 or # E
5748                   $self->{nc} == 0x0065) { # e
5749          $self->{state} = MD_E_STATE;          $self->{state} = MD_E_STATE;
5750          $self->{kwd} = chr $self->{nc};          $self->{kwd} = chr $self->{nc};
5751                    
# Line 5268  sub _get_next_token ($) { Line 5760  sub _get_next_token ($) {
5760      }      }
5761        
5762          redo A;          redo A;
5763        } elsif ($self->{nc} == 0x0041) { # A        } elsif ($self->{nc} == 0x0041 or # A
5764                   $self->{nc} == 0x0061) { # a
5765          $self->{state} = MD_ATTLIST_STATE;          $self->{state} = MD_ATTLIST_STATE;
5766          $self->{kwd} = chr $self->{nc};          $self->{kwd} = chr $self->{nc};
5767                    
# Line 5283  sub _get_next_token ($) { Line 5776  sub _get_next_token ($) {
5776      }      }
5777        
5778          redo A;          redo A;
5779        } elsif ($self->{nc} == 0x004E) { # N        } elsif ($self->{nc} == 0x004E or # N
5780                   $self->{nc} == 0x006E) { # n
5781          $self->{state} = MD_NOTATION_STATE;          $self->{state} = MD_NOTATION_STATE;
5782          $self->{kwd} = chr $self->{nc};          $self->{kwd} = chr $self->{nc};
5783                    
# Line 5311  sub _get_next_token ($) { Line 5805  sub _get_next_token ($) {
5805        $self->{ct} = {type => COMMENT_TOKEN, data => ''}; ## Will be discarded.        $self->{ct} = {type => COMMENT_TOKEN, data => ''}; ## Will be discarded.
5806        redo A;        redo A;
5807      } elsif ($self->{state} == MD_E_STATE) {      } elsif ($self->{state} == MD_E_STATE) {
5808        if ($self->{nc} == 0x004E) { # N        if ($self->{nc} == 0x004E or # N
5809              $self->{nc} == 0x006E) { # n
5810          $self->{state} = MD_ENTITY_STATE;          $self->{state} = MD_ENTITY_STATE;
5811          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
5812                    
# Line 5326  sub _get_next_token ($) { Line 5821  sub _get_next_token ($) {
5821      }      }
5822        
5823          redo A;          redo A;
5824        } elsif ($self->{nc} == 0x004C) { # L        } elsif ($self->{nc} == 0x004C or # L
5825                   $self->{nc} == 0x006C) { # l
5826          ## XML5: <!ELEMENT> not supported.          ## XML5: <!ELEMENT> not supported.
5827          $self->{state} = MD_ELEMENT_STATE;          $self->{state} = MD_ELEMENT_STATE;
5828          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
# Line 5354  sub _get_next_token ($) { Line 5850  sub _get_next_token ($) {
5850          redo A;          redo A;
5851        }        }
5852      } elsif ($self->{state} == MD_ENTITY_STATE) {      } elsif ($self->{state} == MD_ENTITY_STATE) {
5853        if ($self->{nc} == {        if ($self->{nc} == [
5854              'EN' => 0x0054, # T              undef,
5855              'ENT' => 0x0049, # I              undef,
5856              'ENTI' => 0x0054, # T              0x0054, # T
5857            }->{$self->{kwd}}) {              0x0049, # I
5858                0x0054, # T
5859              ]->[length $self->{kwd}] or
5860              $self->{nc} == [
5861                undef,
5862                undef,
5863                0x0074, # t
5864                0x0069, # i
5865                0x0074, # t
5866              ]->[length $self->{kwd}]) {
5867          ## Stay in the state.          ## Stay in the state.
5868          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
5869                    
# Line 5373  sub _get_next_token ($) { Line 5878  sub _get_next_token ($) {
5878      }      }
5879        
5880          redo A;          redo A;
5881        } elsif ($self->{kwd} eq 'ENTIT' and        } elsif ((length $self->{kwd}) == 5 and
5882                 $self->{nc} == 0x0059) { # Y                 ($self->{nc} == 0x0059 or # Y
5883          $self->{ct} = {type => GENERAL_ENTITY_TOKEN, name => '', text => '',                  $self->{nc} == 0x0079)) { # y
5884            if ($self->{kwd} ne 'ENTIT' or $self->{nc} == 0x0079) {
5885              $self->{parse_error}->(level => $self->{level}->{must}, type => 'lowercase keyword', ## TODO: type
5886                              text => 'ENTITY',
5887                              line => $self->{line_prev},
5888                              column => $self->{column_prev} - 4);
5889            }
5890            $self->{ct} = {type => GENERAL_ENTITY_TOKEN, name => '',
5891                         line => $self->{line_prev},                         line => $self->{line_prev},
5892                         column => $self->{column_prev} - 6};                         column => $self->{column_prev} - 6};
5893          $self->{state} = DOCTYPE_MD_STATE;          $self->{state} = DOCTYPE_MD_STATE;
# Line 5403  sub _get_next_token ($) { Line 5915  sub _get_next_token ($) {
5915          redo A;          redo A;
5916        }        }
5917      } elsif ($self->{state} == MD_ELEMENT_STATE) {      } elsif ($self->{state} == MD_ELEMENT_STATE) {
5918        if ($self->{nc} == {        if ($self->{nc} == [
5919              'EL' => 0x0045, # E             undef,
5920              'ELE' => 0x004D, # M             undef,
5921              'ELEM' => 0x0045, # E             0x0045, # E
5922              'ELEME' => 0x004E, # N             0x004D, # M
5923            }->{$self->{kwd}}) {             0x0045, # E
5924               0x004E, # N
5925              ]->[length $self->{kwd}] or
5926              $self->{nc} == [
5927               undef,
5928               undef,
5929               0x0065, # e
5930               0x006D, # m
5931               0x0065, # e
5932               0x006E, # n
5933              ]->[length $self->{kwd}]) {
5934          ## Stay in the state.          ## Stay in the state.
5935          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
5936                    
# Line 5423  sub _get_next_token ($) { Line 5945  sub _get_next_token ($) {
5945      }      }
5946        
5947          redo A;          redo A;
5948        } elsif ($self->{kwd} eq 'ELEMEN' and        } elsif ((length $self->{kwd}) == 6 and
5949                 $self->{nc} == 0x0054) { # T                 ($self->{nc} == 0x0054 or # T
5950                    $self->{nc} == 0x0074)) { # t
5951            if ($self->{kwd} ne 'ELEMEN' or $self->{nc} == 0x0074) {
5952              $self->{parse_error}->(level => $self->{level}->{must}, type => 'lowercase keyword', ## TODO: type
5953                              text => 'ELEMENT',
5954                              line => $self->{line_prev},
5955                              column => $self->{column_prev} - 5);
5956            }
5957          $self->{ct} = {type => ELEMENT_TOKEN, name => '',          $self->{ct} = {type => ELEMENT_TOKEN, name => '',
5958                         line => $self->{line_prev},                         line => $self->{line_prev},
5959                         column => $self->{column_prev} - 6};                         column => $self->{column_prev} - 7};
5960          $self->{state} = DOCTYPE_MD_STATE;          $self->{state} = DOCTYPE_MD_STATE;
5961                    
5962      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
# Line 5453  sub _get_next_token ($) { Line 5982  sub _get_next_token ($) {
5982          redo A;          redo A;
5983        }        }
5984      } elsif ($self->{state} == MD_ATTLIST_STATE) {      } elsif ($self->{state} == MD_ATTLIST_STATE) {
5985        if ($self->{nc} == {        if ($self->{nc} == [
5986              'A' => 0x0054, # T             undef,
5987              'AT' => 0x0054, # T             0x0054, # T
5988              'ATT' => 0x004C, # L             0x0054, # T
5989              'ATTL' => 0x0049, # I             0x004C, # L
5990              'ATTLI' => 0x0053, # S             0x0049, # I
5991            }->{$self->{kwd}}) {             0x0053, # S
5992              ]->[length $self->{kwd}] or
5993              $self->{nc} == [
5994               undef,
5995               0x0074, # t
5996               0x0074, # t
5997               0x006C, # l
5998               0x0069, # i
5999               0x0073, # s
6000              ]->[length $self->{kwd}]) {
6001          ## Stay in the state.          ## Stay in the state.
6002          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
6003                    
# Line 5474  sub _get_next_token ($) { Line 6012  sub _get_next_token ($) {
6012      }      }
6013        
6014          redo A;          redo A;
6015        } elsif ($self->{kwd} eq 'ATTLIS' and        } elsif ((length $self->{kwd}) == 6 and
6016                 $self->{nc} == 0x0054) { # T                 ($self->{nc} == 0x0054 or # T
6017                    $self->{nc} == 0x0074)) { # t
6018            if ($self->{kwd} ne 'ATTLIS' or $self->{nc} == 0x0074) {
6019              $self->{parse_error}->(level => $self->{level}->{must}, type => 'lowercase keyword', ## TODO: type
6020                              text => 'ATTLIST',
6021                              line => $self->{line_prev},
6022                              column => $self->{column_prev} - 5);
6023            }
6024          $self->{ct} = {type => ATTLIST_TOKEN, name => '',          $self->{ct} = {type => ATTLIST_TOKEN, name => '',
6025                           attrdefs => [],
6026                         line => $self->{line_prev},                         line => $self->{line_prev},
6027                         column => $self->{column_prev} - 6};                         column => $self->{column_prev} - 7};
6028          $self->{state} = DOCTYPE_MD_STATE;          $self->{state} = DOCTYPE_MD_STATE;
6029                    
6030      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
# Line 5504  sub _get_next_token ($) { Line 6050  sub _get_next_token ($) {
6050          redo A;          redo A;
6051        }        }
6052      } elsif ($self->{state} == MD_NOTATION_STATE) {      } elsif ($self->{state} == MD_NOTATION_STATE) {
6053        if ($self->{nc} == {        if ($self->{nc} == [
6054              'N' => 0x004F, # O             undef,
6055              'NO' => 0x0054, # T             0x004F, # O
6056              'NOT' => 0x0041, # A             0x0054, # T
6057              'NOTA' => 0x0054, # T             0x0041, # A
6058              'NOTAT' => 0x0049, # I             0x0054, # T
6059              'NOTATI' => 0x004F, # O             0x0049, # I
6060            }->{$self->{kwd}}) {             0x004F, # O
6061              ]->[length $self->{kwd}] or
6062              $self->{nc} == [
6063               undef,
6064               0x006F, # o
6065               0x0074, # t
6066               0x0061, # a
6067               0x0074, # t
6068               0x0069, # i
6069               0x006F, # o
6070              ]->[length $self->{kwd}]) {
6071          ## Stay in the state.          ## Stay in the state.
6072          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
6073                    
# Line 5526  sub _get_next_token ($) { Line 6082  sub _get_next_token ($) {
6082      }      }
6083        
6084          redo A;          redo A;
6085        } elsif ($self->{kwd} eq 'NOTATIO' and        } elsif ((length $self->{kwd}) == 7 and
6086                 $self->{nc} == 0x004E) { # N                 ($self->{nc} == 0x004E or # N
6087                    $self->{nc} == 0x006E)) { # n
6088            if ($self->{kwd} ne 'NOTATIO' or $self->{nc} == 0x006E) {
6089              $self->{parse_error}->(level => $self->{level}->{must}, type => 'lowercase keyword', ## TODO: type
6090                              text => 'NOTATION',
6091                              line => $self->{line_prev},
6092                              column => $self->{column_prev} - 6);
6093            }
6094          $self->{ct} = {type => NOTATION_TOKEN, name => '',          $self->{ct} = {type => NOTATION_TOKEN, name => '',
6095                         line => $self->{line_prev},                         line => $self->{line_prev},
6096                         column => $self->{column_prev} - 6};                         column => $self->{column_prev} - 8};
6097          $self->{state} = DOCTYPE_MD_STATE;          $self->{state} = DOCTYPE_MD_STATE;
6098                    
6099      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
# Line 5739  sub _get_next_token ($) { Line 6302  sub _get_next_token ($) {
6302        ## XML5: "DOCTYPE ENTITY name state" and "DOCTYPE ATTLIST name state".        ## XML5: "DOCTYPE ENTITY name state" and "DOCTYPE ATTLIST name state".
6303                
6304        if ($is_space->{$self->{nc}}) {        if ($is_space->{$self->{nc}}) {
6305          ## TODO:          if ($self->{ct}->{type} == ATTLIST_TOKEN) {
6306          $self->{state} = DOCTYPE_ATTLIST_NAME_AFTER_STATE;            $self->{state} = DOCTYPE_ATTLIST_NAME_AFTER_STATE;
6307            } elsif ($self->{ct}->{type} == ELEMENT_TOKEN) {
6308              $self->{state} = AFTER_ELEMENT_NAME_STATE;
6309            } else { # ENTITY/NOTATION
6310              $self->{state} = AFTER_DOCTYPE_NAME_STATE;
6311            }
6312                    
6313      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {      if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6314        $self->{line_prev} = $self->{line};        $self->{line_prev} = $self->{line};
# Line 5757  sub _get_next_token ($) { Line 6325  sub _get_next_token ($) {
6325          if ($self->{ct}->{type} == ATTLIST_TOKEN) {          if ($self->{ct}->{type} == ATTLIST_TOKEN) {
6326            #            #
6327          } else {          } else {
6328            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no md body'); ## TODO: type            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no md def'); ## TODO: type
6329          }          }
6330          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
6331                    
# Line 5831  sub _get_next_token ($) { Line 6399  sub _get_next_token ($) {
6399          ## XML5: No parse error.          ## XML5: No parse error.
6400          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type          $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
6401          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE; ## XML5: "Data state".          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE; ## XML5: "Data state".
6402            return  ($self->{ct});
6403          redo A;          redo A;
6404        } else {        } else {
6405          ## XML5: Not defined yet.          ## XML5: Not defined yet.
6406            $self->{ca} = {name => chr ($self->{nc}), # attrdef
6407          ## TODO: ...                         tokens => [],
6408                           line => $self->{line}, column => $self->{column}};
6409          $self->{state} = BOGUS_COMMENT_STATE;          $self->{state} = DOCTYPE_ATTLIST_ATTRIBUTE_NAME_STATE;
6410          $self->{ct} = {type => COMMENT_TOKEN, data => ''}; ## Will be discarded          
6411        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6412          $self->{line_prev} = $self->{line};
6413          $self->{column_prev} = $self->{column};
6414          $self->{column}++;
6415          $self->{nc}
6416              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6417        } else {
6418          $self->{set_nc}->($self);
6419        }
6420      
6421            redo A;
6422          }
6423        } elsif ($self->{state} == DOCTYPE_ATTLIST_ATTRIBUTE_NAME_STATE) {
6424          if ($is_space->{$self->{nc}}) {
6425            $self->{state} = DOCTYPE_ATTLIST_ATTRIBUTE_NAME_AFTER_STATE;
6426            
6427        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6428          $self->{line_prev} = $self->{line};
6429          $self->{column_prev} = $self->{column};
6430          $self->{column}++;
6431          $self->{nc}
6432              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6433        } else {
6434          $self->{set_nc}->($self);
6435        }
6436      
6437            redo A;
6438          } elsif ($self->{nc} == 0x003E) { # >
6439            ## XML5: Same as "anything else".
6440            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no attr type'); ## TODO: type
6441            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
6442            
6443        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6444          $self->{line_prev} = $self->{line};
6445          $self->{column_prev} = $self->{column};
6446          $self->{column}++;
6447          $self->{nc}
6448              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6449        } else {
6450          $self->{set_nc}->($self);
6451        }
6452      
6453            return  ($self->{ct}); # ATTLIST
6454            redo A;
6455          } elsif ($self->{nc} == 0x0028) { # (
6456            ## XML5: Same as "anything else".
6457            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before paren'); ## TODO: type
6458            $self->{state} = BEFORE_ALLOWED_TOKEN_STATE;
6459            
6460        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6461          $self->{line_prev} = $self->{line};
6462          $self->{column_prev} = $self->{column};
6463          $self->{column}++;
6464          $self->{nc}
6465              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6466        } else {
6467          $self->{set_nc}->($self);
6468        }
6469      
6470            redo A;
6471          } elsif ($self->{nc} == -1) {
6472            ## XML5: No parse error.
6473            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
6474            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE; ## XML5: "Data state".
6475            
6476        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6477          $self->{line_prev} = $self->{line};
6478          $self->{column_prev} = $self->{column};
6479          $self->{column}++;
6480          $self->{nc}
6481              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6482        } else {
6483          $self->{set_nc}->($self);
6484        }
6485      
6486            return  ($self->{ct}); # ATTLIST
6487            redo A;
6488          } else {
6489            ## XML5: Not defined yet.
6490            $self->{ca}->{name} .= chr $self->{nc};
6491            ## Stay in the state.
6492            
6493        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6494          $self->{line_prev} = $self->{line};
6495          $self->{column_prev} = $self->{column};
6496          $self->{column}++;
6497          $self->{nc}
6498              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6499        } else {
6500          $self->{set_nc}->($self);
6501        }
6502      
6503            redo A;
6504          }
6505        } elsif ($self->{state} == DOCTYPE_ATTLIST_ATTRIBUTE_NAME_AFTER_STATE) {
6506          if ($is_space->{$self->{nc}}) {
6507            ## Stay in the state.
6508            
6509        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6510          $self->{line_prev} = $self->{line};
6511          $self->{column_prev} = $self->{column};
6512          $self->{column}++;
6513          $self->{nc}
6514              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6515        } else {
6516          $self->{set_nc}->($self);
6517        }
6518      
6519            redo A;
6520          } elsif ($self->{nc} == 0x003E) { # >
6521            ## XML5: Same as "anything else".
6522            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no attr type'); ## TODO: type
6523            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
6524            
6525        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6526          $self->{line_prev} = $self->{line};
6527          $self->{column_prev} = $self->{column};
6528          $self->{column}++;
6529          $self->{nc}
6530              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6531        } else {
6532          $self->{set_nc}->($self);
6533        }
6534      
6535            return  ($self->{ct}); # ATTLIST
6536            redo A;
6537          } elsif ($self->{nc} == 0x0028) { # (
6538            ## XML5: Same as "anything else".
6539            $self->{state} = BEFORE_ALLOWED_TOKEN_STATE;
6540            
6541        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6542          $self->{line_prev} = $self->{line};
6543          $self->{column_prev} = $self->{column};
6544          $self->{column}++;
6545          $self->{nc}
6546              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6547        } else {
6548          $self->{set_nc}->($self);
6549        }
6550      
6551            redo A;
6552          } elsif ($self->{nc} == -1) {
6553            ## XML5: No parse error.
6554            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
6555            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE; ## XML5: "Data state".
6556            
6557        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6558          $self->{line_prev} = $self->{line};
6559          $self->{column_prev} = $self->{column};
6560          $self->{column}++;
6561          $self->{nc}
6562              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6563        } else {
6564          $self->{set_nc}->($self);
6565        }
6566      
6567            return  ($self->{ct});
6568            redo A;
6569          } else {
6570            ## XML5: Not defined yet.
6571            $self->{ca}->{type} = chr $self->{nc};
6572            $self->{state} = DOCTYPE_ATTLIST_ATTRIBUTE_TYPE_STATE;
6573            
6574        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6575          $self->{line_prev} = $self->{line};
6576          $self->{column_prev} = $self->{column};
6577          $self->{column}++;
6578          $self->{nc}
6579              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6580        } else {
6581          $self->{set_nc}->($self);
6582        }
6583      
6584            redo A;
6585          }
6586        } elsif ($self->{state} == DOCTYPE_ATTLIST_ATTRIBUTE_TYPE_STATE) {
6587          if ($is_space->{$self->{nc}}) {
6588            $self->{state} = DOCTYPE_ATTLIST_ATTRIBUTE_TYPE_AFTER_STATE;
6589            
6590        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6591          $self->{line_prev} = $self->{line};
6592          $self->{column_prev} = $self->{column};
6593          $self->{column}++;
6594          $self->{nc}
6595              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6596        } else {
6597          $self->{set_nc}->($self);
6598        }
6599      
6600            redo A;
6601          } elsif ($self->{nc} == 0x0023) { # #
6602            ## XML5: Same as "anything else".
6603            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before default value'); ## TODO: type
6604            $self->{state} = DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_BEFORE_STATE;
6605            
6606        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6607          $self->{line_prev} = $self->{line};
6608          $self->{column_prev} = $self->{column};
6609          $self->{column}++;
6610          $self->{nc}
6611              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6612        } else {
6613          $self->{set_nc}->($self);
6614        }
6615      
6616            redo A;
6617          } elsif ($self->{nc} == 0x0022) { # "
6618            ## XML5: Same as "anything else".
6619            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before default value'); ## TODO: type
6620            $self->{ca}->{value} = '';
6621            $self->{state} = ATTRIBUTE_VALUE_DOUBLE_QUOTED_STATE;
6622            
6623        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6624          $self->{line_prev} = $self->{line};
6625          $self->{column_prev} = $self->{column};
6626          $self->{column}++;
6627          $self->{nc}
6628              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6629        } else {
6630          $self->{set_nc}->($self);
6631        }
6632      
6633            redo A;
6634          } elsif ($self->{nc} == 0x0027) { # '
6635            ## XML5: Same as "anything else".
6636            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before default value'); ## TODO: type
6637            $self->{ca}->{value} = '';
6638            $self->{state} = ATTRIBUTE_VALUE_SINGLE_QUOTED_STATE;
6639            
6640        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6641          $self->{line_prev} = $self->{line};
6642          $self->{column_prev} = $self->{column};
6643          $self->{column}++;
6644          $self->{nc}
6645              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6646        } else {
6647          $self->{set_nc}->($self);
6648        }
6649      
6650            redo A;
6651          } elsif ($self->{nc} == 0x003E) { # >
6652            ## XML5: Same as "anything else".
6653            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no attr default'); ## TODO: type
6654            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
6655            
6656        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6657          $self->{line_prev} = $self->{line};
6658          $self->{column_prev} = $self->{column};
6659          $self->{column}++;
6660          $self->{nc}
6661              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6662        } else {
6663          $self->{set_nc}->($self);
6664        }
6665      
6666            return  ($self->{ct}); # ATTLIST
6667            redo A;
6668          } elsif ($self->{nc} == 0x0028) { # (
6669            ## XML5: Same as "anything else".
6670            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before paren'); ## TODO: type
6671            $self->{state} = BEFORE_ALLOWED_TOKEN_STATE;
6672            
6673        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6674          $self->{line_prev} = $self->{line};
6675          $self->{column_prev} = $self->{column};
6676          $self->{column}++;
6677          $self->{nc}
6678              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6679        } else {
6680          $self->{set_nc}->($self);
6681        }
6682      
6683            redo A;
6684          } elsif ($self->{nc} == -1) {
6685            ## XML5: No parse error.
6686            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
6687            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE; ## XML5: "Data state".
6688            
6689        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6690          $self->{line_prev} = $self->{line};
6691          $self->{column_prev} = $self->{column};
6692          $self->{column}++;
6693          $self->{nc}
6694              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6695        } else {
6696          $self->{set_nc}->($self);
6697        }
6698      
6699            return  ($self->{ct});
6700            redo A;
6701          } else {
6702            ## XML5: Not defined yet.
6703            $self->{ca}->{type} .= chr $self->{nc};
6704            ## Stay in the state.
6705            
6706        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6707          $self->{line_prev} = $self->{line};
6708          $self->{column_prev} = $self->{column};
6709          $self->{column}++;
6710          $self->{nc}
6711              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6712        } else {
6713          $self->{set_nc}->($self);
6714        }
6715      
6716            redo A;
6717          }
6718        } elsif ($self->{state} == DOCTYPE_ATTLIST_ATTRIBUTE_TYPE_AFTER_STATE) {
6719          if ($is_space->{$self->{nc}}) {
6720            ## Stay in the state.
6721            
6722        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6723          $self->{line_prev} = $self->{line};
6724          $self->{column_prev} = $self->{column};
6725          $self->{column}++;
6726          $self->{nc}
6727              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6728        } else {
6729          $self->{set_nc}->($self);
6730        }
6731      
6732            redo A;
6733          } elsif ($self->{nc} == 0x0028) { # (
6734            ## XML5: Same as "anything else".
6735            $self->{state} = BEFORE_ALLOWED_TOKEN_STATE;
6736            
6737        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6738          $self->{line_prev} = $self->{line};
6739          $self->{column_prev} = $self->{column};
6740          $self->{column}++;
6741          $self->{nc}
6742              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6743        } else {
6744          $self->{set_nc}->($self);
6745        }
6746      
6747            redo A;
6748          } elsif ($self->{nc} == 0x0023) { # #
6749            $self->{state} = DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_BEFORE_STATE;
6750            
6751        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6752          $self->{line_prev} = $self->{line};
6753          $self->{column_prev} = $self->{column};
6754          $self->{column}++;
6755          $self->{nc}
6756              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6757        } else {
6758          $self->{set_nc}->($self);
6759        }
6760      
6761            redo A;
6762          } elsif ($self->{nc} == 0x0022) { # "
6763            ## XML5: Same as "anything else".
6764            $self->{ca}->{value} = '';
6765            $self->{state} = ATTRIBUTE_VALUE_DOUBLE_QUOTED_STATE;
6766            
6767        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6768          $self->{line_prev} = $self->{line};
6769          $self->{column_prev} = $self->{column};
6770          $self->{column}++;
6771          $self->{nc}
6772              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6773        } else {
6774          $self->{set_nc}->($self);
6775        }
6776      
6777            redo A;
6778          } elsif ($self->{nc} == 0x0027) { # '
6779            ## XML5: Same as "anything else".
6780            $self->{ca}->{value} = '';
6781            $self->{state} = ATTRIBUTE_VALUE_SINGLE_QUOTED_STATE;
6782            
6783        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6784          $self->{line_prev} = $self->{line};
6785          $self->{column_prev} = $self->{column};
6786          $self->{column}++;
6787          $self->{nc}
6788              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6789        } else {
6790          $self->{set_nc}->($self);
6791        }
6792      
6793            redo A;
6794          } elsif ($self->{nc} == 0x003E) { # >
6795            ## XML5: Same as "anything else".
6796            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no attr default'); ## TODO: type
6797            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
6798            
6799        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6800          $self->{line_prev} = $self->{line};
6801          $self->{column_prev} = $self->{column};
6802          $self->{column}++;
6803          $self->{nc}
6804              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6805        } else {
6806          $self->{set_nc}->($self);
6807        }
6808      
6809            return  ($self->{ct}); # ATTLIST
6810            redo A;
6811          } elsif ($self->{nc} == -1) {
6812            ## XML5: No parse error.
6813            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
6814            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE; ## XML5: "Data state".
6815            
6816        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6817          $self->{line_prev} = $self->{line};
6818          $self->{column_prev} = $self->{column};
6819          $self->{column}++;
6820          $self->{nc}
6821              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6822        } else {
6823          $self->{set_nc}->($self);
6824        }
6825      
6826            return  ($self->{ct});
6827            redo A;
6828          } else {
6829            ## XML5: Switch to the "DOCTYPE bogus comment state".
6830            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unquoted attr value'); ## TODO: type
6831            $self->{ca}->{value} = '';
6832            $self->{state} = ATTRIBUTE_VALUE_UNQUOTED_STATE;
6833          ## Reconsume.          ## Reconsume.
6834          redo A;          redo A;
6835        }        }
6836        } elsif ($self->{state} == BEFORE_ALLOWED_TOKEN_STATE) {
6837          if ($is_space->{$self->{nc}}) {
6838            ## Stay in the state.
6839            
6840        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6841          $self->{line_prev} = $self->{line};
6842          $self->{column_prev} = $self->{column};
6843          $self->{column}++;
6844          $self->{nc}
6845              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6846        } else {
6847          $self->{set_nc}->($self);
6848        }
6849      
6850            redo A;
6851          } elsif ($self->{nc} == 0x007C) { # |
6852            $self->{parse_error}->(level => $self->{level}->{must}, type => 'empty allowed token'); ## TODO: type
6853            ## Stay in the state.
6854            
6855        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6856          $self->{line_prev} = $self->{line};
6857          $self->{column_prev} = $self->{column};
6858          $self->{column}++;
6859          $self->{nc}
6860              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6861        } else {
6862          $self->{set_nc}->($self);
6863        }
6864      
6865            redo A;
6866          } elsif ($self->{nc} == 0x0029) { # )
6867            $self->{parse_error}->(level => $self->{level}->{must}, type => 'empty allowed token'); ## TODO: type
6868            $self->{state} = AFTER_ALLOWED_TOKENS_STATE;
6869            
6870        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6871          $self->{line_prev} = $self->{line};
6872          $self->{column_prev} = $self->{column};
6873          $self->{column}++;
6874          $self->{nc}
6875              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6876        } else {
6877          $self->{set_nc}->($self);
6878        }
6879      
6880            redo A;
6881          } elsif ($self->{nc} == 0x003E) { # >
6882            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed allowed tokens'); ## TODO: type
6883            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
6884            
6885        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6886          $self->{line_prev} = $self->{line};
6887          $self->{column_prev} = $self->{column};
6888          $self->{column}++;
6889          $self->{nc}
6890              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6891        } else {
6892          $self->{set_nc}->($self);
6893        }
6894      
6895            return  ($self->{ct}); # ATTLIST
6896            redo A;
6897          } elsif ($self->{nc} == -1) {
6898            ## XML5: No parse error.
6899            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
6900            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE; ## XML5: "Data state".
6901            
6902        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6903          $self->{line_prev} = $self->{line};
6904          $self->{column_prev} = $self->{column};
6905          $self->{column}++;
6906          $self->{nc}
6907              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6908        } else {
6909          $self->{set_nc}->($self);
6910        }
6911      
6912            return  ($self->{ct});
6913            redo A;
6914          } else {
6915            push @{$self->{ca}->{tokens}}, chr $self->{nc};
6916            $self->{state} = ALLOWED_TOKEN_STATE;
6917            
6918        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6919          $self->{line_prev} = $self->{line};
6920          $self->{column_prev} = $self->{column};
6921          $self->{column}++;
6922          $self->{nc}
6923              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6924        } else {
6925          $self->{set_nc}->($self);
6926        }
6927      
6928            redo A;
6929          }
6930        } elsif ($self->{state} == ALLOWED_TOKEN_STATE) {
6931          if ($is_space->{$self->{nc}}) {
6932            $self->{state} = AFTER_ALLOWED_TOKEN_STATE;
6933            
6934        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6935          $self->{line_prev} = $self->{line};
6936          $self->{column_prev} = $self->{column};
6937          $self->{column}++;
6938          $self->{nc}
6939              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6940        } else {
6941          $self->{set_nc}->($self);
6942        }
6943      
6944            redo A;
6945          } elsif ($self->{nc} == 0x007C) { # |
6946            $self->{state} = BEFORE_ALLOWED_TOKEN_STATE;
6947            
6948        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6949          $self->{line_prev} = $self->{line};
6950          $self->{column_prev} = $self->{column};
6951          $self->{column}++;
6952          $self->{nc}
6953              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6954        } else {
6955          $self->{set_nc}->($self);
6956        }
6957      
6958            redo A;
6959          } elsif ($self->{nc} == 0x0029) { # )
6960            $self->{state} = AFTER_ALLOWED_TOKENS_STATE;
6961            
6962        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6963          $self->{line_prev} = $self->{line};
6964          $self->{column_prev} = $self->{column};
6965          $self->{column}++;
6966          $self->{nc}
6967              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6968        } else {
6969          $self->{set_nc}->($self);
6970        }
6971      
6972            redo A;
6973          } elsif ($self->{nc} == 0x003E) { # >
6974            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed allowed tokens'); ## TODO: type
6975            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
6976            
6977        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6978          $self->{line_prev} = $self->{line};
6979          $self->{column_prev} = $self->{column};
6980          $self->{column}++;
6981          $self->{nc}
6982              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
6983        } else {
6984          $self->{set_nc}->($self);
6985        }
6986      
6987            return  ($self->{ct}); # ATTLIST
6988            redo A;
6989          } elsif ($self->{nc} == -1) {
6990            ## XML5: No parse error.
6991            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
6992            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE; ## XML5: "Data state".
6993            
6994        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
6995          $self->{line_prev} = $self->{line};
6996          $self->{column_prev} = $self->{column};
6997          $self->{column}++;
6998          $self->{nc}
6999              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7000        } else {
7001          $self->{set_nc}->($self);
7002        }
7003      
7004            return  ($self->{ct});
7005            redo A;
7006          } else {
7007            $self->{ca}->{tokens}->[-1] .= chr $self->{nc};
7008            ## Stay in the state.
7009            
7010        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7011          $self->{line_prev} = $self->{line};
7012          $self->{column_prev} = $self->{column};
7013          $self->{column}++;
7014          $self->{nc}
7015              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7016        } else {
7017          $self->{set_nc}->($self);
7018        }
7019      
7020            redo A;
7021          }
7022        } elsif ($self->{state} == AFTER_ALLOWED_TOKEN_STATE) {
7023          if ($is_space->{$self->{nc}}) {
7024            ## Stay in the state.
7025            
7026        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7027          $self->{line_prev} = $self->{line};
7028          $self->{column_prev} = $self->{column};
7029          $self->{column}++;
7030          $self->{nc}
7031              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7032        } else {
7033          $self->{set_nc}->($self);
7034        }
7035      
7036            redo A;
7037          } elsif ($self->{nc} == 0x007C) { # |
7038            $self->{state} = BEFORE_ALLOWED_TOKEN_STATE;
7039            
7040        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7041          $self->{line_prev} = $self->{line};
7042          $self->{column_prev} = $self->{column};
7043          $self->{column}++;
7044          $self->{nc}
7045              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7046        } else {
7047          $self->{set_nc}->($self);
7048        }
7049      
7050            redo A;
7051          } elsif ($self->{nc} == 0x0029) { # )
7052            $self->{state} = AFTER_ALLOWED_TOKENS_STATE;
7053            
7054        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7055          $self->{line_prev} = $self->{line};
7056          $self->{column_prev} = $self->{column};
7057          $self->{column}++;
7058          $self->{nc}
7059              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7060        } else {
7061          $self->{set_nc}->($self);
7062        }
7063      
7064            redo A;
7065          } elsif ($self->{nc} == 0x003E) { # >
7066            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed allowed tokens'); ## TODO: type
7067            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7068            
7069        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7070          $self->{line_prev} = $self->{line};
7071          $self->{column_prev} = $self->{column};
7072          $self->{column}++;
7073          $self->{nc}
7074              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7075        } else {
7076          $self->{set_nc}->($self);
7077        }
7078      
7079            return  ($self->{ct}); # ATTLIST
7080            redo A;
7081          } elsif ($self->{nc} == -1) {
7082            ## XML5: No parse error.
7083            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
7084            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE; ## XML5: "Data state".
7085            
7086        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7087          $self->{line_prev} = $self->{line};
7088          $self->{column_prev} = $self->{column};
7089          $self->{column}++;
7090          $self->{nc}
7091              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7092        } else {
7093          $self->{set_nc}->($self);
7094        }
7095      
7096            return  ($self->{ct});
7097            redo A;
7098          } else {
7099            $self->{parse_error}->(level => $self->{level}->{must}, type => 'space in allowed token', ## TODO: type
7100                            line => $self->{line_prev},
7101                            column => $self->{column_prev});
7102            $self->{ca}->{tokens}->[-1] .= ' ' . chr $self->{nc};
7103            $self->{state} = ALLOWED_TOKEN_STATE;
7104            
7105        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7106          $self->{line_prev} = $self->{line};
7107          $self->{column_prev} = $self->{column};
7108          $self->{column}++;
7109          $self->{nc}
7110              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7111        } else {
7112          $self->{set_nc}->($self);
7113        }
7114      
7115            redo A;
7116          }
7117        } elsif ($self->{state} == AFTER_ALLOWED_TOKENS_STATE) {
7118          if ($is_space->{$self->{nc}}) {
7119            $self->{state} = BEFORE_ATTR_DEFAULT_STATE;
7120            
7121        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7122          $self->{line_prev} = $self->{line};
7123          $self->{column_prev} = $self->{column};
7124          $self->{column}++;
7125          $self->{nc}
7126              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7127        } else {
7128          $self->{set_nc}->($self);
7129        }
7130      
7131            redo A;
7132          } elsif ($self->{nc} == 0x0023) { # #
7133            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before default value'); ## TODO: type
7134            $self->{state} = DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_BEFORE_STATE;
7135            
7136        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7137          $self->{line_prev} = $self->{line};
7138          $self->{column_prev} = $self->{column};
7139          $self->{column}++;
7140          $self->{nc}
7141              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7142        } else {
7143          $self->{set_nc}->($self);
7144        }
7145      
7146            redo A;
7147          } elsif ($self->{nc} == 0x0022) { # "
7148            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before default value'); ## TODO: type
7149            $self->{ca}->{value} = '';
7150            $self->{state} = ATTRIBUTE_VALUE_DOUBLE_QUOTED_STATE;
7151            
7152        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7153          $self->{line_prev} = $self->{line};
7154          $self->{column_prev} = $self->{column};
7155          $self->{column}++;
7156          $self->{nc}
7157              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7158        } else {
7159          $self->{set_nc}->($self);
7160        }
7161      
7162            redo A;
7163          } elsif ($self->{nc} == 0x0027) { # '
7164            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before default value'); ## TODO: type
7165            $self->{ca}->{value} = '';
7166            $self->{state} = ATTRIBUTE_VALUE_SINGLE_QUOTED_STATE;
7167            
7168        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7169          $self->{line_prev} = $self->{line};
7170          $self->{column_prev} = $self->{column};
7171          $self->{column}++;
7172          $self->{nc}
7173              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7174        } else {
7175          $self->{set_nc}->($self);
7176        }
7177      
7178            redo A;
7179          } elsif ($self->{nc} == 0x003E) { # >
7180            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no attr default'); ## TODO: type
7181            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7182            
7183        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7184          $self->{line_prev} = $self->{line};
7185          $self->{column_prev} = $self->{column};
7186          $self->{column}++;
7187          $self->{nc}
7188              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7189        } else {
7190          $self->{set_nc}->($self);
7191        }
7192      
7193            return  ($self->{ct}); # ATTLIST
7194            redo A;
7195          } elsif ($self->{nc} == -1) {
7196            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
7197            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7198            
7199        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7200          $self->{line_prev} = $self->{line};
7201          $self->{column_prev} = $self->{column};
7202          $self->{column}++;
7203          $self->{nc}
7204              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7205        } else {
7206          $self->{set_nc}->($self);
7207        }
7208      
7209            return  ($self->{ct});
7210            redo A;
7211          } else {
7212            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unquoted attr value'); ## TODO: type
7213            $self->{state} = ATTRIBUTE_VALUE_UNQUOTED_STATE;
7214            ## Reconsume.
7215            redo A;
7216          }
7217        } elsif ($self->{state} == BEFORE_ATTR_DEFAULT_STATE) {
7218          if ($is_space->{$self->{nc}}) {
7219            ## Stay in the state.
7220            
7221        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7222          $self->{line_prev} = $self->{line};
7223          $self->{column_prev} = $self->{column};
7224          $self->{column}++;
7225          $self->{nc}
7226              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7227        } else {
7228          $self->{set_nc}->($self);
7229        }
7230      
7231            redo A;
7232          } elsif ($self->{nc} == 0x0023) { # #
7233            $self->{state} = DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_BEFORE_STATE;
7234            
7235        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7236          $self->{line_prev} = $self->{line};
7237          $self->{column_prev} = $self->{column};
7238          $self->{column}++;
7239          $self->{nc}
7240              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7241        } else {
7242          $self->{set_nc}->($self);
7243        }
7244      
7245            redo A;
7246          } elsif ($self->{nc} == 0x0022) { # "
7247            $self->{ca}->{value} = '';
7248            $self->{state} = ATTRIBUTE_VALUE_DOUBLE_QUOTED_STATE;
7249            
7250        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7251          $self->{line_prev} = $self->{line};
7252          $self->{column_prev} = $self->{column};
7253          $self->{column}++;
7254          $self->{nc}
7255              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7256        } else {
7257          $self->{set_nc}->($self);
7258        }
7259      
7260            redo A;
7261          } elsif ($self->{nc} == 0x0027) { # '
7262            $self->{ca}->{value} = '';
7263            $self->{state} = ATTRIBUTE_VALUE_SINGLE_QUOTED_STATE;
7264            
7265        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7266          $self->{line_prev} = $self->{line};
7267          $self->{column_prev} = $self->{column};
7268          $self->{column}++;
7269          $self->{nc}
7270              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7271        } else {
7272          $self->{set_nc}->($self);
7273        }
7274      
7275            redo A;
7276          } elsif ($self->{nc} == 0x003E) { # >
7277            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no attr default'); ## TODO: type
7278            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7279            
7280        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7281          $self->{line_prev} = $self->{line};
7282          $self->{column_prev} = $self->{column};
7283          $self->{column}++;
7284          $self->{nc}
7285              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7286        } else {
7287          $self->{set_nc}->($self);
7288        }
7289      
7290            return  ($self->{ct}); # ATTLIST
7291            redo A;
7292          } elsif ($self->{nc} == -1) {
7293            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
7294            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7295            
7296        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7297          $self->{line_prev} = $self->{line};
7298          $self->{column_prev} = $self->{column};
7299          $self->{column}++;
7300          $self->{nc}
7301              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7302        } else {
7303          $self->{set_nc}->($self);
7304        }
7305      
7306            return  ($self->{ct});
7307            redo A;
7308          } else {
7309            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unquoted attr value'); ## TODO: type
7310            $self->{state} = ATTRIBUTE_VALUE_UNQUOTED_STATE;
7311            ## Reconsume.
7312            redo A;
7313          }
7314        } elsif ($self->{state} == DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_BEFORE_STATE) {
7315          if ($is_space->{$self->{nc}}) {
7316            ## XML5: No parse error.
7317            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no default type'); ## TODO: type
7318            $self->{state} = BOGUS_MD_STATE;
7319            ## Reconsume.
7320            redo A;
7321          } elsif ($self->{nc} == 0x0022) { # "
7322            ## XML5: Same as "anything else".
7323            $self->{ca}->{value} = '';
7324            $self->{state} = ATTRIBUTE_VALUE_DOUBLE_QUOTED_STATE;
7325            
7326        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7327          $self->{line_prev} = $self->{line};
7328          $self->{column_prev} = $self->{column};
7329          $self->{column}++;
7330          $self->{nc}
7331              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7332        } else {
7333          $self->{set_nc}->($self);
7334        }
7335      
7336            redo A;
7337          } elsif ($self->{nc} == 0x0027) { # '
7338            ## XML5: Same as "anything else".
7339            $self->{ca}->{value} = '';
7340            $self->{state} = ATTRIBUTE_VALUE_SINGLE_QUOTED_STATE;
7341            
7342        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7343          $self->{line_prev} = $self->{line};
7344          $self->{column_prev} = $self->{column};
7345          $self->{column}++;
7346          $self->{nc}
7347              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7348        } else {
7349          $self->{set_nc}->($self);
7350        }
7351      
7352            redo A;
7353          } elsif ($self->{nc} == 0x003E) { # >
7354            ## XML5: Same as "anything else".
7355            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no attr default'); ## TODO: type
7356            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7357            
7358        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7359          $self->{line_prev} = $self->{line};
7360          $self->{column_prev} = $self->{column};
7361          $self->{column}++;
7362          $self->{nc}
7363              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7364        } else {
7365          $self->{set_nc}->($self);
7366        }
7367      
7368            return  ($self->{ct}); # ATTLIST
7369            redo A;
7370          } elsif ($self->{nc} == -1) {
7371            ## XML5: No parse error.
7372            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
7373            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE; ## XML5: "Data state".
7374            
7375        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7376          $self->{line_prev} = $self->{line};
7377          $self->{column_prev} = $self->{column};
7378          $self->{column}++;
7379          $self->{nc}
7380              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7381        } else {
7382          $self->{set_nc}->($self);
7383        }
7384      
7385            return  ($self->{ct});
7386            redo A;
7387          } else {
7388            $self->{ca}->{default} = chr $self->{nc};
7389            $self->{state} = DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_STATE;
7390            
7391        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7392          $self->{line_prev} = $self->{line};
7393          $self->{column_prev} = $self->{column};
7394          $self->{column}++;
7395          $self->{nc}
7396              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7397        } else {
7398          $self->{set_nc}->($self);
7399        }
7400      
7401            redo A;
7402          }
7403        } elsif ($self->{state} == DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_STATE) {
7404          if ($is_space->{$self->{nc}}) {
7405            $self->{state} = DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_AFTER_STATE;
7406            
7407        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7408          $self->{line_prev} = $self->{line};
7409          $self->{column_prev} = $self->{column};
7410          $self->{column}++;
7411          $self->{nc}
7412              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7413        } else {
7414          $self->{set_nc}->($self);
7415        }
7416      
7417            redo A;
7418          } elsif ($self->{nc} == 0x0022) { # "
7419            ## XML5: Same as "anything else".
7420            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before default value'); ## TODO: type
7421            $self->{ca}->{value} = '';
7422            $self->{state} = ATTRIBUTE_VALUE_DOUBLE_QUOTED_STATE;
7423            
7424        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7425          $self->{line_prev} = $self->{line};
7426          $self->{column_prev} = $self->{column};
7427          $self->{column}++;
7428          $self->{nc}
7429              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7430        } else {
7431          $self->{set_nc}->($self);
7432        }
7433      
7434            redo A;
7435          } elsif ($self->{nc} == 0x0027) { # '
7436            ## XML5: Same as "anything else".
7437            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before default value'); ## TODO: type
7438            $self->{ca}->{value} = '';
7439            $self->{state} = ATTRIBUTE_VALUE_SINGLE_QUOTED_STATE;
7440            
7441        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7442          $self->{line_prev} = $self->{line};
7443          $self->{column_prev} = $self->{column};
7444          $self->{column}++;
7445          $self->{nc}
7446              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7447        } else {
7448          $self->{set_nc}->($self);
7449        }
7450      
7451            redo A;
7452          } elsif ($self->{nc} == 0x003E) { # >
7453            ## XML5: Same as "anything else".
7454            push @{$self->{ct}->{attrdefs}}, $self->{ca};
7455            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7456            
7457        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7458          $self->{line_prev} = $self->{line};
7459          $self->{column_prev} = $self->{column};
7460          $self->{column}++;
7461          $self->{nc}
7462              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7463        } else {
7464          $self->{set_nc}->($self);
7465        }
7466      
7467            return  ($self->{ct}); # ATTLIST
7468            redo A;
7469          } elsif ($self->{nc} == -1) {
7470            ## XML5: No parse error.
7471            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
7472            push @{$self->{ct}->{attrdefs}}, $self->{ca};
7473            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE; ## XML5: "Data state".
7474            
7475        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7476          $self->{line_prev} = $self->{line};
7477          $self->{column_prev} = $self->{column};
7478          $self->{column}++;
7479          $self->{nc}
7480              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7481        } else {
7482          $self->{set_nc}->($self);
7483        }
7484      
7485            return  ($self->{ct});
7486            redo A;
7487          } else {
7488            $self->{ca}->{default} .= chr $self->{nc};
7489            ## Stay in the state.
7490            
7491        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7492          $self->{line_prev} = $self->{line};
7493          $self->{column_prev} = $self->{column};
7494          $self->{column}++;
7495          $self->{nc}
7496              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7497        } else {
7498          $self->{set_nc}->($self);
7499        }
7500      
7501            redo A;
7502          }
7503        } elsif ($self->{state} == DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_AFTER_STATE) {
7504          if ($is_space->{$self->{nc}}) {
7505            ## Stay in the state.
7506            
7507        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7508          $self->{line_prev} = $self->{line};
7509          $self->{column_prev} = $self->{column};
7510          $self->{column}++;
7511          $self->{nc}
7512              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7513        } else {
7514          $self->{set_nc}->($self);
7515        }
7516      
7517            redo A;
7518          } elsif ($self->{nc} == 0x0022) { # "
7519            $self->{ca}->{value} = '';
7520            $self->{state} = ATTRIBUTE_VALUE_DOUBLE_QUOTED_STATE;
7521            
7522        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7523          $self->{line_prev} = $self->{line};
7524          $self->{column_prev} = $self->{column};
7525          $self->{column}++;
7526          $self->{nc}
7527              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7528        } else {
7529          $self->{set_nc}->($self);
7530        }
7531      
7532            redo A;
7533          } elsif ($self->{nc} == 0x0027) { # '
7534            $self->{ca}->{value} = '';
7535            $self->{state} = ATTRIBUTE_VALUE_SINGLE_QUOTED_STATE;
7536            
7537        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7538          $self->{line_prev} = $self->{line};
7539          $self->{column_prev} = $self->{column};
7540          $self->{column}++;
7541          $self->{nc}
7542              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7543        } else {
7544          $self->{set_nc}->($self);
7545        }
7546      
7547            redo A;
7548          } elsif ($self->{nc} == 0x003E) { # >
7549            push @{$self->{ct}->{attrdefs}}, $self->{ca};
7550            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7551            
7552        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7553          $self->{line_prev} = $self->{line};
7554          $self->{column_prev} = $self->{column};
7555          $self->{column}++;
7556          $self->{nc}
7557              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7558        } else {
7559          $self->{set_nc}->($self);
7560        }
7561      
7562            return  ($self->{ct}); # ATTLIST
7563            redo A;
7564          } elsif ($self->{nc} == -1) {
7565            ## XML5: No parse error.
7566            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
7567            push @{$self->{ct}->{attrdefs}}, $self->{ca};
7568            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE; ## XML5: "Data state".
7569            
7570        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7571          $self->{line_prev} = $self->{line};
7572          $self->{column_prev} = $self->{column};
7573          $self->{column}++;
7574          $self->{nc}
7575              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7576        } else {
7577          $self->{set_nc}->($self);
7578        }
7579      
7580            return  ($self->{ct});
7581            redo A;
7582          } else {
7583            ## XML5: Not defined yet.
7584            if ($self->{ca}->{default} eq 'FIXED') {
7585              $self->{state} = ATTRIBUTE_VALUE_UNQUOTED_STATE;
7586            } else {
7587              push @{$self->{ct}->{attrdefs}}, $self->{ca};
7588              $self->{state} = DOCTYPE_ATTLIST_NAME_AFTER_STATE;
7589            }
7590            ## Reconsume.
7591            redo A;
7592          }
7593        } elsif ($self->{state} == AFTER_ATTLIST_ATTR_VALUE_QUOTED_STATE) {
7594          if ($is_space->{$self->{nc}} or
7595              $self->{nc} == -1 or
7596              $self->{nc} == 0x003E) { # >
7597            $self->{state} = DOCTYPE_ATTLIST_NAME_AFTER_STATE;
7598            ## Reconsume.
7599            redo A;
7600          } else {
7601            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no space before attr name'); ## TODO: type
7602            $self->{state} = DOCTYPE_ATTLIST_NAME_AFTER_STATE;
7603            ## Reconsume.
7604            redo A;
7605          }
7606        } elsif ($self->{state} == NDATA_STATE) {
7607          ## ASCII case-insensitive
7608          if ($self->{nc} == [
7609                undef,
7610                0x0044, # D
7611                0x0041, # A
7612                0x0054, # T
7613              ]->[length $self->{kwd}] or
7614              $self->{nc} == [
7615                undef,
7616                0x0064, # d
7617                0x0061, # a
7618                0x0074, # t
7619              ]->[length $self->{kwd}]) {
7620            
7621            ## Stay in the state.
7622            $self->{kwd} .= chr $self->{nc};
7623            
7624        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7625          $self->{line_prev} = $self->{line};
7626          $self->{column_prev} = $self->{column};
7627          $self->{column}++;
7628          $self->{nc}
7629              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7630        } else {
7631          $self->{set_nc}->($self);
7632        }
7633      
7634            redo A;
7635          } elsif ((length $self->{kwd}) == 4 and
7636                   ($self->{nc} == 0x0041 or # A
7637                    $self->{nc} == 0x0061)) { # a
7638            if ($self->{kwd} ne 'NDAT' or $self->{nc} == 0x0061) { # a
7639              
7640              $self->{parse_error}->(level => $self->{level}->{must}, type => 'lowercase keyword', ## TODO: type
7641                              text => 'NDATA',
7642                              line => $self->{line_prev},
7643                              column => $self->{column_prev} - 4);
7644            } else {
7645              
7646            }
7647            $self->{state} = AFTER_NDATA_STATE;
7648            
7649        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7650          $self->{line_prev} = $self->{line};
7651          $self->{column_prev} = $self->{column};
7652          $self->{column}++;
7653          $self->{nc}
7654              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7655        } else {
7656          $self->{set_nc}->($self);
7657        }
7658      
7659            redo A;
7660          } else {
7661            $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after literal', ## TODO: type
7662                            line => $self->{line_prev},
7663                            column => $self->{column_prev} + 1
7664                                - length $self->{kwd});
7665            
7666            $self->{state} = BOGUS_MD_STATE;
7667            ## Reconsume.
7668            redo A;
7669          }
7670        } elsif ($self->{state} == AFTER_NDATA_STATE) {
7671          if ($is_space->{$self->{nc}}) {
7672            $self->{state} = BEFORE_NOTATION_NAME_STATE;
7673            
7674        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7675          $self->{line_prev} = $self->{line};
7676          $self->{column_prev} = $self->{column};
7677          $self->{column}++;
7678          $self->{nc}
7679              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7680        } else {
7681          $self->{set_nc}->($self);
7682        }
7683      
7684            redo A;
7685          } elsif ($self->{nc} == 0x003E) { # >
7686            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no notation name'); ## TODO: type
7687            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7688            
7689        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7690          $self->{line_prev} = $self->{line};
7691          $self->{column_prev} = $self->{column};
7692          $self->{column}++;
7693          $self->{nc}
7694              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7695        } else {
7696          $self->{set_nc}->($self);
7697        }
7698      
7699            return  ($self->{ct}); # ENTITY
7700            redo A;
7701          } elsif ($self->{nc} == -1) {
7702            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
7703            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7704            
7705        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7706          $self->{line_prev} = $self->{line};
7707          $self->{column_prev} = $self->{column};
7708          $self->{column}++;
7709          $self->{nc}
7710              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7711        } else {
7712          $self->{set_nc}->($self);
7713        }
7714      
7715            return  ($self->{ct}); # ENTITY
7716            redo A;
7717          } else {
7718            $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after literal', ## TODO: type
7719                            line => $self->{line_prev},
7720                            column => $self->{column_prev} + 1
7721                                - length $self->{kwd});
7722            $self->{state} = BOGUS_MD_STATE;
7723            ## Reconsume.
7724            redo A;
7725          }
7726        } elsif ($self->{state} == BEFORE_NOTATION_NAME_STATE) {
7727          if ($is_space->{$self->{nc}}) {
7728            ## Stay in the state.
7729            
7730        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7731          $self->{line_prev} = $self->{line};
7732          $self->{column_prev} = $self->{column};
7733          $self->{column}++;
7734          $self->{nc}
7735              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7736        } else {
7737          $self->{set_nc}->($self);
7738        }
7739      
7740            redo A;
7741          } elsif ($self->{nc} == 0x003E) { # >
7742            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no notation name'); ## TODO: type
7743            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7744            
7745        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7746          $self->{line_prev} = $self->{line};
7747          $self->{column_prev} = $self->{column};
7748          $self->{column}++;
7749          $self->{nc}
7750              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7751        } else {
7752          $self->{set_nc}->($self);
7753        }
7754      
7755            return  ($self->{ct}); # ENTITY
7756            redo A;
7757          } elsif ($self->{nc} == -1) {
7758            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
7759            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7760            
7761        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7762          $self->{line_prev} = $self->{line};
7763          $self->{column_prev} = $self->{column};
7764          $self->{column}++;
7765          $self->{nc}
7766              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7767        } else {
7768          $self->{set_nc}->($self);
7769        }
7770      
7771            return  ($self->{ct}); # ENTITY
7772            redo A;
7773          } else {
7774            $self->{ct}->{notation} = chr $self->{nc}; # ENTITY
7775            $self->{state} = NOTATION_NAME_STATE;
7776            
7777        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7778          $self->{line_prev} = $self->{line};
7779          $self->{column_prev} = $self->{column};
7780          $self->{column}++;
7781          $self->{nc}
7782              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7783        } else {
7784          $self->{set_nc}->($self);
7785        }
7786      
7787            redo A;
7788          }
7789        } elsif ($self->{state} == NOTATION_NAME_STATE) {
7790          if ($is_space->{$self->{nc}}) {
7791            $self->{state} = AFTER_MD_DEF_STATE;
7792            
7793        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7794          $self->{line_prev} = $self->{line};
7795          $self->{column_prev} = $self->{column};
7796          $self->{column}++;
7797          $self->{nc}
7798              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7799        } else {
7800          $self->{set_nc}->($self);
7801        }
7802      
7803            redo A;
7804          } elsif ($self->{nc} == 0x003E) { # >
7805            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7806            
7807        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7808          $self->{line_prev} = $self->{line};
7809          $self->{column_prev} = $self->{column};
7810          $self->{column}++;
7811          $self->{nc}
7812              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7813        } else {
7814          $self->{set_nc}->($self);
7815        }
7816      
7817            return  ($self->{ct}); # ENTITY
7818            redo A;
7819          } elsif ($self->{nc} == -1) {
7820            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
7821            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7822            
7823        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7824          $self->{line_prev} = $self->{line};
7825          $self->{column_prev} = $self->{column};
7826          $self->{column}++;
7827          $self->{nc}
7828              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7829        } else {
7830          $self->{set_nc}->($self);
7831        }
7832      
7833            return  ($self->{ct}); # ENTITY
7834            redo A;
7835          } else {
7836            $self->{ct}->{notation} .= chr $self->{nc}; # ENTITY
7837            ## Stay in the state.
7838            
7839        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7840          $self->{line_prev} = $self->{line};
7841          $self->{column_prev} = $self->{column};
7842          $self->{column}++;
7843          $self->{nc}
7844              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7845        } else {
7846          $self->{set_nc}->($self);
7847        }
7848      
7849            redo A;
7850          }
7851        } elsif ($self->{state} == DOCTYPE_ENTITY_VALUE_DOUBLE_QUOTED_STATE) {
7852          if ($self->{nc} == 0x0022) { # "
7853            $self->{state} = AFTER_MD_DEF_STATE;
7854            
7855        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7856          $self->{line_prev} = $self->{line};
7857          $self->{column_prev} = $self->{column};
7858          $self->{column}++;
7859          $self->{nc}
7860              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7861        } else {
7862          $self->{set_nc}->($self);
7863        }
7864      
7865            redo A;
7866          } elsif ($self->{nc} == 0x0026) { # &
7867            $self->{prev_state} = $self->{state};
7868            $self->{state} = ENTITY_VALUE_ENTITY_STATE;
7869            $self->{entity_add} = 0x0022; # "
7870            
7871        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7872          $self->{line_prev} = $self->{line};
7873          $self->{column_prev} = $self->{column};
7874          $self->{column}++;
7875          $self->{nc}
7876              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7877        } else {
7878          $self->{set_nc}->($self);
7879        }
7880      
7881            redo A;
7882    ## TODO: %
7883          } elsif ($self->{nc} == -1) {
7884            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed entity value'); ## TODO: type
7885            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7886            ## Reconsume.
7887            return  ($self->{ct}); # ENTITY
7888            redo A;
7889          } else {
7890            $self->{ct}->{value} .= chr $self->{nc}; # ENTITY
7891            
7892        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7893          $self->{line_prev} = $self->{line};
7894          $self->{column_prev} = $self->{column};
7895          $self->{column}++;
7896          $self->{nc}
7897              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7898        } else {
7899          $self->{set_nc}->($self);
7900        }
7901      
7902            redo A;
7903          }
7904        } elsif ($self->{state} == DOCTYPE_ENTITY_VALUE_SINGLE_QUOTED_STATE) {
7905          if ($self->{nc} == 0x0027) { # '
7906            $self->{state} = AFTER_MD_DEF_STATE;
7907            
7908        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7909          $self->{line_prev} = $self->{line};
7910          $self->{column_prev} = $self->{column};
7911          $self->{column}++;
7912          $self->{nc}
7913              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7914        } else {
7915          $self->{set_nc}->($self);
7916        }
7917      
7918            redo A;
7919          } elsif ($self->{nc} == 0x0026) { # &
7920            $self->{prev_state} = $self->{state};
7921            $self->{state} = ENTITY_VALUE_ENTITY_STATE;
7922            $self->{entity_add} = 0x0027; # '
7923            
7924        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7925          $self->{line_prev} = $self->{line};
7926          $self->{column_prev} = $self->{column};
7927          $self->{column}++;
7928          $self->{nc}
7929              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7930        } else {
7931          $self->{set_nc}->($self);
7932        }
7933      
7934            redo A;
7935    ## TODO: %
7936          } elsif ($self->{nc} == -1) {
7937            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed entity value'); ## TODO: type
7938            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
7939            ## Reconsume.
7940            return  ($self->{ct}); # ENTITY
7941            redo A;
7942          } else {
7943            $self->{ct}->{value} .= chr $self->{nc}; # ENTITY
7944            
7945        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7946          $self->{line_prev} = $self->{line};
7947          $self->{column_prev} = $self->{column};
7948          $self->{column}++;
7949          $self->{nc}
7950              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7951        } else {
7952          $self->{set_nc}->($self);
7953        }
7954      
7955            redo A;
7956          }
7957        } elsif ($self->{state} == ENTITY_VALUE_ENTITY_STATE) {
7958          if ($is_space->{$self->{nc}} or
7959              {
7960                0x003C => 1, 0x0026 => 1, -1 => 1, # <, &
7961                $self->{entity_add} => 1,
7962              }->{$self->{nc}}) {
7963            $self->{parse_error}->(level => $self->{level}->{must}, type => 'bare ero',
7964                            line => $self->{line_prev},
7965                            column => $self->{column_prev}
7966                                + ($self->{nc} == -1 ? 1 : 0));
7967            ## Don't consume
7968            ## Return nothing.
7969            #
7970          } elsif ($self->{nc} == 0x0023) { # #
7971            $self->{ca} = $self->{ct};
7972            $self->{state} = ENTITY_HASH_STATE;
7973            $self->{kwd} = '#';
7974            
7975        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7976          $self->{line_prev} = $self->{line};
7977          $self->{column_prev} = $self->{column};
7978          $self->{column}++;
7979          $self->{nc}
7980              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
7981        } else {
7982          $self->{set_nc}->($self);
7983        }
7984      
7985            redo A;
7986          } else {
7987            #
7988          }
7989    
7990          $self->{ct}->{value} .= '&';
7991          $self->{state} = $self->{prev_state};
7992          ## Reconsume.
7993          redo A;
7994        } elsif ($self->{state} == AFTER_ELEMENT_NAME_STATE) {
7995          if ($is_space->{$self->{nc}}) {
7996            $self->{state} = BEFORE_ELEMENT_CONTENT_STATE;
7997            
7998        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
7999          $self->{line_prev} = $self->{line};
8000          $self->{column_prev} = $self->{column};
8001          $self->{column}++;
8002          $self->{nc}
8003              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8004        } else {
8005          $self->{set_nc}->($self);
8006        }
8007      
8008            redo A;
8009          } elsif ($self->{nc} == 0x0028) { # (
8010            $self->{state} = AFTER_CM_GROUP_OPEN_STATE;
8011            $self->{ct}->{content} = ['('];
8012            $self->{group_depth} = 1;
8013            
8014        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8015          $self->{line_prev} = $self->{line};
8016          $self->{column_prev} = $self->{column};
8017          $self->{column}++;
8018          $self->{nc}
8019              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8020        } else {
8021          $self->{set_nc}->($self);
8022        }
8023      
8024            redo A;
8025          } elsif ($self->{nc} == 0x003E) { # >
8026            $self->{parse_error}->(level => $self->{level}->{must}, type => 'no md def'); ## TODO: type
8027            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8028            
8029        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8030          $self->{line_prev} = $self->{line};
8031          $self->{column_prev} = $self->{column};
8032          $self->{column}++;
8033          $self->{nc}
8034              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8035        } else {
8036          $self->{set_nc}->($self);
8037        }
8038      
8039            return  ($self->{ct}); # ELEMENT
8040            redo A;
8041          } elsif ($self->{nc} == -1) {
8042            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
8043            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8044            
8045        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8046          $self->{line_prev} = $self->{line};
8047          $self->{column_prev} = $self->{column};
8048          $self->{column}++;
8049          $self->{nc}
8050              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8051        } else {
8052          $self->{set_nc}->($self);
8053        }
8054      
8055            return  ($self->{ct}); # ELEMENT
8056            redo A;
8057          } else {
8058            $self->{ct}->{content} = [chr $self->{nc}];
8059            $self->{state} = CONTENT_KEYWORD_STATE;
8060            
8061        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8062          $self->{line_prev} = $self->{line};
8063          $self->{column_prev} = $self->{column};
8064          $self->{column}++;
8065          $self->{nc}
8066              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8067        } else {
8068          $self->{set_nc}->($self);
8069        }
8070      
8071            redo A;
8072          }
8073        } elsif ($self->{state} == CONTENT_KEYWORD_STATE) {
8074          if ($is_space->{$self->{nc}}) {
8075            $self->{state} = AFTER_MD_DEF_STATE;
8076            
8077        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8078          $self->{line_prev} = $self->{line};
8079          $self->{column_prev} = $self->{column};
8080          $self->{column}++;
8081          $self->{nc}
8082              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8083        } else {
8084          $self->{set_nc}->($self);
8085        }
8086      
8087            redo A;
8088          } elsif ($self->{nc} == 0x003E) { # >
8089            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8090            
8091        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8092          $self->{line_prev} = $self->{line};
8093          $self->{column_prev} = $self->{column};
8094          $self->{column}++;
8095          $self->{nc}
8096              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8097        } else {
8098          $self->{set_nc}->($self);
8099        }
8100      
8101            return  ($self->{ct}); # ELEMENT
8102            redo A;
8103          } elsif ($self->{nc} == -1) {
8104            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
8105            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8106            
8107        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8108          $self->{line_prev} = $self->{line};
8109          $self->{column_prev} = $self->{column};
8110          $self->{column}++;
8111          $self->{nc}
8112              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8113        } else {
8114          $self->{set_nc}->($self);
8115        }
8116      
8117            return  ($self->{ct}); # ELEMENT
8118            redo A;
8119          } else {
8120            $self->{ct}->{content}->[-1] .= chr $self->{nc}; # ELEMENT
8121            ## Stay in the state.
8122            
8123        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8124          $self->{line_prev} = $self->{line};
8125          $self->{column_prev} = $self->{column};
8126          $self->{column}++;
8127          $self->{nc}
8128              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8129        } else {
8130          $self->{set_nc}->($self);
8131        }
8132      
8133            redo A;
8134          }
8135        } elsif ($self->{state} == AFTER_CM_GROUP_OPEN_STATE) {
8136          if ($is_space->{$self->{nc}}) {
8137            ## Stay in the state.
8138            
8139        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8140          $self->{line_prev} = $self->{line};
8141          $self->{column_prev} = $self->{column};
8142          $self->{column}++;
8143          $self->{nc}
8144              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8145        } else {
8146          $self->{set_nc}->($self);
8147        }
8148      
8149            redo A;
8150          } elsif ($self->{nc} == 0x0028) { # (
8151            $self->{group_depth}++;
8152            push @{$self->{ct}->{content}}, chr $self->{nc};
8153            ## Stay in the state.
8154            
8155        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8156          $self->{line_prev} = $self->{line};
8157          $self->{column_prev} = $self->{column};
8158          $self->{column}++;
8159          $self->{nc}
8160              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8161        } else {
8162          $self->{set_nc}->($self);
8163        }
8164      
8165            redo A;
8166          } elsif ($self->{nc} == 0x007C or # |
8167                   $self->{nc} == 0x002C) { # ,
8168            $self->{parse_error}->(level => $self->{level}->{must}, type => 'empty element name'); ## TODO: type
8169            ## Stay in the state.
8170            
8171        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8172          $self->{line_prev} = $self->{line};
8173          $self->{column_prev} = $self->{column};
8174          $self->{column}++;
8175          $self->{nc}
8176              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8177        } else {
8178          $self->{set_nc}->($self);
8179        }
8180      
8181            redo A;
8182          } elsif ($self->{nc} == 0x0029) { # )
8183            $self->{parse_error}->(level => $self->{level}->{must}, type => 'empty element name'); ## TODO: type
8184            push @{$self->{ct}->{content}}, chr $self->{nc};
8185            $self->{group_depth}--;
8186            $self->{state} = AFTER_CM_GROUP_CLOSE_STATE;
8187            
8188        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8189          $self->{line_prev} = $self->{line};
8190          $self->{column_prev} = $self->{column};
8191          $self->{column}++;
8192          $self->{nc}
8193              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8194        } else {
8195          $self->{set_nc}->($self);
8196        }
8197      
8198            redo A;
8199          } elsif ($self->{nc} == 0x003E) { # >
8200            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed cm group'); ## TODO: type
8201            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8202            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8203            
8204        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8205          $self->{line_prev} = $self->{line};
8206          $self->{column_prev} = $self->{column};
8207          $self->{column}++;
8208          $self->{nc}
8209              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8210        } else {
8211          $self->{set_nc}->($self);
8212        }
8213      
8214            return  ($self->{ct}); # ELEMENT
8215            redo A;
8216          } elsif ($self->{nc} == -1) {
8217            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
8218            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8219            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8220            
8221        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8222          $self->{line_prev} = $self->{line};
8223          $self->{column_prev} = $self->{column};
8224          $self->{column}++;
8225          $self->{nc}
8226              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8227        } else {
8228          $self->{set_nc}->($self);
8229        }
8230      
8231            return  ($self->{ct}); # ELEMENT
8232            redo A;
8233          } else {
8234            push @{$self->{ct}->{content}}, chr $self->{nc};
8235            $self->{state} = CM_ELEMENT_NAME_STATE;
8236            
8237        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8238          $self->{line_prev} = $self->{line};
8239          $self->{column_prev} = $self->{column};
8240          $self->{column}++;
8241          $self->{nc}
8242              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8243        } else {
8244          $self->{set_nc}->($self);
8245        }
8246      
8247            redo A;
8248          }
8249        } elsif ($self->{state} == CM_ELEMENT_NAME_STATE) {
8250          if ($is_space->{$self->{nc}}) {
8251            $self->{state} = AFTER_CM_ELEMENT_NAME_STATE;
8252            
8253        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8254          $self->{line_prev} = $self->{line};
8255          $self->{column_prev} = $self->{column};
8256          $self->{column}++;
8257          $self->{nc}
8258              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8259        } else {
8260          $self->{set_nc}->($self);
8261        }
8262      
8263            redo A;
8264          } elsif ($self->{nc} == 0x002A or # *
8265                   $self->{nc} == 0x002B or # +
8266                   $self->{nc} == 0x003F) { # ?
8267            push @{$self->{ct}->{content}}, chr $self->{nc};
8268            $self->{state} = AFTER_CM_ELEMENT_NAME_STATE;
8269            
8270        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8271          $self->{line_prev} = $self->{line};
8272          $self->{column_prev} = $self->{column};
8273          $self->{column}++;
8274          $self->{nc}
8275              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8276        } else {
8277          $self->{set_nc}->($self);
8278        }
8279      
8280            redo A;
8281          } elsif ($self->{nc} == 0x007C or # |
8282                   $self->{nc} == 0x002C) { # ,
8283            push @{$self->{ct}->{content}}, $self->{nc} == 0x007C ? ' | ' : ', ';
8284            $self->{state} = AFTER_CM_GROUP_OPEN_STATE;
8285            
8286        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8287          $self->{line_prev} = $self->{line};
8288          $self->{column_prev} = $self->{column};
8289          $self->{column}++;
8290          $self->{nc}
8291              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8292        } else {
8293          $self->{set_nc}->($self);
8294        }
8295      
8296            redo A;
8297          } elsif ($self->{nc} == 0x0029) { # )
8298            $self->{group_depth}--;
8299            push @{$self->{ct}->{content}}, chr $self->{nc};
8300            $self->{state} = AFTER_CM_GROUP_CLOSE_STATE;
8301            
8302        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8303          $self->{line_prev} = $self->{line};
8304          $self->{column_prev} = $self->{column};
8305          $self->{column}++;
8306          $self->{nc}
8307              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8308        } else {
8309          $self->{set_nc}->($self);
8310        }
8311      
8312            redo A;
8313          } elsif ($self->{nc} == 0x003E) { # >
8314            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed cm group'); ## TODO: type
8315            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8316            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8317            
8318        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8319          $self->{line_prev} = $self->{line};
8320          $self->{column_prev} = $self->{column};
8321          $self->{column}++;
8322          $self->{nc}
8323              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8324        } else {
8325          $self->{set_nc}->($self);
8326        }
8327      
8328            return  ($self->{ct}); # ELEMENT
8329            redo A;
8330          } elsif ($self->{nc} == -1) {
8331            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
8332            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8333            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8334            
8335        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8336          $self->{line_prev} = $self->{line};
8337          $self->{column_prev} = $self->{column};
8338          $self->{column}++;
8339          $self->{nc}
8340              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8341        } else {
8342          $self->{set_nc}->($self);
8343        }
8344      
8345            return  ($self->{ct}); # ELEMENT
8346            redo A;
8347          } else {
8348            $self->{ct}->{content}->[-1] .= chr $self->{nc};
8349            ## Stay in the state.
8350            
8351        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8352          $self->{line_prev} = $self->{line};
8353          $self->{column_prev} = $self->{column};
8354          $self->{column}++;
8355          $self->{nc}
8356              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8357        } else {
8358          $self->{set_nc}->($self);
8359        }
8360      
8361            redo A;
8362          }
8363        } elsif ($self->{state} == AFTER_CM_ELEMENT_NAME_STATE) {
8364          if ($is_space->{$self->{nc}}) {
8365            ## Stay in the state.
8366            
8367        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8368          $self->{line_prev} = $self->{line};
8369          $self->{column_prev} = $self->{column};
8370          $self->{column}++;
8371          $self->{nc}
8372              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8373        } else {
8374          $self->{set_nc}->($self);
8375        }
8376      
8377            redo A;
8378          } elsif ($self->{nc} == 0x007C or # |
8379                   $self->{nc} == 0x002C) { # ,
8380            push @{$self->{ct}->{content}}, $self->{nc} == 0x007C ? ' | ' : ', ';
8381            $self->{state} = AFTER_CM_GROUP_OPEN_STATE;
8382            
8383        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8384          $self->{line_prev} = $self->{line};
8385          $self->{column_prev} = $self->{column};
8386          $self->{column}++;
8387          $self->{nc}
8388              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8389        } else {
8390          $self->{set_nc}->($self);
8391        }
8392      
8393            redo A;
8394          } elsif ($self->{nc} == 0x0029) { # )
8395            $self->{group_depth}--;
8396            push @{$self->{ct}->{content}}, chr $self->{nc};
8397            $self->{state} = AFTER_CM_GROUP_CLOSE_STATE;
8398            
8399        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8400          $self->{line_prev} = $self->{line};
8401          $self->{column_prev} = $self->{column};
8402          $self->{column}++;
8403          $self->{nc}
8404              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8405        } else {
8406          $self->{set_nc}->($self);
8407        }
8408      
8409            redo A;
8410          } elsif ($self->{nc} == 0x003E) { # >
8411            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed cm group'); ## TODO: type
8412            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8413            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8414            
8415        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8416          $self->{line_prev} = $self->{line};
8417          $self->{column_prev} = $self->{column};
8418          $self->{column}++;
8419          $self->{nc}
8420              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8421        } else {
8422          $self->{set_nc}->($self);
8423        }
8424      
8425            return  ($self->{ct}); # ELEMENT
8426            redo A;
8427          } elsif ($self->{nc} == -1) {
8428            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
8429            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8430            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8431            
8432        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8433          $self->{line_prev} = $self->{line};
8434          $self->{column_prev} = $self->{column};
8435          $self->{column}++;
8436          $self->{nc}
8437              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8438        } else {
8439          $self->{set_nc}->($self);
8440        }
8441      
8442            return  ($self->{ct}); # ELEMENT
8443            redo A;
8444          } else {
8445            $self->{parse_error}->(level => $self->{level}->{must}, type => 'after element name'); ## TODO: type
8446            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8447            $self->{state} = BOGUS_MD_STATE;
8448            
8449        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8450          $self->{line_prev} = $self->{line};
8451          $self->{column_prev} = $self->{column};
8452          $self->{column}++;
8453          $self->{nc}
8454              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8455        } else {
8456          $self->{set_nc}->($self);
8457        }
8458      
8459            redo A;
8460          }
8461        } elsif ($self->{state} == AFTER_CM_GROUP_CLOSE_STATE) {
8462          if ($is_space->{$self->{nc}}) {
8463            if ($self->{group_depth}) {
8464              $self->{state} = AFTER_CM_ELEMENT_NAME_STATE;
8465            } else {
8466              $self->{state} = AFTER_MD_DEF_STATE;
8467            }
8468            
8469        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8470          $self->{line_prev} = $self->{line};
8471          $self->{column_prev} = $self->{column};
8472          $self->{column}++;
8473          $self->{nc}
8474              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8475        } else {
8476          $self->{set_nc}->($self);
8477        }
8478      
8479            redo A;
8480          } elsif ($self->{nc} == 0x002A or # *
8481                   $self->{nc} == 0x002B or # +
8482                   $self->{nc} == 0x003F) { # ?
8483            push @{$self->{ct}->{content}}, chr $self->{nc};
8484            if ($self->{group_depth}) {
8485              $self->{state} = AFTER_CM_ELEMENT_NAME_STATE;
8486            } else {
8487              $self->{state} = AFTER_MD_DEF_STATE;
8488            }
8489            
8490        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8491          $self->{line_prev} = $self->{line};
8492          $self->{column_prev} = $self->{column};
8493          $self->{column}++;
8494          $self->{nc}
8495              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8496        } else {
8497          $self->{set_nc}->($self);
8498        }
8499      
8500            redo A;
8501          } elsif ($self->{nc} == 0x0029) { # )
8502            if ($self->{group_depth}) {
8503              $self->{group_depth}--;
8504              push @{$self->{ct}->{content}}, chr $self->{nc};
8505              ## Stay in the state.
8506              
8507        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8508          $self->{line_prev} = $self->{line};
8509          $self->{column_prev} = $self->{column};
8510          $self->{column}++;
8511          $self->{nc}
8512              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8513        } else {
8514          $self->{set_nc}->($self);
8515        }
8516      
8517              redo A;
8518            } else {
8519              $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after md def'); ## TODO: type
8520              $self->{state} = BOGUS_MD_STATE;
8521              ## Reconsume.
8522              redo A;
8523            }
8524          } elsif ($self->{nc} == 0x003E) { # >
8525            if ($self->{group_depth}) {
8526              $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed cm group'); ## TODO: type
8527              push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8528            }
8529            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8530            
8531        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8532          $self->{line_prev} = $self->{line};
8533          $self->{column_prev} = $self->{column};
8534          $self->{column}++;
8535          $self->{nc}
8536              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8537        } else {
8538          $self->{set_nc}->($self);
8539        }
8540      
8541            return  ($self->{ct}); # ELEMENT
8542            redo A;
8543          } elsif ($self->{nc} == -1) {
8544            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
8545            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
8546            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8547            
8548        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8549          $self->{line_prev} = $self->{line};
8550          $self->{column_prev} = $self->{column};
8551          $self->{column}++;
8552          $self->{nc}
8553              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8554        } else {
8555          $self->{set_nc}->($self);
8556        }
8557      
8558            return  ($self->{ct}); # ELEMENT
8559            redo A;
8560          } else {
8561            if ($self->{group_depth}) {
8562              $self->{state} = AFTER_CM_ELEMENT_NAME_STATE;
8563            } else {
8564              $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after md def'); ## TODO: type
8565              $self->{state} = BOGUS_MD_STATE;
8566            }
8567            ## Reconsume.
8568            redo A;
8569          }
8570        } elsif ($self->{state} == AFTER_MD_DEF_STATE) {
8571          if ($is_space->{$self->{nc}}) {
8572            ## Stay in the state.
8573            
8574        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8575          $self->{line_prev} = $self->{line};
8576          $self->{column_prev} = $self->{column};
8577          $self->{column}++;
8578          $self->{nc}
8579              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8580        } else {
8581          $self->{set_nc}->($self);
8582        }
8583      
8584            redo A;
8585          } elsif ($self->{nc} == 0x003E) { # >
8586            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8587            
8588        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8589          $self->{line_prev} = $self->{line};
8590          $self->{column_prev} = $self->{column};
8591          $self->{column}++;
8592          $self->{nc}
8593              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8594        } else {
8595          $self->{set_nc}->($self);
8596        }
8597      
8598            return  ($self->{ct}); # ENTITY/ELEMENT
8599            redo A;
8600          } elsif ($self->{nc} == -1) {
8601            $self->{parse_error}->(level => $self->{level}->{must}, type => 'unclosed md'); ## TODO: type
8602            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8603            
8604        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8605          $self->{line_prev} = $self->{line};
8606          $self->{column_prev} = $self->{column};
8607          $self->{column}++;
8608          $self->{nc}
8609              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8610        } else {
8611          $self->{set_nc}->($self);
8612        }
8613      
8614            return  ($self->{ct}); # ENTITY/ELEMENT
8615            redo A;
8616          } else {
8617            $self->{parse_error}->(level => $self->{level}->{must}, type => 'string after md def'); ## TODO: type
8618            $self->{state} = BOGUS_MD_STATE;
8619            ## Reconsume.
8620            redo A;
8621          }
8622        } elsif ($self->{state} == BOGUS_MD_STATE) {
8623          if ($self->{nc} == 0x003E) { # >
8624            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8625            
8626        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8627          $self->{line_prev} = $self->{line};
8628          $self->{column_prev} = $self->{column};
8629          $self->{column}++;
8630          $self->{nc}
8631              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8632        } else {
8633          $self->{set_nc}->($self);
8634        }
8635      
8636            return  ($self->{ct}); # ATTLIST/ENTITY/NOTATION
8637            redo A;
8638          } elsif ($self->{nc} == -1) {
8639            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
8640            ## Reconsume.
8641            return  ($self->{ct}); # ATTLIST/ENTITY/NOTATION
8642            redo A;
8643          } else {
8644            ## Stay in the state.
8645            
8646        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
8647          $self->{line_prev} = $self->{line};
8648          $self->{column_prev} = $self->{column};
8649          $self->{column}++;
8650          $self->{nc}
8651              = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
8652        } else {
8653          $self->{set_nc}->($self);
8654        }
8655      
8656            redo A;
8657          }
8658      } else {      } else {
8659        die "$0: $self->{state}: Unknown state";        die "$0: $self->{state}: Unknown state";
8660      }      }
# Line 5853  sub _get_next_token ($) { Line 8665  sub _get_next_token ($) {
8665    
8666  1;  1;
8667  ## $Date$  ## $Date$
8668                                    
Legend:
Removed from v.1.14  
changed lines
  Added in v.1.28
admin@suikawiki.org
 ViewVC Help
Powered by ViewVC 1.1.24