/[suikacvs]/markup/html/whatpm/Whatpm/HTML/Tokenizer.pm.src
Suika

Diff of /markup/html/whatpm/Whatpm/HTML/Tokenizer.pm.src

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 1.15 by wakaba, Sat Oct 18 08:05:29 2008 UTC revision 1.23 by wakaba, Sun Oct 19 13:43:55 2008 UTC
# Line 177  sub DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATIO Line 177  sub DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATIO
177  sub DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_STATE () { 82 }  sub DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_STATE () { 82 }
178  sub DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_AFTER_STATE () { 83 }  sub DOCTYPE_ATTLIST_ATTRIBUTE_DECLARATION_AFTER_STATE () { 83 }
179  sub AFTER_ATTLIST_ATTR_VALUE_QUOTED_STATE () { 84 }  sub AFTER_ATTLIST_ATTR_VALUE_QUOTED_STATE () { 84 }
180    sub BEFORE_NDATA_STATE () { 85 }
181    sub NDATA_STATE () { 86 }
182    sub AFTER_NDATA_STATE () { 87 }
183    sub BEFORE_NOTATION_NAME_STATE () { 88 }
184    sub NOTATION_NAME_STATE () { 89 }
185    sub DOCTYPE_ENTITY_VALUE_DOUBLE_QUOTED_STATE () { 90 }
186    sub DOCTYPE_ENTITY_VALUE_SINGLE_QUOTED_STATE () { 91 }
187    sub ENTITY_VALUE_ENTITY_STATE () { 92 }
188    sub AFTER_ELEMENT_NAME_STATE () { 93 }
189    sub BEFORE_ELEMENT_CONTENT_STATE () { 94 }
190    sub CONTENT_KEYWORD_STATE () { 95 }
191    sub AFTER_CM_GROUP_OPEN_STATE () { 96 }
192    sub CM_ELEMENT_NAME_STATE () { 97 }
193    sub AFTER_CM_ELEMENT_NAME_STATE () { 98 }
194    sub AFTER_CM_GROUP_CLOSE_STATE () { 99 }
195    sub AFTER_MD_DEF_STATE () { 100 }
196    sub BOGUS_MD_STATE () { 101 }
197    
198  ## Tree constructor state constants (see Whatpm::HTML for the full  ## Tree constructor state constants (see Whatpm::HTML for the full
199  ## list and descriptions)  ## list and descriptions)
# Line 2212  sub _get_next_token ($) { Line 2229  sub _get_next_token ($) {
2229          !!!next-input-character;          !!!next-input-character;
2230          redo A;          redo A;
2231        } elsif ($self->{nc} == 0x003E) { # >        } elsif ($self->{nc} == 0x003E) { # >
2232          !!!cp (166);          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2233          $self->{state} = DATA_STATE;            !!!cp (166);
2234          $self->{s_kwd} = '';            $self->{state} = DATA_STATE;
2235              $self->{s_kwd} = '';
2236            } else {
2237              !!!cp (166.1);
2238              !!!parse-error (type => 'no md def'); ## TODO: type
2239              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2240            }
2241            
2242          !!!next-input-character;          !!!next-input-character;
2243            !!!emit ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         !!!emit ($self->{ct}); # DOCTYPE  
   
2244          redo A;          redo A;
2245        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
2246          !!!cp (167);          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2247          !!!parse-error (type => 'unclosed DOCTYPE');            !!!cp (167);
2248          $self->{state} = DATA_STATE;            !!!parse-error (type => 'unclosed DOCTYPE');
2249          $self->{s_kwd} = '';            $self->{state} = DATA_STATE;
2250          ## reconsume            $self->{s_kwd} = '';
2251              $self->{ct}->{quirks} = 1;
2252          $self->{ct}->{quirks} = 1;          } else {
2253          !!!emit ($self->{ct}); # DOCTYPE            !!!cp (167.12);
2254              !!!parse-error (type => 'unclosed md'); ## TODO: type
2255              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2256            }
2257            
2258            ## Reconsume.
2259            !!!emit ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
2260          redo A;          redo A;
2261        } elsif ($self->{nc} == 0x0050 or # P        } elsif ($self->{nc} == 0x0050 or # P
2262                 $self->{nc} == 0x0070) { # p                 $self->{nc} == 0x0070) { # p
# Line 2245  sub _get_next_token ($) { Line 2272  sub _get_next_token ($) {
2272          $self->{kwd} = chr $self->{nc};          $self->{kwd} = chr $self->{nc};
2273          !!!next-input-character;          !!!next-input-character;
2274          redo A;          redo A;
2275        } elsif ($self->{is_xml} and $self->{nc} == 0x005B) { # [        } elsif ($self->{nc} == 0x0022 and # "
2276                   ($self->{ct}->{type} == GENERAL_ENTITY_TOKEN or
2277                    $self->{ct}->{type} == PARAMETER_ENTITY_TOKEN)) {
2278            !!!cp (167.21);
2279            $self->{state} = DOCTYPE_ENTITY_VALUE_DOUBLE_QUOTED_STATE;
2280            $self->{ct}->{value} = ''; # ENTITY
2281            !!!next-input-character;
2282            redo A;
2283          } elsif ($self->{nc} == 0x0027 and # '
2284                   ($self->{ct}->{type} == GENERAL_ENTITY_TOKEN or
2285                    $self->{ct}->{type} == PARAMETER_ENTITY_TOKEN)) {
2286            !!!cp (167.22);
2287            $self->{state} = DOCTYPE_ENTITY_VALUE_SINGLE_QUOTED_STATE;
2288            $self->{ct}->{value} = ''; # ENTITY
2289            !!!next-input-character;
2290            redo A;
2291          } elsif ($self->{is_xml} and
2292                   $self->{ct}->{type} == DOCTYPE_TOKEN and
2293                   $self->{nc} == 0x005B) { # [
2294          !!!cp (167.3);          !!!cp (167.3);
2295          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2296          $self->{ct}->{has_internal_subset} = 1; # DOCTYPE          $self->{ct}->{has_internal_subset} = 1; # DOCTYPE
# Line 2254  sub _get_next_token ($) { Line 2299  sub _get_next_token ($) {
2299          !!!emit ($self->{ct}); # DOCTYPE          !!!emit ($self->{ct}); # DOCTYPE
2300          redo A;          redo A;
2301        } else {        } else {
2302          !!!cp (180);          !!!parse-error (type => 'string after DOCTYPE name'); ## TODO: type
2303          !!!parse-error (type => 'string after DOCTYPE name');  
2304          $self->{ct}->{quirks} = 1;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2305              !!!cp (180);
2306              $self->{ct}->{quirks} = 1;
2307              $self->{state} = BOGUS_DOCTYPE_STATE;
2308            } else {
2309              !!!cp (180.1);
2310              $self->{state} = BOGUS_MD_STATE;
2311            }
2312    
         $self->{state} = BOGUS_DOCTYPE_STATE;  
2313          !!!next-input-character;          !!!next-input-character;
2314          redo A;          redo A;
2315        }        }
# Line 2300  sub _get_next_token ($) { Line 2351  sub _get_next_token ($) {
2351          !!!next-input-character;          !!!next-input-character;
2352          redo A;          redo A;
2353        } else {        } else {
2354          !!!cp (169);          !!!parse-error (type => 'string after DOCTYPE name', ## TODO: type
         !!!parse-error (type => 'string after DOCTYPE name',  
2355                          line => $self->{line_prev},                          line => $self->{line_prev},
2356                          column => $self->{column_prev} + 1 - length $self->{kwd});                          column => $self->{column_prev} + 1 - length $self->{kwd});
2357          $self->{ct}->{quirks} = 1;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2358              !!!cp (169);
2359          $self->{state} = BOGUS_DOCTYPE_STATE;            $self->{ct}->{quirks} = 1;
2360              $self->{state} = BOGUS_DOCTYPE_STATE;
2361            } else {
2362              !!!cp (169.1);
2363              $self->{state} = BOGUS_MD_STATE;
2364            }
2365          ## Reconsume.          ## Reconsume.
2366          redo A;          redo A;
2367        }        }
# Line 2348  sub _get_next_token ($) { Line 2403  sub _get_next_token ($) {
2403          !!!next-input-character;          !!!next-input-character;
2404          redo A;          redo A;
2405        } else {        } else {
2406          !!!cp (172);          !!!parse-error (type => 'string after DOCTYPE name', ## TODO: type
         !!!parse-error (type => 'string after DOCTYPE name',  
2407                          line => $self->{line_prev},                          line => $self->{line_prev},
2408                          column => $self->{column_prev} + 1 - length $self->{kwd});                          column => $self->{column_prev} + 1 - length $self->{kwd});
2409          $self->{ct}->{quirks} = 1;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2410              !!!cp (172);
2411          $self->{state} = BOGUS_DOCTYPE_STATE;            $self->{ct}->{quirks} = 1;
2412              $self->{state} = BOGUS_DOCTYPE_STATE;
2413            } else {
2414              !!!cp (172.1);
2415              $self->{state} = BOGUS_MD_STATE;
2416            }
2417          ## Reconsume.          ## Reconsume.
2418          redo A;          redo A;
2419        }        }
# Line 2377  sub _get_next_token ($) { Line 2436  sub _get_next_token ($) {
2436          !!!next-input-character;          !!!next-input-character;
2437          redo A;          redo A;
2438        } elsif ($self->{nc} eq 0x003E) { # >        } elsif ($self->{nc} eq 0x003E) { # >
         !!!cp (184);  
2439          !!!parse-error (type => 'no PUBLIC literal');          !!!parse-error (type => 'no PUBLIC literal');
2440            
2441          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2442          $self->{s_kwd} = '';            !!!cp (184);
2443              $self->{state} = DATA_STATE;
2444              $self->{s_kwd} = '';
2445              $self->{ct}->{quirks} = 1;
2446            } else {
2447              !!!cp (184.1);
2448              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2449            }
2450            
2451          !!!next-input-character;          !!!next-input-character;
2452            !!!emit ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         $self->{ct}->{quirks} = 1;  
         !!!emit ($self->{ct}); # DOCTYPE  
   
2453          redo A;          redo A;
2454        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
2455          !!!cp (185);          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2456          !!!parse-error (type => 'unclosed DOCTYPE');            !!!cp (185);
2457              !!!parse-error (type => 'unclosed DOCTYPE');
2458          $self->{state} = DATA_STATE;            $self->{state} = DATA_STATE;
2459          $self->{s_kwd} = '';            $self->{s_kwd} = '';
2460              $self->{ct}->{quirks} = 1;
2461            } else {
2462              !!!cp (185.1);
2463              !!!parse-error (type => 'unclosed md'); ## TODO: type
2464              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2465            }
2466            
2467          ## reconsume          ## reconsume
   
         $self->{ct}->{quirks} = 1;  
2468          !!!emit ($self->{ct}); # DOCTYPE          !!!emit ($self->{ct}); # DOCTYPE
   
2469          redo A;          redo A;
2470        } elsif ($self->{is_xml} and $self->{nc} == 0x005B) { # [        } elsif ($self->{is_xml} and
2471                   $self->{ct}->{type} == DOCTYPE_TOKEN and
2472                   $self->{nc} == 0x005B) { # [
2473          !!!cp (186.1);          !!!cp (186.1);
2474          !!!parse-error (type => 'no PUBLIC literal');          !!!parse-error (type => 'no PUBLIC literal');
2475          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
# Line 2410  sub _get_next_token ($) { Line 2479  sub _get_next_token ($) {
2479          !!!emit ($self->{ct}); # DOCTYPE          !!!emit ($self->{ct}); # DOCTYPE
2480          redo A;          redo A;
2481        } else {        } else {
         !!!cp (186);  
2482          !!!parse-error (type => 'string after PUBLIC');          !!!parse-error (type => 'string after PUBLIC');
         $self->{ct}->{quirks} = 1;  
2483    
2484          $self->{state} = BOGUS_DOCTYPE_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2485              !!!cp (186);
2486              $self->{ct}->{quirks} = 1;
2487              $self->{state} = BOGUS_DOCTYPE_STATE;
2488            } else {
2489              !!!cp (186.2);
2490              $self->{state} = BOGUS_MD_STATE;
2491            }
2492    
2493          !!!next-input-character;          !!!next-input-character;
2494          redo A;          redo A;
2495        }        }
# Line 2425  sub _get_next_token ($) { Line 2500  sub _get_next_token ($) {
2500          !!!next-input-character;          !!!next-input-character;
2501          redo A;          redo A;
2502        } elsif ($self->{nc} == 0x003E) { # >        } elsif ($self->{nc} == 0x003E) { # >
         !!!cp (188);  
2503          !!!parse-error (type => 'unclosed PUBLIC literal');          !!!parse-error (type => 'unclosed PUBLIC literal');
2504    
2505          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2506          $self->{s_kwd} = '';            !!!cp (188);
2507          !!!next-input-character;            $self->{state} = DATA_STATE;
2508              $self->{s_kwd} = '';
2509          $self->{ct}->{quirks} = 1;            $self->{ct}->{quirks} = 1;
2510          !!!emit ($self->{ct}); # DOCTYPE          } else {
2511              !!!cp (188.1);
2512              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2513            }
2514    
2515            !!!next-input-character;
2516            !!!emit ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
2517          redo A;          redo A;
2518        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
         !!!cp (189);  
2519          !!!parse-error (type => 'unclosed PUBLIC literal');          !!!parse-error (type => 'unclosed PUBLIC literal');
2520    
2521          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2522          $self->{s_kwd} = '';            !!!cp (189);
2523          ## reconsume            $self->{state} = DATA_STATE;
2524              $self->{s_kwd} = '';
2525          $self->{ct}->{quirks} = 1;            $self->{ct}->{quirks} = 1;
2526            } else {
2527              !!!cp (189.1);
2528              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2529            }
2530            
2531            ## Reconsume.
2532          !!!emit ($self->{ct}); # DOCTYPE          !!!emit ($self->{ct}); # DOCTYPE
   
2533          redo A;          redo A;
2534        } else {        } else {
2535          !!!cp (190);          !!!cp (190);
2536          $self->{ct}->{pubid} # DOCTYPE          $self->{ct}->{pubid} .= chr $self->{nc}; # DOCTYPE/ENTITY/NOTATION
             .= chr $self->{nc};  
2537          $self->{read_until}->($self->{ct}->{pubid}, q[">],          $self->{read_until}->($self->{ct}->{pubid}, q[">],
2538                                length $self->{ct}->{pubid});                                length $self->{ct}->{pubid});
2539    
# Line 2466  sub _get_next_token ($) { Line 2548  sub _get_next_token ($) {
2548          !!!next-input-character;          !!!next-input-character;
2549          redo A;          redo A;
2550        } elsif ($self->{nc} == 0x003E) { # >        } elsif ($self->{nc} == 0x003E) { # >
         !!!cp (192);  
2551          !!!parse-error (type => 'unclosed PUBLIC literal');          !!!parse-error (type => 'unclosed PUBLIC literal');
2552    
2553          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2554          $self->{s_kwd} = '';            !!!cp (192);
2555          !!!next-input-character;            $self->{state} = DATA_STATE;
2556              $self->{s_kwd} = '';
2557          $self->{ct}->{quirks} = 1;            $self->{ct}->{quirks} = 1;
2558          !!!emit ($self->{ct}); # DOCTYPE          } else {
2559              !!!cp (192.1);
2560              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2561            }
2562    
2563            !!!next-input-character;
2564            !!!emit ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
2565          redo A;          redo A;
2566        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
         !!!cp (193);  
2567          !!!parse-error (type => 'unclosed PUBLIC literal');          !!!parse-error (type => 'unclosed PUBLIC literal');
2568    
2569          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2570          $self->{s_kwd} = '';            !!!cp (193);
2571              $self->{state} = DATA_STATE;
2572              $self->{s_kwd} = '';
2573              $self->{ct}->{quirks} = 1;
2574            } else {
2575              !!!cp (193.1);
2576              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2577            }
2578          
2579          ## reconsume          ## reconsume
2580            !!!emit ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         $self->{ct}->{quirks} = 1;  
         !!!emit ($self->{ct}); # DOCTYPE  
   
2581          redo A;          redo A;
2582        } else {        } else {
2583          !!!cp (194);          !!!cp (194);
2584          $self->{ct}->{pubid} # DOCTYPE          $self->{ct}->{pubid} .= chr $self->{nc}; # DOCTYPE/ENTITY/NOTATION
             .= chr $self->{nc};  
2585          $self->{read_until}->($self->{ct}->{pubid}, q['>],          $self->{read_until}->($self->{ct}->{pubid}, q['>],
2586                                length $self->{ct}->{pubid});                                length $self->{ct}->{pubid});
2587    
# Line 2508  sub _get_next_token ($) { Line 2597  sub _get_next_token ($) {
2597          redo A;          redo A;
2598        } elsif ($self->{nc} == 0x0022) { # "        } elsif ($self->{nc} == 0x0022) { # "
2599          !!!cp (196);          !!!cp (196);
2600          $self->{ct}->{sysid} = ''; # DOCTYPE          $self->{ct}->{sysid} = ''; # DOCTYPE/ENTITY/NOTATION
2601          $self->{state} = DOCTYPE_SYSTEM_IDENTIFIER_DOUBLE_QUOTED_STATE;          $self->{state} = DOCTYPE_SYSTEM_IDENTIFIER_DOUBLE_QUOTED_STATE;
2602          !!!next-input-character;          !!!next-input-character;
2603          redo A;          redo A;
2604        } elsif ($self->{nc} == 0x0027) { # '        } elsif ($self->{nc} == 0x0027) { # '
2605          !!!cp (197);          !!!cp (197);
2606          $self->{ct}->{sysid} = ''; # DOCTYPE          $self->{ct}->{sysid} = ''; # DOCTYPE/ENTITY/NOTATION
2607          $self->{state} = DOCTYPE_SYSTEM_IDENTIFIER_SINGLE_QUOTED_STATE;          $self->{state} = DOCTYPE_SYSTEM_IDENTIFIER_SINGLE_QUOTED_STATE;
2608          !!!next-input-character;          !!!next-input-character;
2609          redo A;          redo A;
2610        } elsif ($self->{nc} == 0x003E) { # >        } elsif ($self->{nc} == 0x003E) { # >
2611          if ($self->{is_xml}) {          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2612            !!!cp (198.1);            if ($self->{is_xml}) {
2613            !!!parse-error (type => 'no SYSTEM literal');              !!!cp (198.1);
2614                !!!parse-error (type => 'no SYSTEM literal');
2615              } else {
2616                !!!cp (198);
2617              }
2618              $self->{state} = DATA_STATE;
2619              $self->{s_kwd} = '';
2620          } else {          } else {
2621            !!!cp (198);            if ($self->{ct}->{type} == NOTATION_TOKEN) {
2622                !!!cp (198.2);
2623              } else {
2624                !!!cp (198.3);
2625                !!!parse-error (type => 'no SYSTEM literal');            
2626              }
2627              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2628          }          }
2629          $self->{state} = DATA_STATE;          
         $self->{s_kwd} = '';  
2630          !!!next-input-character;          !!!next-input-character;
2631            !!!emit ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         !!!emit ($self->{ct}); # DOCTYPE  
   
2632          redo A;          redo A;
2633        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
2634          !!!cp (199);          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2635          !!!parse-error (type => 'unclosed DOCTYPE');            !!!cp (199);
2636              !!!parse-error (type => 'unclosed DOCTYPE');
2637          $self->{state} = DATA_STATE;            
2638          $self->{s_kwd} = '';            $self->{state} = DATA_STATE;
2639              $self->{s_kwd} = '';
2640              $self->{ct}->{quirks} = 1;
2641            } else {
2642              !!!parse-error (type => 'unclosed md'); ## TODO: type
2643              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2644            }
2645            
2646          ## reconsume          ## reconsume
2647            !!!emit ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         $self->{ct}->{quirks} = 1;  
         !!!emit ($self->{ct}); # DOCTYPE  
   
2648          redo A;          redo A;
2649        } elsif ($self->{is_xml} and $self->{nc} == 0x005B) { # [        } elsif ($self->{is_xml} and
2650                   $self->{ct}->{type} == DOCTYPE_TOKEN and
2651                   $self->{nc} == 0x005B) { # [
2652          !!!cp (200.1);          !!!cp (200.1);
2653          !!!parse-error (type => 'no SYSTEM literal');          !!!parse-error (type => 'no SYSTEM literal');
2654          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
# Line 2554  sub _get_next_token ($) { Line 2658  sub _get_next_token ($) {
2658          !!!emit ($self->{ct}); # DOCTYPE          !!!emit ($self->{ct}); # DOCTYPE
2659          redo A;          redo A;
2660        } else {        } else {
         !!!cp (200);  
2661          !!!parse-error (type => 'string after PUBLIC literal');          !!!parse-error (type => 'string after PUBLIC literal');
         $self->{ct}->{quirks} = 1;  
2662    
2663          $self->{state} = BOGUS_DOCTYPE_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2664              !!!cp (200);
2665              $self->{ct}->{quirks} = 1;
2666              $self->{state} = BOGUS_DOCTYPE_STATE;
2667            } else {
2668              !!!cp (200.2);
2669              $self->{state} = BOGUS_MD_STATE;
2670            }
2671    
2672          !!!next-input-character;          !!!next-input-character;
2673          redo A;          redo A;
2674        }        }
# Line 2581  sub _get_next_token ($) { Line 2691  sub _get_next_token ($) {
2691          !!!next-input-character;          !!!next-input-character;
2692          redo A;          redo A;
2693        } elsif ($self->{nc} == 0x003E) { # >        } elsif ($self->{nc} == 0x003E) { # >
         !!!cp (204);  
2694          !!!parse-error (type => 'no SYSTEM literal');          !!!parse-error (type => 'no SYSTEM literal');
         $self->{state} = DATA_STATE;  
         $self->{s_kwd} = '';  
2695          !!!next-input-character;          !!!next-input-character;
2696    
2697          $self->{ct}->{quirks} = 1;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2698          !!!emit ($self->{ct}); # DOCTYPE            !!!cp (204);
2699              $self->{state} = DATA_STATE;
2700              $self->{s_kwd} = '';
2701              $self->{ct}->{quirks} = 1;
2702            } else {
2703              !!!cp (204.1);
2704              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2705            }
2706    
2707            !!!emit ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
2708          redo A;          redo A;
2709        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
2710          !!!cp (205);          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2711          !!!parse-error (type => 'unclosed DOCTYPE');            !!!cp (205);
2712              !!!parse-error (type => 'unclosed DOCTYPE');
2713          $self->{state} = DATA_STATE;            $self->{state} = DATA_STATE;
2714          $self->{s_kwd} = '';            $self->{s_kwd} = '';
2715              $self->{ct}->{quirks} = 1;
2716            } else {
2717              !!!cp (205.1);
2718              !!!parse-error (type => 'unclosed md'); ## TODO: type
2719              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2720            }
2721            
2722          ## reconsume          ## reconsume
2723            !!!emit ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         $self->{ct}->{quirks} = 1;  
         !!!emit ($self->{ct}); # DOCTYPE  
   
2724          redo A;          redo A;
2725        } elsif ($self->{is_xml} and $self->{nc} == 0x005B) { # [        } elsif ($self->{is_xml} and
2726                   $self->{ct}->{type} == DOCTYPE_TOKEN and
2727                   $self->{nc} == 0x005B) { # [
2728          !!!cp (206.1);          !!!cp (206.1);
2729          !!!parse-error (type => 'no SYSTEM literal');          !!!parse-error (type => 'no SYSTEM literal');
2730    
# Line 2614  sub _get_next_token ($) { Line 2735  sub _get_next_token ($) {
2735          !!!emit ($self->{ct}); # DOCTYPE          !!!emit ($self->{ct}); # DOCTYPE
2736          redo A;          redo A;
2737        } else {        } else {
         !!!cp (206);  
2738          !!!parse-error (type => 'string after SYSTEM');          !!!parse-error (type => 'string after SYSTEM');
         $self->{ct}->{quirks} = 1;  
2739    
2740          $self->{state} = BOGUS_DOCTYPE_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2741              !!!cp (206);          
2742              $self->{ct}->{quirks} = 1;
2743              $self->{state} = BOGUS_DOCTYPE_STATE;
2744            } else {
2745              !!!cp (206.2);
2746              $self->{state} = BOGUS_MD_STATE;
2747            }
2748    
2749          !!!next-input-character;          !!!next-input-character;
2750          redo A;          redo A;
2751        }        }
# Line 2629  sub _get_next_token ($) { Line 2756  sub _get_next_token ($) {
2756          !!!next-input-character;          !!!next-input-character;
2757          redo A;          redo A;
2758        } elsif (not $self->{is_xml} and $self->{nc} == 0x003E) { # >        } elsif (not $self->{is_xml} and $self->{nc} == 0x003E) { # >
         !!!cp (208);  
2759          !!!parse-error (type => 'unclosed SYSTEM literal');          !!!parse-error (type => 'unclosed SYSTEM literal');
2760    
2761          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2762          $self->{s_kwd} = '';            !!!cp (208);
2763              $self->{state} = DATA_STATE;
2764              $self->{s_kwd} = '';
2765              $self->{ct}->{quirks} = 1;
2766            } else {
2767              !!!cp (208.1);
2768              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2769            }
2770            
2771          !!!next-input-character;          !!!next-input-character;
2772            !!!emit ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         $self->{ct}->{quirks} = 1;  
         !!!emit ($self->{ct}); # DOCTYPE  
   
2773          redo A;          redo A;
2774        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
         !!!cp (209);  
2775          !!!parse-error (type => 'unclosed SYSTEM literal');          !!!parse-error (type => 'unclosed SYSTEM literal');
2776    
2777          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2778          $self->{s_kwd} = '';            !!!cp (209);
2779              $self->{state} = DATA_STATE;
2780              $self->{s_kwd} = '';
2781              $self->{ct}->{quirks} = 1;
2782            } else {
2783              !!!cp (209.1);
2784              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2785            }
2786            
2787          ## reconsume          ## reconsume
2788            !!!emit ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
         $self->{ct}->{quirks} = 1;  
         !!!emit ($self->{ct}); # DOCTYPE  
   
2789          redo A;          redo A;
2790        } else {        } else {
2791          !!!cp (210);          !!!cp (210);
2792          $self->{ct}->{sysid} # DOCTYPE          $self->{ct}->{sysid} .= chr $self->{nc}; # DOCTYPE/ENTITY/NOTATION
             .= chr $self->{nc};  
2793          $self->{read_until}->($self->{ct}->{sysid}, q[">],          $self->{read_until}->($self->{ct}->{sysid}, q[">],
2794                                length $self->{ct}->{sysid});                                length $self->{ct}->{sysid});
2795    
# Line 2682  sub _get_next_token ($) { Line 2816  sub _get_next_token ($) {
2816    
2817          redo A;          redo A;
2818        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
         !!!cp (213);  
2819          !!!parse-error (type => 'unclosed SYSTEM literal');          !!!parse-error (type => 'unclosed SYSTEM literal');
2820    
2821          $self->{state} = DATA_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2822          $self->{s_kwd} = '';            !!!cp (213);
2823          ## reconsume            $self->{state} = DATA_STATE;
2824              $self->{s_kwd} = '';
2825          $self->{ct}->{quirks} = 1;            $self->{ct}->{quirks} = 1;
2826          !!!emit ($self->{ct}); # DOCTYPE          } else {
2827              !!!cp (213.1);
2828              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2829            }
2830    
2831            ## reconsume
2832            !!!emit ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
2833          redo A;          redo A;
2834        } else {        } else {
2835          !!!cp (214);          !!!cp (214);
2836          $self->{ct}->{sysid} # DOCTYPE          $self->{ct}->{sysid} .= chr $self->{nc}; # DOCTYPE/ENTITY/NOTATION
             .= chr $self->{nc};  
2837          $self->{read_until}->($self->{ct}->{sysid}, q['>],          $self->{read_until}->($self->{ct}->{sysid}, q['>],
2838                                length $self->{ct}->{sysid});                                length $self->{ct}->{sysid});
2839    
# Line 2706  sub _get_next_token ($) { Line 2843  sub _get_next_token ($) {
2843        }        }
2844      } elsif ($self->{state} == AFTER_DOCTYPE_SYSTEM_IDENTIFIER_STATE) {      } elsif ($self->{state} == AFTER_DOCTYPE_SYSTEM_IDENTIFIER_STATE) {
2845        if ($is_space->{$self->{nc}}) {        if ($is_space->{$self->{nc}}) {
2846          !!!cp (215);          if ($self->{ct}->{type} == GENERAL_ENTITY_TOKEN) {
2847          ## Stay in the state            !!!cp (215.1);
2848              $self->{state} = BEFORE_NDATA_STATE;
2849            } else {
2850              !!!cp (215);
2851              ## Stay in the state
2852            }
2853          !!!next-input-character;          !!!next-input-character;
2854          redo A;          redo A;
2855        } elsif ($self->{nc} == 0x003E) { # >        } elsif ($self->{nc} == 0x003E) { # >
2856          !!!cp (216);          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2857          $self->{state} = DATA_STATE;            !!!cp (216);
2858          $self->{s_kwd} = '';            $self->{state} = DATA_STATE;
2859          !!!next-input-character;            $self->{s_kwd} = '';
2860            } else {
2861          !!!emit ($self->{ct}); # DOCTYPE            !!!cp (216.1);
2862              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2863            }
2864    
2865            !!!next-input-character;
2866            !!!emit ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
2867            redo A;
2868          } elsif ($self->{ct}->{type} == GENERAL_ENTITY_TOKEN and
2869                   ($self->{nc} == 0x004E or # N
2870                    $self->{nc} == 0x006E)) { # n
2871            !!!cp (216.2);
2872            !!!parse-error (type => 'no space before NDATA'); ## TODO: type
2873            $self->{state} = NDATA_STATE;
2874            $self->{kwd} = chr $self->{nc};
2875            !!!next-input-character;
2876          redo A;          redo A;
2877        } elsif ($self->{nc} == -1) {        } elsif ($self->{nc} == -1) {
2878          !!!cp (217);          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2879          !!!parse-error (type => 'unclosed DOCTYPE');            !!!cp (217);
2880          $self->{state} = DATA_STATE;            !!!parse-error (type => 'unclosed DOCTYPE');
2881          $self->{s_kwd} = '';            $self->{state} = DATA_STATE;
2882          ## reconsume            $self->{s_kwd} = '';
2883              $self->{ct}->{quirks} = 1;
2884          $self->{ct}->{quirks} = 1;          } else {
2885          !!!emit ($self->{ct}); # DOCTYPE            !!!cp (217.1);
2886              !!!parse-error (type => 'unclosed md'); ## TODO: type
2887              $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2888            }
2889    
2890            ## reconsume
2891            !!!emit ($self->{ct}); # DOCTYPE/ENTITY/NOTATION
2892          redo A;          redo A;
2893        } elsif ($self->{is_xml} and $self->{nc} == 0x005B) { # [        } elsif ($self->{is_xml} and
2894                   $self->{ct}->{type} == DOCTYPE_TOKEN and
2895                   $self->{nc} == 0x005B) { # [
2896          !!!cp (218.1);          !!!cp (218.1);
2897          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2898          $self->{ct}->{has_internal_subset} = 1; # DOCTYPE          $self->{ct}->{has_internal_subset} = 1; # DOCTYPE
# Line 2739  sub _get_next_token ($) { Line 2901  sub _get_next_token ($) {
2901          !!!emit ($self->{ct}); # DOCTYPE          !!!emit ($self->{ct}); # DOCTYPE
2902          redo A;          redo A;
2903        } else {        } else {
         !!!cp (218);  
2904          !!!parse-error (type => 'string after SYSTEM literal');          !!!parse-error (type => 'string after SYSTEM literal');
         #$self->{ct}->{quirks} = 1;  
2905    
2906          $self->{state} = BOGUS_DOCTYPE_STATE;          if ($self->{ct}->{type} == DOCTYPE_TOKEN) {
2907              !!!cp (218);
2908              #$self->{ct}->{quirks} = 1;
2909              $self->{state} = BOGUS_DOCTYPE_STATE;
2910            } else {
2911              !!!cp (218.2);
2912              $self->{state} = BOGUS_MD_STATE;
2913            }
2914    
2915            !!!next-input-character;
2916            redo A;
2917          }
2918        } elsif ($self->{state} == BEFORE_NDATA_STATE) {
2919          if ($is_space->{$self->{nc}}) {
2920            !!!cp (218.3);
2921            ## Stay in the state.
2922            !!!next-input-character;
2923            redo A;
2924          } elsif ($self->{nc} == 0x003E) { # >
2925            !!!cp (218.4);
2926            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2927            !!!next-input-character;
2928            !!!emit ($self->{ct}); # ENTITY
2929            redo A;
2930          } elsif ($self->{nc} == 0x004E or # N
2931                   $self->{nc} == 0x006E) { # n
2932            !!!cp (218.5);
2933            $self->{state} = NDATA_STATE;
2934            $self->{kwd} = chr $self->{nc};
2935            !!!next-input-character;
2936            redo A;
2937          } elsif ($self->{nc} == -1) {
2938            !!!cp (218.6);
2939            !!!parse-error (type => 'unclosed md'); ## TODO: type
2940            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
2941            ## reconsume
2942            !!!emit ($self->{ct}); # ENTITY
2943            redo A;
2944          } else {
2945            !!!cp (218.7);
2946            !!!parse-error (type => 'string after SYSTEM literal');
2947            $self->{state} = BOGUS_MD_STATE;
2948          !!!next-input-character;          !!!next-input-character;
2949          redo A;          redo A;
2950        }        }
# Line 2877  sub _get_next_token ($) { Line 3078  sub _get_next_token ($) {
3078              0x003C => 1, 0x0026 => 1, -1 => 1, # <, &              0x003C => 1, 0x0026 => 1, -1 => 1, # <, &
3079              $self->{entity_add} => 1,              $self->{entity_add} => 1,
3080            }->{$self->{nc}}) {            }->{$self->{nc}}) {
3081          !!!cp (1001);          if ($self->{is_xml}) {
3082              !!!cp (1001.1);
3083              !!!parse-error (type => 'bare ero',
3084                              line => $self->{line_prev},
3085                              column => $self->{column_prev}
3086                                  + ($self->{nc} == -1 ? 1 : 0));
3087            } else {
3088              !!!cp (1001);
3089              ## No error
3090            }
3091          ## Don't consume          ## Don't consume
         ## No error  
3092          ## Return nothing.          ## Return nothing.
3093          #          #
3094        } elsif ($self->{nc} == 0x0023) { # #        } elsif ($self->{nc} == 0x0023) { # #
# Line 2888  sub _get_next_token ($) { Line 3097  sub _get_next_token ($) {
3097          $self->{kwd} = '#';          $self->{kwd} = '#';
3098          !!!next-input-character;          !!!next-input-character;
3099          redo A;          redo A;
3100        } elsif ((0x0041 <= $self->{nc} and        } elsif ($self->{is_xml} or
3101                   (0x0041 <= $self->{nc} and
3102                  $self->{nc} <= 0x005A) or # A..Z                  $self->{nc} <= 0x005A) or # A..Z
3103                 (0x0061 <= $self->{nc} and                 (0x0061 <= $self->{nc} and
3104                  $self->{nc} <= 0x007A)) { # a..z                  $self->{nc} <= 0x007A)) { # a..z
# Line 2932  sub _get_next_token ($) { Line 3142  sub _get_next_token ($) {
3142          redo A;          redo A;
3143        }        }
3144      } elsif ($self->{state} == ENTITY_HASH_STATE) {      } elsif ($self->{state} == ENTITY_HASH_STATE) {
3145        if ($self->{nc} == 0x0078 or # x        if ($self->{nc} == 0x0078) { # x
           $self->{nc} == 0x0058) { # X  
3146          !!!cp (995);          !!!cp (995);
3147          $self->{state} = HEXREF_X_STATE;          $self->{state} = HEXREF_X_STATE;
3148          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
3149          !!!next-input-character;          !!!next-input-character;
3150          redo A;          redo A;
3151          } elsif ($self->{nc} == 0x0058) { # X
3152            !!!cp (995.1);
3153            if ($self->{is_xml}) {
3154              !!!parse-error (type => 'uppercase hcro'); ## TODO: type
3155            }
3156            $self->{state} = HEXREF_X_STATE;
3157            $self->{kwd} .= chr $self->{nc};
3158            !!!next-input-character;
3159            redo A;
3160        } elsif (0x0030 <= $self->{nc} and        } elsif (0x0030 <= $self->{nc} and
3161                 $self->{nc} <= 0x0039) { # 0..9                 $self->{nc} <= 0x0039) { # 0..9
3162          !!!cp (994);          !!!cp (994);
# Line 3146  sub _get_next_token ($) { Line 3364  sub _get_next_token ($) {
3364          redo A;          redo A;
3365        }        }
3366      } elsif ($self->{state} == ENTITY_NAME_STATE) {      } elsif ($self->{state} == ENTITY_NAME_STATE) {
3367        if (length $self->{kwd} < 30 and        if ((0x0041 <= $self->{nc} and # a
3368            ## NOTE: Some number greater than the maximum length of entity name             $self->{nc} <= 0x005A) or # x
3369            ((0x0041 <= $self->{nc} and # a            (0x0061 <= $self->{nc} and # a
3370              $self->{nc} <= 0x005A) or # x             $self->{nc} <= 0x007A) or # z
3371             (0x0061 <= $self->{nc} and # a            (0x0030 <= $self->{nc} and # 0
3372              $self->{nc} <= 0x007A) or # z             $self->{nc} <= 0x0039) or # 9
3373             (0x0030 <= $self->{nc} and # 0            $self->{nc} == 0x003B or # ;
3374              $self->{nc} <= 0x0039) or # 9            ($self->{is_xml} and
3375             $self->{nc} == 0x003B)) { # ;             not ($is_space->{$self->{nc}} or
3376                    {
3377                      0x003C => 1, 0x0026 => 1, -1 => 1, # <, &
3378                      $self->{entity_add} => 1,
3379                    }->{$self->{nc}}))) {
3380          our $EntityChar;          our $EntityChar;
3381          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
3382          if (defined $EntityChar->{$self->{kwd}}) {          if (defined $EntityChar->{$self->{kwd}} or
3383                $self->{ge}->{$self->{kwd}}) {
3384            if ($self->{nc} == 0x003B) { # ;            if ($self->{nc} == 0x003B) { # ;
3385              !!!cp (1020);              if (defined $self->{ge}->{$self->{kwd}}) {
3386              $self->{entity__value} = $EntityChar->{$self->{kwd}};                if ($self->{ge}->{$self->{kwd}}->{only_text}) {
3387                    !!!cp (1020.1);
3388                    $self->{entity__value} = $self->{ge}->{$self->{kwd}}->{value};
3389                  } else {
3390                    if (defined $self->{ge}->{$self->{kwd}}->{notation}) {
3391                      !!!cp (1020.2);
3392                      !!!parse-error (type => 'unparsed entity', ## TODO: type
3393                                      value => $self->{kwd});
3394                    } else {
3395                      !!!cp (1020.3);
3396                    }
3397                    $self->{entity__value} = '&' . $self->{kwd}; ## TODO: expand
3398                  }
3399                } else {
3400                  if ($self->{is_xml}) {
3401                    !!!cp (1020.4);
3402                    !!!parse-error (type => 'entity not declared', ## TODO: type
3403                                    value => $self->{kwd},
3404                                    level => {
3405                                              'amp;' => $self->{level}->{warn},
3406                                              'quot;' => $self->{level}->{warn},
3407                                              'lt;' => $self->{level}->{warn},
3408                                              'gt;' => $self->{level}->{warn},
3409                                              'apos;' => $self->{level}->{warn},
3410                                             }->{$self->{kwd}} ||
3411                                             $self->{level}->{must});
3412                  } else {
3413                    !!!cp (1020);
3414                  }
3415                  $self->{entity__value} = $EntityChar->{$self->{kwd}};
3416                }
3417              $self->{entity__match} = 1;              $self->{entity__match} = 1;
3418              !!!next-input-character;              !!!next-input-character;
3419              #              #
# Line 3508  sub _get_next_token ($) { Line 3761  sub _get_next_token ($) {
3761          $self->{state} = MD_HYPHEN_STATE;          $self->{state} = MD_HYPHEN_STATE;
3762          !!!next-input-character;          !!!next-input-character;
3763          redo A;          redo A;
3764        } elsif ($self->{nc} == 0x0045) { # E        } elsif ($self->{nc} == 0x0045 or # E
3765                   $self->{nc} == 0x0065) { # e
3766          $self->{state} = MD_E_STATE;          $self->{state} = MD_E_STATE;
3767          $self->{kwd} = chr $self->{nc};          $self->{kwd} = chr $self->{nc};
3768          !!!next-input-character;          !!!next-input-character;
3769          redo A;          redo A;
3770        } elsif ($self->{nc} == 0x0041) { # A        } elsif ($self->{nc} == 0x0041 or # A
3771                   $self->{nc} == 0x0061) { # a
3772          $self->{state} = MD_ATTLIST_STATE;          $self->{state} = MD_ATTLIST_STATE;
3773          $self->{kwd} = chr $self->{nc};          $self->{kwd} = chr $self->{nc};
3774          !!!next-input-character;          !!!next-input-character;
3775          redo A;          redo A;
3776        } elsif ($self->{nc} == 0x004E) { # N        } elsif ($self->{nc} == 0x004E or # N
3777                   $self->{nc} == 0x006E) { # n
3778          $self->{state} = MD_NOTATION_STATE;          $self->{state} = MD_NOTATION_STATE;
3779          $self->{kwd} = chr $self->{nc};          $self->{kwd} = chr $self->{nc};
3780          !!!next-input-character;          !!!next-input-character;
# Line 3536  sub _get_next_token ($) { Line 3792  sub _get_next_token ($) {
3792        $self->{ct} = {type => COMMENT_TOKEN, data => ''}; ## Will be discarded.        $self->{ct} = {type => COMMENT_TOKEN, data => ''}; ## Will be discarded.
3793        redo A;        redo A;
3794      } elsif ($self->{state} == MD_E_STATE) {      } elsif ($self->{state} == MD_E_STATE) {
3795        if ($self->{nc} == 0x004E) { # N        if ($self->{nc} == 0x004E or # N
3796              $self->{nc} == 0x006E) { # n
3797          $self->{state} = MD_ENTITY_STATE;          $self->{state} = MD_ENTITY_STATE;
3798          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
3799          !!!next-input-character;          !!!next-input-character;
3800          redo A;          redo A;
3801        } elsif ($self->{nc} == 0x004C) { # L        } elsif ($self->{nc} == 0x004C or # L
3802                   $self->{nc} == 0x006C) { # l
3803          ## XML5: <!ELEMENT> not supported.          ## XML5: <!ELEMENT> not supported.
3804          $self->{state} = MD_ELEMENT_STATE;          $self->{state} = MD_ELEMENT_STATE;
3805          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
# Line 3559  sub _get_next_token ($) { Line 3817  sub _get_next_token ($) {
3817          redo A;          redo A;
3818        }        }
3819      } elsif ($self->{state} == MD_ENTITY_STATE) {      } elsif ($self->{state} == MD_ENTITY_STATE) {
3820        if ($self->{nc} == {        if ($self->{nc} == [
3821              'EN' => 0x0054, # T              undef,
3822              'ENT' => 0x0049, # I              undef,
3823              'ENTI' => 0x0054, # T              0x0054, # T
3824            }->{$self->{kwd}}) {              0x0049, # I
3825                0x0054, # T
3826              ]->[length $self->{kwd}] or
3827              $self->{nc} == [
3828                undef,
3829                undef,
3830                0x0074, # t
3831                0x0069, # i
3832                0x0074, # t
3833              ]->[length $self->{kwd}]) {
3834          ## Stay in the state.          ## Stay in the state.
3835          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
3836          !!!next-input-character;          !!!next-input-character;
3837          redo A;          redo A;
3838        } elsif ($self->{kwd} eq 'ENTIT' and        } elsif ((length $self->{kwd}) == 5 and
3839                 $self->{nc} == 0x0059) { # Y                 ($self->{nc} == 0x0059 or # Y
3840          $self->{ct} = {type => GENERAL_ENTITY_TOKEN, name => '', text => '',                  $self->{nc} == 0x0079)) { # y
3841            if ($self->{kwd} ne 'ENTIT' or $self->{nc} == 0x0079) {
3842              !!!parse-error (type => 'lowercase keyword', ## TODO: type
3843                              text => 'ENTITY',
3844                              line => $self->{line_prev},
3845                              column => $self->{column_prev} - 4);
3846            }
3847            $self->{ct} = {type => GENERAL_ENTITY_TOKEN, name => '',
3848                         line => $self->{line_prev},                         line => $self->{line_prev},
3849                         column => $self->{column_prev} - 6};                         column => $self->{column_prev} - 6};
3850          $self->{state} = DOCTYPE_MD_STATE;          $self->{state} = DOCTYPE_MD_STATE;
# Line 3588  sub _get_next_token ($) { Line 3862  sub _get_next_token ($) {
3862          redo A;          redo A;
3863        }        }
3864      } elsif ($self->{state} == MD_ELEMENT_STATE) {      } elsif ($self->{state} == MD_ELEMENT_STATE) {
3865        if ($self->{nc} == {        if ($self->{nc} == [
3866              'EL' => 0x0045, # E             undef,
3867              'ELE' => 0x004D, # M             undef,
3868              'ELEM' => 0x0045, # E             0x0045, # E
3869              'ELEME' => 0x004E, # N             0x004D, # M
3870            }->{$self->{kwd}}) {             0x0045, # E
3871               0x004E, # N
3872              ]->[length $self->{kwd}] or
3873              $self->{nc} == [
3874               undef,
3875               undef,
3876               0x0065, # e
3877               0x006D, # m
3878               0x0065, # e
3879               0x006E, # n
3880              ]->[length $self->{kwd}]) {
3881          ## Stay in the state.          ## Stay in the state.
3882          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
3883          !!!next-input-character;          !!!next-input-character;
3884          redo A;          redo A;
3885        } elsif ($self->{kwd} eq 'ELEMEN' and        } elsif ((length $self->{kwd}) == 6 and
3886                 $self->{nc} == 0x0054) { # T                 ($self->{nc} == 0x0054 or # T
3887                    $self->{nc} == 0x0074)) { # t
3888            if ($self->{kwd} ne 'ELEMEN' or $self->{nc} == 0x0074) {
3889              !!!parse-error (type => 'lowercase keyword', ## TODO: type
3890                              text => 'ELEMENT',
3891                              line => $self->{line_prev},
3892                              column => $self->{column_prev} - 5);
3893            }
3894          $self->{ct} = {type => ELEMENT_TOKEN, name => '',          $self->{ct} = {type => ELEMENT_TOKEN, name => '',
3895                         line => $self->{line_prev},                         line => $self->{line_prev},
3896                         column => $self->{column_prev} - 6};                         column => $self->{column_prev} - 7};
3897          $self->{state} = DOCTYPE_MD_STATE;          $self->{state} = DOCTYPE_MD_STATE;
3898          !!!next-input-character;          !!!next-input-character;
3899          redo A;          redo A;
# Line 3618  sub _get_next_token ($) { Line 3909  sub _get_next_token ($) {
3909          redo A;          redo A;
3910        }        }
3911      } elsif ($self->{state} == MD_ATTLIST_STATE) {      } elsif ($self->{state} == MD_ATTLIST_STATE) {
3912        if ($self->{nc} == {        if ($self->{nc} == [
3913              'A' => 0x0054, # T             undef,
3914              'AT' => 0x0054, # T             0x0054, # T
3915              'ATT' => 0x004C, # L             0x0054, # T
3916              'ATTL' => 0x0049, # I             0x004C, # L
3917              'ATTLI' => 0x0053, # S             0x0049, # I
3918            }->{$self->{kwd}}) {             0x0053, # S
3919              ]->[length $self->{kwd}] or
3920              $self->{nc} == [
3921               undef,
3922               0x0074, # t
3923               0x0074, # t
3924               0x006C, # l
3925               0x0069, # i
3926               0x0073, # s
3927              ]->[length $self->{kwd}]) {
3928          ## Stay in the state.          ## Stay in the state.
3929          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
3930          !!!next-input-character;          !!!next-input-character;
3931          redo A;          redo A;
3932        } elsif ($self->{kwd} eq 'ATTLIS' and        } elsif ((length $self->{kwd}) == 6 and
3933                 $self->{nc} == 0x0054) { # T                 ($self->{nc} == 0x0054 or # T
3934                    $self->{nc} == 0x0074)) { # t
3935            if ($self->{kwd} ne 'ATTLIS' or $self->{nc} == 0x0074) {
3936              !!!parse-error (type => 'lowercase keyword', ## TODO: type
3937                              text => 'ATTLIST',
3938                              line => $self->{line_prev},
3939                              column => $self->{column_prev} - 5);
3940            }
3941          $self->{ct} = {type => ATTLIST_TOKEN, name => '',          $self->{ct} = {type => ATTLIST_TOKEN, name => '',
3942                         attrdefs => [],                         attrdefs => [],
3943                         line => $self->{line_prev},                         line => $self->{line_prev},
3944                         column => $self->{column_prev} - 6};                         column => $self->{column_prev} - 7};
3945          $self->{state} = DOCTYPE_MD_STATE;          $self->{state} = DOCTYPE_MD_STATE;
3946          !!!next-input-character;          !!!next-input-character;
3947          redo A;          redo A;
# Line 3650  sub _get_next_token ($) { Line 3957  sub _get_next_token ($) {
3957          redo A;          redo A;
3958        }        }
3959      } elsif ($self->{state} == MD_NOTATION_STATE) {      } elsif ($self->{state} == MD_NOTATION_STATE) {
3960        if ($self->{nc} == {        if ($self->{nc} == [
3961              'N' => 0x004F, # O             undef,
3962              'NO' => 0x0054, # T             0x004F, # O
3963              'NOT' => 0x0041, # A             0x0054, # T
3964              'NOTA' => 0x0054, # T             0x0041, # A
3965              'NOTAT' => 0x0049, # I             0x0054, # T
3966              'NOTATI' => 0x004F, # O             0x0049, # I
3967            }->{$self->{kwd}}) {             0x004F, # O
3968              ]->[length $self->{kwd}] or
3969              $self->{nc} == [
3970               undef,
3971               0x006F, # o
3972               0x0074, # t
3973               0x0061, # a
3974               0x0074, # t
3975               0x0069, # i
3976               0x006F, # o
3977              ]->[length $self->{kwd}]) {
3978          ## Stay in the state.          ## Stay in the state.
3979          $self->{kwd} .= chr $self->{nc};          $self->{kwd} .= chr $self->{nc};
3980          !!!next-input-character;          !!!next-input-character;
3981          redo A;          redo A;
3982        } elsif ($self->{kwd} eq 'NOTATIO' and        } elsif ((length $self->{kwd}) == 7 and
3983                 $self->{nc} == 0x004E) { # N                 ($self->{nc} == 0x004E or # N
3984                    $self->{nc} == 0x006E)) { # n
3985            if ($self->{kwd} ne 'NOTATIO' or $self->{nc} == 0x006E) {
3986              !!!parse-error (type => 'lowercase keyword', ## TODO: type
3987                              text => 'NOTATION',
3988                              line => $self->{line_prev},
3989                              column => $self->{column_prev} - 6);
3990            }
3991          $self->{ct} = {type => NOTATION_TOKEN, name => '',          $self->{ct} = {type => NOTATION_TOKEN, name => '',
3992                         line => $self->{line_prev},                         line => $self->{line_prev},
3993                         column => $self->{column_prev} - 6};                         column => $self->{column_prev} - 8};
3994          $self->{state} = DOCTYPE_MD_STATE;          $self->{state} = DOCTYPE_MD_STATE;
3995          !!!next-input-character;          !!!next-input-character;
3996          redo A;          redo A;
# Line 3775  sub _get_next_token ($) { Line 4099  sub _get_next_token ($) {
4099        ## XML5: "DOCTYPE ENTITY name state" and "DOCTYPE ATTLIST name state".        ## XML5: "DOCTYPE ENTITY name state" and "DOCTYPE ATTLIST name state".
4100                
4101        if ($is_space->{$self->{nc}}) {        if ($is_space->{$self->{nc}}) {
4102          ## TODO:          if ($self->{ct}->{type} == ATTLIST_TOKEN) {
4103          $self->{state} = DOCTYPE_ATTLIST_NAME_AFTER_STATE;            $self->{state} = DOCTYPE_ATTLIST_NAME_AFTER_STATE;
4104            } elsif ($self->{ct}->{type} == ELEMENT_TOKEN) {
4105              $self->{state} = AFTER_ELEMENT_NAME_STATE;
4106            } else { # ENTITY/NOTATION
4107              $self->{state} = AFTER_DOCTYPE_NAME_STATE;
4108            }
4109          !!!next-input-character;          !!!next-input-character;
4110          redo A;          redo A;
4111        } elsif ($self->{nc} == 0x003E) { # >        } elsif ($self->{nc} == 0x003E) { # >
4112          if ($self->{ct}->{type} == ATTLIST_TOKEN) {          if ($self->{ct}->{type} == ATTLIST_TOKEN) {
4113            #            #
4114          } else {          } else {
4115            !!!parse-error (type => 'no md body'); ## TODO: type            !!!parse-error (type => 'no md def'); ## TODO: type
4116          }          }
4117          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;          $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4118          !!!next-input-character;          !!!next-input-character;
# Line 4173  sub _get_next_token ($) { Line 4502  sub _get_next_token ($) {
4502        if ($is_space->{$self->{nc}}) {        if ($is_space->{$self->{nc}}) {
4503          ## XML5: No parse error.          ## XML5: No parse error.
4504          !!!parse-error (type => 'no default type'); ## TODO: type          !!!parse-error (type => 'no default type'); ## TODO: type
4505          $self->{state} = BOGUS_COMMENT_STATE;          $self->{state} = BOGUS_MD_STATE;
         $self->{ct} = {type => COMMENT_TOKEN, data => ''}; ## Will be discarded  
4506          ## Reconsume.          ## Reconsume.
4507          redo A;          redo A;
4508        } elsif ($self->{nc} == 0x0022) { # "        } elsif ($self->{nc} == 0x0022) { # "
# Line 4301  sub _get_next_token ($) { Line 4629  sub _get_next_token ($) {
4629          $self->{state} = DOCTYPE_ATTLIST_NAME_AFTER_STATE;          $self->{state} = DOCTYPE_ATTLIST_NAME_AFTER_STATE;
4630          ## Reconsume.          ## Reconsume.
4631          redo A;          redo A;
4632        }              }
4633        } elsif ($self->{state} == NDATA_STATE) {
4634          ## ASCII case-insensitive
4635          if ($self->{nc} == [
4636                undef,
4637                0x0044, # D
4638                0x0041, # A
4639                0x0054, # T
4640              ]->[length $self->{kwd}] or
4641              $self->{nc} == [
4642                undef,
4643                0x0064, # d
4644                0x0061, # a
4645                0x0074, # t
4646              ]->[length $self->{kwd}]) {
4647            !!!cp (172.2);
4648            ## Stay in the state.
4649            $self->{kwd} .= chr $self->{nc};
4650            !!!next-input-character;
4651            redo A;
4652          } elsif ((length $self->{kwd}) == 4 and
4653                   ($self->{nc} == 0x0041 or # A
4654                    $self->{nc} == 0x0061)) { # a
4655            if ($self->{kwd} ne 'NDAT' or $self->{nc} == 0x0061) { # a
4656              !!!cp (172.3);
4657              !!!parse-error (type => 'lowercase keyword', ## TODO: type
4658                              text => 'NDATA',
4659                              line => $self->{line_prev},
4660                              column => $self->{column_prev} - 4);
4661            } else {
4662              !!!cp (172.4);
4663            }
4664            $self->{state} = AFTER_NDATA_STATE;
4665            !!!next-input-character;
4666            redo A;
4667          } else {
4668            !!!parse-error (type => 'string after literal', ## TODO: type
4669                            line => $self->{line_prev},
4670                            column => $self->{column_prev} + 1
4671                                - length $self->{kwd});
4672            !!!cp (172.5);
4673            $self->{state} = BOGUS_MD_STATE;
4674            ## Reconsume.
4675            redo A;
4676          }
4677        } elsif ($self->{state} == AFTER_NDATA_STATE) {
4678          if ($is_space->{$self->{nc}}) {
4679            $self->{state} = BEFORE_NOTATION_NAME_STATE;
4680            !!!next-input-character;
4681            redo A;
4682          } elsif ($self->{nc} == 0x003E) { # >
4683            !!!parse-error (type => 'no notation name'); ## TODO: type
4684            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4685            !!!next-input-character;
4686            !!!emit ($self->{ct}); # ENTITY
4687            redo A;
4688          } elsif ($self->{nc} == -1) {
4689            !!!parse-error (type => 'unclosed md'); ## TODO: type
4690            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4691            !!!next-input-character;
4692            !!!emit ($self->{ct}); # ENTITY
4693            redo A;
4694          } else {
4695            !!!parse-error (type => 'string after literal', ## TODO: type
4696                            line => $self->{line_prev},
4697                            column => $self->{column_prev} + 1
4698                                - length $self->{kwd});
4699            $self->{state} = BOGUS_MD_STATE;
4700            ## Reconsume.
4701            redo A;
4702          }
4703        } elsif ($self->{state} == BEFORE_NOTATION_NAME_STATE) {
4704          if ($is_space->{$self->{nc}}) {
4705            ## Stay in the state.
4706            !!!next-input-character;
4707            redo A;
4708          } elsif ($self->{nc} == 0x003E) { # >
4709            !!!parse-error (type => 'no notation name'); ## TODO: type
4710            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4711            !!!next-input-character;
4712            !!!emit ($self->{ct}); # ENTITY
4713            redo A;
4714          } elsif ($self->{nc} == -1) {
4715            !!!parse-error (type => 'unclosed md'); ## TODO: type
4716            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4717            !!!next-input-character;
4718            !!!emit ($self->{ct}); # ENTITY
4719            redo A;
4720          } else {
4721            $self->{ct}->{notation} = chr $self->{nc}; # ENTITY
4722            $self->{state} = NOTATION_NAME_STATE;
4723            !!!next-input-character;
4724            redo A;
4725          }
4726        } elsif ($self->{state} == NOTATION_NAME_STATE) {
4727          if ($is_space->{$self->{nc}}) {
4728            $self->{state} = AFTER_MD_DEF_STATE;
4729            !!!next-input-character;
4730            redo A;
4731          } elsif ($self->{nc} == 0x003E) { # >
4732            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4733            !!!next-input-character;
4734            !!!emit ($self->{ct}); # ENTITY
4735            redo A;
4736          } elsif ($self->{nc} == -1) {
4737            !!!parse-error (type => 'unclosed md'); ## TODO: type
4738            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4739            !!!next-input-character;
4740            !!!emit ($self->{ct}); # ENTITY
4741            redo A;
4742          } else {
4743            $self->{ct}->{notation} .= chr $self->{nc}; # ENTITY
4744            ## Stay in the state.
4745            !!!next-input-character;
4746            redo A;
4747          }
4748        } elsif ($self->{state} == DOCTYPE_ENTITY_VALUE_DOUBLE_QUOTED_STATE) {
4749          if ($self->{nc} == 0x0022) { # "
4750            $self->{state} = AFTER_MD_DEF_STATE;
4751            !!!next-input-character;
4752            redo A;
4753          } elsif ($self->{nc} == 0x0026) { # &
4754            $self->{prev_state} = $self->{state};
4755            $self->{state} = ENTITY_VALUE_ENTITY_STATE;
4756            $self->{entity_add} = 0x0022; # "
4757            !!!next-input-character;
4758            redo A;
4759    ## TODO: %
4760          } elsif ($self->{nc} == -1) {
4761            !!!parse-error (type => 'unclosed entity value'); ## TODO: type
4762            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4763            ## Reconsume.
4764            !!!emit ($self->{ct}); # ENTITY
4765            redo A;
4766          } else {
4767            $self->{ct}->{value} .= chr $self->{nc}; # ENTITY
4768            !!!next-input-character;
4769            redo A;
4770          }
4771        } elsif ($self->{state} == DOCTYPE_ENTITY_VALUE_SINGLE_QUOTED_STATE) {
4772          if ($self->{nc} == 0x0027) { # '
4773            $self->{state} = AFTER_MD_DEF_STATE;
4774            !!!next-input-character;
4775            redo A;
4776          } elsif ($self->{nc} == 0x0026) { # &
4777            $self->{prev_state} = $self->{state};
4778            $self->{state} = ENTITY_VALUE_ENTITY_STATE;
4779            $self->{entity_add} = 0x0027; # '
4780            !!!next-input-character;
4781            redo A;
4782    ## TODO: %
4783          } elsif ($self->{nc} == -1) {
4784            !!!parse-error (type => 'unclosed entity value'); ## TODO: type
4785            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4786            ## Reconsume.
4787            !!!emit ($self->{ct}); # ENTITY
4788            redo A;
4789          } else {
4790            $self->{ct}->{value} .= chr $self->{nc}; # ENTITY
4791            !!!next-input-character;
4792            redo A;
4793          }
4794        } elsif ($self->{state} == ENTITY_VALUE_ENTITY_STATE) {
4795          if ($is_space->{$self->{nc}} or
4796              {
4797                0x003C => 1, 0x0026 => 1, -1 => 1, # <, &
4798                $self->{entity_add} => 1,
4799              }->{$self->{nc}}) {
4800            !!!parse-error (type => 'bare ero',
4801                            line => $self->{line_prev},
4802                            column => $self->{column_prev}
4803                                + ($self->{nc} == -1 ? 1 : 0));
4804            ## Don't consume
4805            ## Return nothing.
4806            #
4807          } elsif ($self->{nc} == 0x0023) { # #
4808            $self->{ca} = $self->{ct};
4809            $self->{state} = ENTITY_HASH_STATE;
4810            $self->{kwd} = '#';
4811            !!!next-input-character;
4812            redo A;
4813          } else {
4814            #
4815          }
4816    
4817          $self->{ct}->{value} .= '&';
4818          $self->{state} = $self->{prev_state};
4819          ## Reconsume.
4820          redo A;
4821        } elsif ($self->{state} == AFTER_ELEMENT_NAME_STATE) {
4822          if ($is_space->{$self->{nc}}) {
4823            $self->{state} = BEFORE_ELEMENT_CONTENT_STATE;
4824            !!!next-input-character;
4825            redo A;
4826          } elsif ($self->{nc} == 0x0028) { # (
4827            $self->{state} = AFTER_CM_GROUP_OPEN_STATE;
4828            $self->{ct}->{content} = ['('];
4829            $self->{group_depth} = 1;
4830            !!!next-input-character;
4831            redo A;
4832          } elsif ($self->{nc} == 0x003E) { # >
4833            !!!parse-error (type => 'no md def'); ## TODO: type
4834            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4835            !!!next-input-character;
4836            !!!emit ($self->{ct}); # ELEMENT
4837            redo A;
4838          } elsif ($self->{nc} == -1) {
4839            !!!parse-error (type => 'unclosed md'); ## TODO: type
4840            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4841            !!!next-input-character;
4842            !!!emit ($self->{ct}); # ELEMENT
4843            redo A;
4844          } else {
4845            $self->{ct}->{content} = [chr $self->{nc}];
4846            $self->{state} = CONTENT_KEYWORD_STATE;
4847            !!!next-input-character;
4848            redo A;
4849          }
4850        } elsif ($self->{state} == CONTENT_KEYWORD_STATE) {
4851          if ($is_space->{$self->{nc}}) {
4852            $self->{state} = AFTER_MD_DEF_STATE;
4853            !!!next-input-character;
4854            redo A;
4855          } elsif ($self->{nc} == 0x003E) { # >
4856            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4857            !!!next-input-character;
4858            !!!emit ($self->{ct}); # ELEMENT
4859            redo A;
4860          } elsif ($self->{nc} == -1) {
4861            !!!parse-error (type => 'unclosed md'); ## TODO: type
4862            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4863            !!!next-input-character;
4864            !!!emit ($self->{ct}); # ELEMENT
4865            redo A;
4866          } else {
4867            $self->{ct}->{content}->[-1] .= chr $self->{nc}; # ELEMENT
4868            ## Stay in the state.
4869            !!!next-input-character;
4870            redo A;
4871          }
4872        } elsif ($self->{state} == AFTER_CM_GROUP_OPEN_STATE) {
4873          if ($is_space->{$self->{nc}}) {
4874            ## Stay in the state.
4875            !!!next-input-character;
4876            redo A;
4877          } elsif ($self->{nc} == 0x0028) { # (
4878            $self->{group_depth}++;
4879            push @{$self->{ct}->{content}}, chr $self->{nc};
4880            ## Stay in the state.
4881            !!!next-input-character;
4882            redo A;
4883          } elsif ($self->{nc} == 0x007C or # |
4884                   $self->{nc} == 0x002C) { # ,
4885            !!!parse-error (type => 'empty element name'); ## TODO: type
4886            ## Stay in the state.
4887            !!!next-input-character;
4888            redo A;
4889          } elsif ($self->{nc} == 0x0029) { # )
4890            !!!parse-error (type => 'empty element name'); ## TODO: type
4891            push @{$self->{ct}->{content}}, chr $self->{nc};
4892            $self->{group_depth}--;
4893            $self->{state} = AFTER_CM_GROUP_CLOSE_STATE;
4894            !!!next-input-character;
4895            redo A;
4896          } elsif ($self->{nc} == 0x003E) { # >
4897            !!!parse-error (type => 'unclosed cm group'); ## TODO: type
4898            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
4899            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4900            !!!next-input-character;
4901            !!!emit ($self->{ct}); # ELEMENT
4902            redo A;
4903          } elsif ($self->{nc} == -1) {
4904            !!!parse-error (type => 'unclosed md'); ## TODO: type
4905            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
4906            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4907            !!!next-input-character;
4908            !!!emit ($self->{ct}); # ELEMENT
4909            redo A;
4910          } else {
4911            push @{$self->{ct}->{content}}, chr $self->{nc};
4912            $self->{state} = CM_ELEMENT_NAME_STATE;
4913            !!!next-input-character;
4914            redo A;
4915          }
4916        } elsif ($self->{state} == CM_ELEMENT_NAME_STATE) {
4917          if ($is_space->{$self->{nc}}) {
4918            $self->{state} = AFTER_CM_ELEMENT_NAME_STATE;
4919            !!!next-input-character;
4920            redo A;
4921          } elsif ($self->{nc} == 0x002A or # *
4922                   $self->{nc} == 0x002B or # +
4923                   $self->{nc} == 0x003F) { # ?
4924            push @{$self->{ct}->{content}}, chr $self->{nc};
4925            $self->{state} = AFTER_CM_ELEMENT_NAME_STATE;
4926            !!!next-input-character;
4927            redo A;
4928          } elsif ($self->{nc} == 0x007C or # |
4929                   $self->{nc} == 0x002C) { # ,
4930            push @{$self->{ct}->{content}}, $self->{nc} == 0x007C ? ' | ' : ', ';
4931            $self->{state} = AFTER_CM_GROUP_OPEN_STATE;
4932            !!!next-input-character;
4933            redo A;
4934          } elsif ($self->{nc} == 0x0029) { # )
4935            $self->{group_depth}--;
4936            push @{$self->{ct}->{content}}, chr $self->{nc};
4937            $self->{state} = AFTER_CM_GROUP_CLOSE_STATE;
4938            !!!next-input-character;
4939            redo A;
4940          } elsif ($self->{nc} == 0x003E) { # >
4941            !!!parse-error (type => 'unclosed cm group'); ## TODO: type
4942            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
4943            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4944            !!!next-input-character;
4945            !!!emit ($self->{ct}); # ELEMENT
4946            redo A;
4947          } elsif ($self->{nc} == -1) {
4948            !!!parse-error (type => 'unclosed md'); ## TODO: type
4949            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
4950            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4951            !!!next-input-character;
4952            !!!emit ($self->{ct}); # ELEMENT
4953            redo A;
4954          } else {
4955            $self->{ct}->{content}->[-1] .= chr $self->{nc};
4956            ## Stay in the state.
4957            !!!next-input-character;
4958            redo A;
4959          }
4960        } elsif ($self->{state} == AFTER_CM_ELEMENT_NAME_STATE) {
4961          if ($is_space->{$self->{nc}}) {
4962            ## Stay in the state.
4963            !!!next-input-character;
4964            redo A;
4965          } elsif ($self->{nc} == 0x007C or # |
4966                   $self->{nc} == 0x002C) { # ,
4967            push @{$self->{ct}->{content}}, $self->{nc} == 0x007C ? ' | ' : ', ';
4968            $self->{state} = AFTER_CM_GROUP_OPEN_STATE;
4969            !!!next-input-character;
4970            redo A;
4971          } elsif ($self->{nc} == 0x0029) { # )
4972            $self->{group_depth}--;
4973            push @{$self->{ct}->{content}}, chr $self->{nc};
4974            $self->{state} = AFTER_CM_GROUP_CLOSE_STATE;
4975            !!!next-input-character;
4976            redo A;
4977          } elsif ($self->{nc} == 0x003E) { # >
4978            !!!parse-error (type => 'unclosed cm group'); ## TODO: type
4979            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
4980            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4981            !!!next-input-character;
4982            !!!emit ($self->{ct}); # ELEMENT
4983            redo A;
4984          } elsif ($self->{nc} == -1) {
4985            !!!parse-error (type => 'unclosed md'); ## TODO: type
4986            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
4987            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
4988            !!!next-input-character;
4989            !!!emit ($self->{ct}); # ELEMENT
4990            redo A;
4991          } else {
4992            !!!parse-error (type => 'after element name'); ## TODO: type
4993            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
4994            $self->{state} = BOGUS_MD_STATE;
4995            !!!next-input-character;
4996            redo A;
4997          }
4998        } elsif ($self->{state} == AFTER_CM_GROUP_CLOSE_STATE) {
4999          if ($is_space->{$self->{nc}}) {
5000            if ($self->{group_depth}) {
5001              $self->{state} = AFTER_CM_ELEMENT_NAME_STATE;
5002            } else {
5003              $self->{state} = AFTER_MD_DEF_STATE;
5004            }
5005            !!!next-input-character;
5006            redo A;
5007          } elsif ($self->{nc} == 0x002A or # *
5008                   $self->{nc} == 0x002B or # +
5009                   $self->{nc} == 0x003F) { # ?
5010            push @{$self->{ct}->{content}}, chr $self->{nc};
5011            if ($self->{group_depth}) {
5012              $self->{state} = AFTER_CM_ELEMENT_NAME_STATE;
5013            } else {
5014              $self->{state} = AFTER_MD_DEF_STATE;
5015            }
5016            !!!next-input-character;
5017            redo A;
5018          } elsif ($self->{nc} == 0x0029) { # )
5019            if ($self->{group_depth}) {
5020              $self->{group_depth}--;
5021              push @{$self->{ct}->{content}}, chr $self->{nc};
5022              ## Stay in the state.
5023              !!!next-input-character;
5024              redo A;
5025            } else {
5026              !!!parse-error (type => 'string after md def'); ## TODO: type
5027              $self->{state} = BOGUS_MD_STATE;
5028              ## Reconsume.
5029              redo A;
5030            }
5031          } elsif ($self->{nc} == 0x003E) { # >
5032            if ($self->{group_depth}) {
5033              !!!parse-error (type => 'unclosed cm group'); ## TODO: type
5034              push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
5035            }
5036            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
5037            !!!next-input-character;
5038            !!!emit ($self->{ct}); # ELEMENT
5039            redo A;
5040          } elsif ($self->{nc} == -1) {
5041            !!!parse-error (type => 'unclosed md'); ## TODO: type
5042            push @{$self->{ct}->{content}}, (')') x $self->{group_depth};
5043            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
5044            !!!next-input-character;
5045            !!!emit ($self->{ct}); # ELEMENT
5046            redo A;
5047          } else {
5048            if ($self->{group_depth}) {
5049              $self->{state} = AFTER_CM_ELEMENT_NAME_STATE;
5050            } else {
5051              !!!parse-error (type => 'string after md def'); ## TODO: type
5052              $self->{state} = BOGUS_MD_STATE;
5053            }
5054            ## Reconsume.
5055            redo A;
5056          }
5057        } elsif ($self->{state} == AFTER_MD_DEF_STATE) {
5058          if ($is_space->{$self->{nc}}) {
5059            ## Stay in the state.
5060            !!!next-input-character;
5061            redo A;
5062          } elsif ($self->{nc} == 0x003E) { # >
5063            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
5064            !!!next-input-character;
5065            !!!emit ($self->{ct}); # ENTITY/ELEMENT
5066            redo A;
5067          } elsif ($self->{nc} == -1) {
5068            !!!parse-error (type => 'unclosed md'); ## TODO: type
5069            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
5070            !!!next-input-character;
5071            !!!emit ($self->{ct}); # ENTITY/ELEMENT
5072            redo A;
5073          } else {
5074            !!!parse-error (type => 'string after md def'); ## TODO: type
5075            $self->{state} = BOGUS_MD_STATE;
5076            ## Reconsume.
5077            redo A;
5078          }
5079        } elsif ($self->{state} == BOGUS_MD_STATE) {
5080          if ($self->{nc} == 0x003E) { # >
5081            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
5082            !!!next-input-character;
5083            !!!emit ($self->{ct}); # ATTLIST/ENTITY/NOTATION
5084            redo A;
5085          } elsif ($self->{nc} == -1) {
5086            $self->{state} = DOCTYPE_INTERNAL_SUBSET_STATE;
5087            ## Reconsume.
5088            !!!emit ($self->{ct}); # ATTLIST/ENTITY/NOTATION
5089            redo A;
5090          } else {
5091            ## Stay in the state.
5092            !!!next-input-character;
5093            redo A;
5094          }
5095      } else {      } else {
5096        die "$0: $self->{state}: Unknown state";        die "$0: $self->{state}: Unknown state";
5097      }      }
Legend:
Removed from v.1.15  
changed lines
  Added in v.1.23
admin@suikawiki.org
 ViewVC Help
Powered by ViewVC 1.1.24