/[suikacvs]/markup/html/whatpm/Whatpm/HTML.pm.src
Suika

Diff of /markup/html/whatpm/Whatpm/HTML.pm.src

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 1.93 by wakaba, Sat Mar 8 03:43:48 2008 UTC revision 1.164 by wakaba, Sat Sep 13 06:33:39 2008 UTC
# Line 8  use Error qw(:try); Line 8  use Error qw(:try);
8  ## doc.write ('');  ## doc.write ('');
9  ## alert (doc.compatMode);  ## alert (doc.compatMode);
10    
11  ## TODO: Control charcters and noncharacters are not allowed (HTML5 revision 1263)  require IO::Handle;
12  ## TODO: 1252 parse error (revision 1264)  
13  ## TODO: 8859-11 = 874 (revision 1271)  my $HTML_NS = q<http://www.w3.org/1999/xhtml>;
14    my $MML_NS = q<http://www.w3.org/1998/Math/MathML>;
15  my $permitted_slash_tag_name = {  my $SVG_NS = q<http://www.w3.org/2000/svg>;
16    base => 1,  my $XLINK_NS = q<http://www.w3.org/1999/xlink>;
17    link => 1,  my $XML_NS = q<http://www.w3.org/XML/1998/namespace>;
18    meta => 1,  my $XMLNS_NS = q<http://www.w3.org/2000/xmlns/>;
19    hr => 1,  
20    br => 1,  sub A_EL () { 0b1 }
21    img => 1,  sub ADDRESS_EL () { 0b10 }
22    embed => 1,  sub BODY_EL () { 0b100 }
23    param => 1,  sub BUTTON_EL () { 0b1000 }
24    area => 1,  sub CAPTION_EL () { 0b10000 }
25    col => 1,  sub DD_EL () { 0b100000 }
26    input => 1,  sub DIV_EL () { 0b1000000 }
27    sub DT_EL () { 0b10000000 }
28    sub FORM_EL () { 0b100000000 }
29    sub FORMATTING_EL () { 0b1000000000 }
30    sub FRAMESET_EL () { 0b10000000000 }
31    sub HEADING_EL () { 0b100000000000 }
32    sub HTML_EL () { 0b1000000000000 }
33    sub LI_EL () { 0b10000000000000 }
34    sub NOBR_EL () { 0b100000000000000 }
35    sub OPTION_EL () { 0b1000000000000000 }
36    sub OPTGROUP_EL () { 0b10000000000000000 }
37    sub P_EL () { 0b100000000000000000 }
38    sub SELECT_EL () { 0b1000000000000000000 }
39    sub TABLE_EL () { 0b10000000000000000000 }
40    sub TABLE_CELL_EL () { 0b100000000000000000000 }
41    sub TABLE_ROW_EL () { 0b1000000000000000000000 }
42    sub TABLE_ROW_GROUP_EL () { 0b10000000000000000000000 }
43    sub MISC_SCOPING_EL () { 0b100000000000000000000000 }
44    sub MISC_SPECIAL_EL () { 0b1000000000000000000000000 }
45    sub FOREIGN_EL () { 0b10000000000000000000000000 }
46    sub FOREIGN_FLOW_CONTENT_EL () { 0b100000000000000000000000000 }
47    sub MML_AXML_EL () { 0b1000000000000000000000000000 }
48    sub RUBY_EL () { 0b10000000000000000000000000000 }
49    sub RUBY_COMPONENT_EL () { 0b100000000000000000000000000000 }
50    
51    sub TABLE_ROWS_EL () {
52      TABLE_EL |
53      TABLE_ROW_EL |
54      TABLE_ROW_GROUP_EL
55    }
56    
57    ## NOTE: Used in "generate implied end tags" algorithm.
58    ## NOTE: There is a code where a modified version of END_TAG_OPTIONAL_EL
59    ## is used in "generate implied end tags" implementation (search for the
60    ## function mae).
61    sub END_TAG_OPTIONAL_EL () {
62      DD_EL |
63      DT_EL |
64      LI_EL |
65      P_EL |
66      RUBY_COMPONENT_EL
67    }
68    
69    ## NOTE: Used in </body> and EOF algorithms.
70    sub ALL_END_TAG_OPTIONAL_EL () {
71      DD_EL |
72      DT_EL |
73      LI_EL |
74      P_EL |
75    
76      BODY_EL |
77      HTML_EL |
78      TABLE_CELL_EL |
79      TABLE_ROW_EL |
80      TABLE_ROW_GROUP_EL
81    }
82    
83    sub SCOPING_EL () {
84      BUTTON_EL |
85      CAPTION_EL |
86      HTML_EL |
87      TABLE_EL |
88      TABLE_CELL_EL |
89      MISC_SCOPING_EL
90    }
91    
92    sub TABLE_SCOPING_EL () {
93      HTML_EL |
94      TABLE_EL
95    }
96    
97    sub TABLE_ROWS_SCOPING_EL () {
98      HTML_EL |
99      TABLE_ROW_GROUP_EL
100    }
101    
102    sub TABLE_ROW_SCOPING_EL () {
103      HTML_EL |
104      TABLE_ROW_EL
105    }
106    
107    sub SPECIAL_EL () {
108      ADDRESS_EL |
109      BODY_EL |
110      DIV_EL |
111    
112      DD_EL |
113      DT_EL |
114      LI_EL |
115      P_EL |
116    
117      FORM_EL |
118      FRAMESET_EL |
119      HEADING_EL |
120      OPTION_EL |
121      OPTGROUP_EL |
122      SELECT_EL |
123      TABLE_ROW_EL |
124      TABLE_ROW_GROUP_EL |
125      MISC_SPECIAL_EL
126    }
127    
128    my $el_category = {
129      a => A_EL | FORMATTING_EL,
130      address => ADDRESS_EL,
131      applet => MISC_SCOPING_EL,
132      area => MISC_SPECIAL_EL,
133      b => FORMATTING_EL,
134      base => MISC_SPECIAL_EL,
135      basefont => MISC_SPECIAL_EL,
136      bgsound => MISC_SPECIAL_EL,
137      big => FORMATTING_EL,
138      blockquote => MISC_SPECIAL_EL,
139      body => BODY_EL,
140      br => MISC_SPECIAL_EL,
141      button => BUTTON_EL,
142      caption => CAPTION_EL,
143      center => MISC_SPECIAL_EL,
144      col => MISC_SPECIAL_EL,
145      colgroup => MISC_SPECIAL_EL,
146      dd => DD_EL,
147      dir => MISC_SPECIAL_EL,
148      div => DIV_EL,
149      dl => MISC_SPECIAL_EL,
150      dt => DT_EL,
151      em => FORMATTING_EL,
152      embed => MISC_SPECIAL_EL,
153      fieldset => MISC_SPECIAL_EL,
154      font => FORMATTING_EL,
155      form => FORM_EL,
156      frame => MISC_SPECIAL_EL,
157      frameset => FRAMESET_EL,
158      h1 => HEADING_EL,
159      h2 => HEADING_EL,
160      h3 => HEADING_EL,
161      h4 => HEADING_EL,
162      h5 => HEADING_EL,
163      h6 => HEADING_EL,
164      head => MISC_SPECIAL_EL,
165      hr => MISC_SPECIAL_EL,
166      html => HTML_EL,
167      i => FORMATTING_EL,
168      iframe => MISC_SPECIAL_EL,
169      img => MISC_SPECIAL_EL,
170      input => MISC_SPECIAL_EL,
171      isindex => MISC_SPECIAL_EL,
172      li => LI_EL,
173      link => MISC_SPECIAL_EL,
174      listing => MISC_SPECIAL_EL,
175      marquee => MISC_SCOPING_EL,
176      menu => MISC_SPECIAL_EL,
177      meta => MISC_SPECIAL_EL,
178      nobr => NOBR_EL | FORMATTING_EL,
179      noembed => MISC_SPECIAL_EL,
180      noframes => MISC_SPECIAL_EL,
181      noscript => MISC_SPECIAL_EL,
182      object => MISC_SCOPING_EL,
183      ol => MISC_SPECIAL_EL,
184      optgroup => OPTGROUP_EL,
185      option => OPTION_EL,
186      p => P_EL,
187      param => MISC_SPECIAL_EL,
188      plaintext => MISC_SPECIAL_EL,
189      pre => MISC_SPECIAL_EL,
190      rp => RUBY_COMPONENT_EL,
191      rt => RUBY_COMPONENT_EL,
192      ruby => RUBY_EL,
193      s => FORMATTING_EL,
194      script => MISC_SPECIAL_EL,
195      select => SELECT_EL,
196      small => FORMATTING_EL,
197      spacer => MISC_SPECIAL_EL,
198      strike => FORMATTING_EL,
199      strong => FORMATTING_EL,
200      style => MISC_SPECIAL_EL,
201      table => TABLE_EL,
202      tbody => TABLE_ROW_GROUP_EL,
203      td => TABLE_CELL_EL,
204      textarea => MISC_SPECIAL_EL,
205      tfoot => TABLE_ROW_GROUP_EL,
206      th => TABLE_CELL_EL,
207      thead => TABLE_ROW_GROUP_EL,
208      title => MISC_SPECIAL_EL,
209      tr => TABLE_ROW_EL,
210      tt => FORMATTING_EL,
211      u => FORMATTING_EL,
212      ul => MISC_SPECIAL_EL,
213      wbr => MISC_SPECIAL_EL,
214    };
215    
216    my $el_category_f = {
217      $MML_NS => {
218        'annotation-xml' => MML_AXML_EL,
219        mi => FOREIGN_FLOW_CONTENT_EL,
220        mo => FOREIGN_FLOW_CONTENT_EL,
221        mn => FOREIGN_FLOW_CONTENT_EL,
222        ms => FOREIGN_FLOW_CONTENT_EL,
223        mtext => FOREIGN_FLOW_CONTENT_EL,
224      },
225      $SVG_NS => {
226        foreignObject => FOREIGN_FLOW_CONTENT_EL,
227        desc => FOREIGN_FLOW_CONTENT_EL,
228        title => FOREIGN_FLOW_CONTENT_EL,
229      },
230      ## NOTE: In addition, FOREIGN_EL is set to non-HTML elements.
231    };
232    
233    my $svg_attr_name = {
234      attributename => 'attributeName',
235      attributetype => 'attributeType',
236      basefrequency => 'baseFrequency',
237      baseprofile => 'baseProfile',
238      calcmode => 'calcMode',
239      clippathunits => 'clipPathUnits',
240      contentscripttype => 'contentScriptType',
241      contentstyletype => 'contentStyleType',
242      diffuseconstant => 'diffuseConstant',
243      edgemode => 'edgeMode',
244      externalresourcesrequired => 'externalResourcesRequired',
245      filterres => 'filterRes',
246      filterunits => 'filterUnits',
247      glyphref => 'glyphRef',
248      gradienttransform => 'gradientTransform',
249      gradientunits => 'gradientUnits',
250      kernelmatrix => 'kernelMatrix',
251      kernelunitlength => 'kernelUnitLength',
252      keypoints => 'keyPoints',
253      keysplines => 'keySplines',
254      keytimes => 'keyTimes',
255      lengthadjust => 'lengthAdjust',
256      limitingconeangle => 'limitingConeAngle',
257      markerheight => 'markerHeight',
258      markerunits => 'markerUnits',
259      markerwidth => 'markerWidth',
260      maskcontentunits => 'maskContentUnits',
261      maskunits => 'maskUnits',
262      numoctaves => 'numOctaves',
263      pathlength => 'pathLength',
264      patterncontentunits => 'patternContentUnits',
265      patterntransform => 'patternTransform',
266      patternunits => 'patternUnits',
267      pointsatx => 'pointsAtX',
268      pointsaty => 'pointsAtY',
269      pointsatz => 'pointsAtZ',
270      preservealpha => 'preserveAlpha',
271      preserveaspectratio => 'preserveAspectRatio',
272      primitiveunits => 'primitiveUnits',
273      refx => 'refX',
274      refy => 'refY',
275      repeatcount => 'repeatCount',
276      repeatdur => 'repeatDur',
277      requiredextensions => 'requiredExtensions',
278      requiredfeatures => 'requiredFeatures',
279      specularconstant => 'specularConstant',
280      specularexponent => 'specularExponent',
281      spreadmethod => 'spreadMethod',
282      startoffset => 'startOffset',
283      stddeviation => 'stdDeviation',
284      stitchtiles => 'stitchTiles',
285      surfacescale => 'surfaceScale',
286      systemlanguage => 'systemLanguage',
287      tablevalues => 'tableValues',
288      targetx => 'targetX',
289      targety => 'targetY',
290      textlength => 'textLength',
291      viewbox => 'viewBox',
292      viewtarget => 'viewTarget',
293      xchannelselector => 'xChannelSelector',
294      ychannelselector => 'yChannelSelector',
295      zoomandpan => 'zoomAndPan',
296  };  };
297    
298    my $foreign_attr_xname = {
299      'xlink:actuate' => [$XLINK_NS, ['xlink', 'actuate']],
300      'xlink:arcrole' => [$XLINK_NS, ['xlink', 'arcrole']],
301      'xlink:href' => [$XLINK_NS, ['xlink', 'href']],
302      'xlink:role' => [$XLINK_NS, ['xlink', 'role']],
303      'xlink:show' => [$XLINK_NS, ['xlink', 'show']],
304      'xlink:title' => [$XLINK_NS, ['xlink', 'title']],
305      'xlink:type' => [$XLINK_NS, ['xlink', 'type']],
306      'xml:base' => [$XML_NS, ['xml', 'base']],
307      'xml:lang' => [$XML_NS, ['xml', 'lang']],
308      'xml:space' => [$XML_NS, ['xml', 'space']],
309      'xmlns' => [$XMLNS_NS, [undef, 'xmlns']],
310      'xmlns:xlink' => [$XMLNS_NS, ['xmlns', 'xlink']],
311    };
312    
313    ## ISSUE: xmlns:xlink="non-xlink-ns" is not an error.
314    
315  my $c1_entity_char = {  my $c1_entity_char = {
316    0x80 => 0x20AC,    0x80 => 0x20AC,
317    0x81 => 0xFFFD,    0x81 => 0xFFFD,
# Line 61  my $c1_entity_char = { Line 347  my $c1_entity_char = {
347    0x9F => 0x0178,    0x9F => 0x0178,
348  }; # $c1_entity_char  }; # $c1_entity_char
349    
 my $special_category = {  
   address => 1, area => 1, base => 1, basefont => 1, bgsound => 1,  
   blockquote => 1, body => 1, br => 1, center => 1, col => 1, colgroup => 1,  
   dd => 1, dir => 1, div => 1, dl => 1, dt => 1, embed => 1, fieldset => 1,  
   form => 1, frame => 1, frameset => 1, h1 => 1, h2 => 1, h3 => 1,  
   h4 => 1, h5 => 1, h6 => 1, head => 1, hr => 1, iframe => 1, image => 1,  
   img => 1, input => 1, isindex => 1, li => 1, link => 1, listing => 1,  
   menu => 1, meta => 1, noembed => 1, noframes => 1, noscript => 1,  
   ol => 1, optgroup => 1, option => 1, p => 1, param => 1, plaintext => 1,  
   pre => 1, script => 1, select => 1, spacer => 1, style => 1, tbody => 1,  
   textarea => 1, tfoot => 1, thead => 1, title => 1, tr => 1, ul => 1, wbr => 1,  
 };  
 my $scoping_category = {  
   button => 1, caption => 1, html => 1, marquee => 1, object => 1,  
   table => 1, td => 1, th => 1,  
 };  
 my $formatting_category = {  
   a => 1, b => 1, big => 1, em => 1, font => 1, i => 1, nobr => 1,  
   s => 1, small => 1, strile => 1, strong => 1, tt => 1, u => 1,  
 };  
 # $phrasing_category: all other elements  
   
350  sub parse_byte_string ($$$$;$) {  sub parse_byte_string ($$$$;$) {
351      my $self = shift;
352      my $charset_name = shift;
353      open my $input, '<', ref $_[0] ? $_[0] : \($_[0]);
354      return $self->parse_byte_stream ($charset_name, $input, @_[1..$#_]);
355    } # parse_byte_string
356    
357    sub parse_byte_stream ($$$$;$$) {
358      # my ($self, $charset_name, $byte_stream, $doc, $onerror, $get_wrapper) = @_;
359    my $self = ref $_[0] ? shift : shift->new;    my $self = ref $_[0] ? shift : shift->new;
360    my $charset = shift;    my $charset_name = shift;
361    my $bytes_s = ref $_[0] ? $_[0] : \($_[0]);    my $byte_stream = $_[0];
   my $s;  
     
   if (defined $charset) {  
     require Encode; ## TODO: decode(utf8) don't delete BOM  
     $s = \ (Encode::decode ($charset, $$bytes_s));  
     $self->{input_encoding} = lc $charset; ## TODO: normalize name  
     $self->{confident} = 1;  
   } else {  
     ## TODO: Implement HTML5 detection algorithm  
     require Whatpm::Charset::UniversalCharDet;  
     $charset = Whatpm::Charset::UniversalCharDet->detect_byte_string  
         (substr ($$bytes_s, 0, 1024));  
     $charset ||= 'windows-1252';  
     $s = \ (Encode::decode ($charset, $$bytes_s));  
     $self->{input_encoding} = $charset;  
     $self->{confident} = 0;  
   }  
362    
363    $self->{change_encoding} = sub {    my $onerror = $_[2] || sub {
364      my $self = shift;      my (%opt) = @_;
365      my $charset = lc shift;      warn "Parse error ($opt{type})\n";
366      ## TODO: if $charset is supported    };
367      ## TODO: normalize charset name    $self->{parse_error} = $onerror; # updated later by parse_char_string
368    
369      ## "Change the encoding" algorithm:    my $get_wrapper = $_[3] || sub ($) {
370        return $_[0]; # $_[0] = byte stream handle, returned = arg to char handle
371      ## Step 1        };
372      if ($charset eq 'utf-16') { ## ISSUE: UTF-16BE -> UTF-8? UTF-16LE -> UTF-8?  
373        $charset = 'utf-8';    ## HTML5 encoding sniffing algorithm
374      require Message::Charset::Info;
375      my $charset;
376      my $buffer;
377      my ($char_stream, $e_status);
378    
379      SNIFFING: {
380        ## NOTE: By setting |allow_fallback| option true when the
381        ## |get_decode_handle| method is invoked, we ignore what the HTML5
382        ## spec requires, i.e. unsupported encoding should be ignored.
383          ## TODO: We should not do this unless the parser is invoked
384          ## in the conformance checking mode, in which this behavior
385          ## would be useful.
386    
387        ## Step 1
388        if (defined $charset_name) {
389          $charset = Message::Charset::Info->get_by_html_name ($charset_name);
390              ## TODO: Is this ok?  Transfer protocol's parameter should be
391              ## interpreted in its semantics?
392    
393          ## ISSUE: Unsupported encoding is not ignored according to the spec.
394          ($char_stream, $e_status) = $charset->get_decode_handle
395              ($byte_stream, allow_error_reporting => 1,
396               allow_fallback => 1);
397          if ($char_stream) {
398            $self->{confident} = 1;
399            last SNIFFING;
400          } else {
401            ## TODO: unsupported error
402          }
403      }      }
404    
405      ## Step 2      ## Step 2
406      if (defined $self->{input_encoding} and      my $byte_buffer = '';
407          $self->{input_encoding} eq $charset) {      for (1..1024) {
408          my $char = $byte_stream->getc;
409          last unless defined $char;
410          $byte_buffer .= $char;
411        } ## TODO: timeout
412    
413        ## Step 3
414        if ($byte_buffer =~ /^\xFE\xFF/) {
415          $charset = Message::Charset::Info->get_by_html_name ('utf-16be');
416          ($char_stream, $e_status) = $charset->get_decode_handle
417              ($byte_stream, allow_error_reporting => 1,
418               allow_fallback => 1, byte_buffer => \$byte_buffer);
419        $self->{confident} = 1;        $self->{confident} = 1;
420        return;        last SNIFFING;
421        } elsif ($byte_buffer =~ /^\xFF\xFE/) {
422          $charset = Message::Charset::Info->get_by_html_name ('utf-16le');
423          ($char_stream, $e_status) = $charset->get_decode_handle
424              ($byte_stream, allow_error_reporting => 1,
425               allow_fallback => 1, byte_buffer => \$byte_buffer);
426          $self->{confident} = 1;
427          last SNIFFING;
428        } elsif ($byte_buffer =~ /^\xEF\xBB\xBF/) {
429          $charset = Message::Charset::Info->get_by_html_name ('utf-8');
430          ($char_stream, $e_status) = $charset->get_decode_handle
431              ($byte_stream, allow_error_reporting => 1,
432               allow_fallback => 1, byte_buffer => \$byte_buffer);
433          $self->{confident} = 1;
434          last SNIFFING;
435      }      }
436    
437      !!!parse-error (type => 'charset label detected:'.$self->{input_encoding}.      ## Step 4
438          ':'.$charset, level => 'w');      ## TODO: <meta charset>
439    
440      ## Step 3      ## Step 5
441      # if (can) {      ## TODO: from history
       ## change the encoding on the fly.  
       #$self->{confident} = 1;  
       #return;  
     # }  
442    
443      ## Step 4      ## Step 6
444      throw Whatpm::HTML::RestartParser (charset => $charset);      require Whatpm::Charset::UniversalCharDet;
445        $charset_name = Whatpm::Charset::UniversalCharDet->detect_byte_string
446            ($byte_buffer);
447        if (defined $charset_name) {
448          $charset = Message::Charset::Info->get_by_html_name ($charset_name);
449    
450          ## ISSUE: Unsupported encoding is not ignored according to the spec.
451          require Whatpm::Charset::DecodeHandle;
452          $buffer = Whatpm::Charset::DecodeHandle::ByteBuffer->new
453              ($byte_stream);
454          ($char_stream, $e_status) = $charset->get_decode_handle
455              ($buffer, allow_error_reporting => 1,
456               allow_fallback => 1, byte_buffer => \$byte_buffer);
457          if ($char_stream) {
458            $buffer->{buffer} = $byte_buffer;
459            !!!parse-error (type => 'sniffing:chardet',
460                            text => $charset_name,
461                            level => $self->{level}->{info},
462                            layer => 'encode',
463                            line => 1, column => 1);
464            $self->{confident} = 0;
465            last SNIFFING;
466          }
467        }
468    
469        ## Step 7: default
470        ## TODO: Make this configurable.
471        $charset = Message::Charset::Info->get_by_html_name ('windows-1252');
472            ## NOTE: We choose |windows-1252| here, since |utf-8| should be
473            ## detectable in the step 6.
474        require Whatpm::Charset::DecodeHandle;
475        $buffer = Whatpm::Charset::DecodeHandle::ByteBuffer->new
476            ($byte_stream);
477        ($char_stream, $e_status)
478            = $charset->get_decode_handle ($buffer,
479                                           allow_error_reporting => 1,
480                                           allow_fallback => 1,
481                                           byte_buffer => \$byte_buffer);
482        $buffer->{buffer} = $byte_buffer;
483        !!!parse-error (type => 'sniffing:default',
484                        text => 'windows-1252',
485                        level => $self->{level}->{info},
486                        line => 1, column => 1,
487                        layer => 'encode');
488        $self->{confident} = 0;
489      } # SNIFFING
490    
491      if ($e_status & Message::Charset::Info::FALLBACK_ENCODING_IMPL ()) {
492        $self->{input_encoding} = $charset->get_iana_name; ## TODO: Should we set actual charset decoder's encoding name?
493        !!!parse-error (type => 'chardecode:fallback',
494                        #text => $self->{input_encoding},
495                        level => $self->{level}->{uncertain},
496                        line => 1, column => 1,
497                        layer => 'encode');
498      } elsif (not ($e_status &
499                    Message::Charset::Info::ERROR_REPORTING_ENCODING_IMPL())) {
500        $self->{input_encoding} = $charset->get_iana_name;
501        !!!parse-error (type => 'chardecode:no error',
502                        text => $self->{input_encoding},
503                        level => $self->{level}->{uncertain},
504                        line => 1, column => 1,
505                        layer => 'encode');
506      } else {
507        $self->{input_encoding} = $charset->get_iana_name;
508      }
509    
510      $self->{change_encoding} = sub {
511        my $self = shift;
512        $charset_name = shift;
513        my $token = shift;
514    
515        $charset = Message::Charset::Info->get_by_html_name ($charset_name);
516        ($char_stream, $e_status) = $charset->get_decode_handle
517            ($byte_stream, allow_error_reporting => 1, allow_fallback => 1,
518             byte_buffer => \ $buffer->{buffer});
519        
520        if ($char_stream) { # if supported
521          ## "Change the encoding" algorithm:
522    
523          ## Step 1    
524          if ($charset->{category} &
525              Message::Charset::Info::CHARSET_CATEGORY_UTF16 ()) {
526            $charset = Message::Charset::Info->get_by_html_name ('utf-8');
527            ($char_stream, $e_status) = $charset->get_decode_handle
528                ($byte_stream,
529                 byte_buffer => \ $buffer->{buffer});
530          }
531          $charset_name = $charset->get_iana_name;
532          
533          ## Step 2
534          if (defined $self->{input_encoding} and
535              $self->{input_encoding} eq $charset_name) {
536            !!!parse-error (type => 'charset label:matching',
537                            text => $charset_name,
538                            level => $self->{level}->{info});
539            $self->{confident} = 1;
540            return;
541          }
542    
543          !!!parse-error (type => 'charset label detected',
544                          text => $self->{input_encoding},
545                          value => $charset_name,
546                          level => $self->{level}->{warn},
547                          token => $token);
548          
549          ## Step 3
550          # if (can) {
551            ## change the encoding on the fly.
552            #$self->{confident} = 1;
553            #return;
554          # }
555          
556          ## Step 4
557          throw Whatpm::HTML::RestartParser ();
558        }
559    }; # $self->{change_encoding}    }; # $self->{change_encoding}
560    
561      my $char_onerror = sub {
562        my (undef, $type, %opt) = @_;
563        !!!parse-error (layer => 'encode',
564                        %opt, type => $type,
565                        line => $self->{line}, column => $self->{column} + 1);
566        if ($opt{octets}) {
567          ${$opt{octets}} = "\x{FFFD}"; # relacement character
568        }
569      };
570    
571      my $wrapped_char_stream = $get_wrapper->($char_stream);
572      $wrapped_char_stream->onerror ($char_onerror);
573    
574    my @args = @_; shift @args; # $s    my @args = @_; shift @args; # $s
575    my $return;    my $return;
576    try {    try {
577      $return = $self->parse_char_string ($s, @args);        $return = $self->parse_char_stream ($wrapped_char_stream, @args);  
578    } catch Whatpm::HTML::RestartParser with {    } catch Whatpm::HTML::RestartParser with {
579      my $charset = shift->{charset};      ## NOTE: Invoked after {change_encoding}.
580      $s = \ (Encode::decode ($charset, $$bytes_s));      
581      $self->{input_encoding} = $charset; ## TODO: normalize      if ($e_status & Message::Charset::Info::FALLBACK_ENCODING_IMPL ()) {
582          $self->{input_encoding} = $charset->get_iana_name; ## TODO: Should we set actual charset decoder's encoding name?
583          !!!parse-error (type => 'chardecode:fallback',
584                          level => $self->{level}->{uncertain},
585                          #text => $self->{input_encoding},
586                          line => 1, column => 1,
587                          layer => 'encode');
588        } elsif (not ($e_status &
589                      Message::Charset::Info::ERROR_REPORTING_ENCODING_IMPL())) {
590          $self->{input_encoding} = $charset->get_iana_name;
591          !!!parse-error (type => 'chardecode:no error',
592                          text => $self->{input_encoding},
593                          level => $self->{level}->{uncertain},
594                          line => 1, column => 1,
595                          layer => 'encode');
596        } else {
597          $self->{input_encoding} = $charset->get_iana_name;
598        }
599      $self->{confident} = 1;      $self->{confident} = 1;
600      $return = $self->parse_char_string ($s, @args);  
601        $wrapped_char_stream = $get_wrapper->($char_stream);
602        $wrapped_char_stream->onerror ($char_onerror);
603    
604        $return = $self->parse_char_stream ($wrapped_char_stream, @args);
605    };    };
606    return $return;    return $return;
607  } # parse_byte_string  } # parse_byte_stream
608    
609  ## NOTE: HTML5 spec says that the encoding layer MUST NOT strip BOM  ## NOTE: HTML5 spec says that the encoding layer MUST NOT strip BOM
610  ## and the HTML layer MUST ignore it.  However, we does strip BOM in  ## and the HTML layer MUST ignore it.  However, we does strip BOM in
# Line 162  sub parse_byte_string ($$$$;$) { Line 615  sub parse_byte_string ($$$$;$) {
615  ## such as |parse_byte_string| in this module, must ensure that it does  ## such as |parse_byte_string| in this module, must ensure that it does
616  ## strip the BOM and never strip any ZWNBSP.  ## strip the BOM and never strip any ZWNBSP.
617    
618  *parse_char_string = \&parse_string;  sub parse_char_string ($$$;$$) {
619      #my ($self, $s, $doc, $onerror, $get_wrapper) = @_;
620      my $self = shift;
621      require utf8;
622      my $s = ref $_[0] ? $_[0] : \($_[0]);
623      open my $input, '<' . (utf8::is_utf8 ($$s) ? ':utf8' : ''), $s;
624      if ($_[3]) {
625        $input = $_[3]->($input);
626      }
627      return $self->parse_char_stream ($input, @_[1..$#_]);
628    } # parse_char_string
629    *parse_string = \&parse_char_string; ## NOTE: Alias for backward compatibility.
630    
631  sub parse_string ($$$;$) {  sub parse_char_stream ($$$;$) {
632    my $self = ref $_[0] ? shift : shift->new;    my $self = ref $_[0] ? shift : shift->new;
633    my $s = ref $_[0] ? $_[0] : \($_[0]);    my $input = $_[0];
634    $self->{document} = $_[1];    $self->{document} = $_[1];
635    @{$self->{document}->child_nodes} = ();    @{$self->{document}->child_nodes} = ();
636    
# Line 177  sub parse_string ($$$;$) { Line 641  sub parse_string ($$$;$) {
641        if defined $self->{input_encoding};        if defined $self->{input_encoding};
642    
643    my $i = 0;    my $i = 0;
644    my $line = 1;    $self->{line_prev} = $self->{line} = 1;
645    my $column = 0;    $self->{column_prev} = $self->{column} = 0;
646    $self->{set_next_char} = sub {    $self->{set_next_char} = sub {
647      my $self = shift;      my $self = shift;
648    
649      pop @{$self->{prev_char}};      pop @{$self->{prev_char}};
650      unshift @{$self->{prev_char}}, $self->{next_char};      unshift @{$self->{prev_char}}, $self->{next_char};
651    
652      $self->{next_char} = -1 and return if $i >= length $$s;      my $char;
653      $self->{next_char} = ord substr $$s, $i++, 1;      if (defined $self->{next_next_char}) {
654      $column++;        $char = $self->{next_next_char};
655          delete $self->{next_next_char};
656        } else {
657          $char = $input->getc;
658        }
659        $self->{next_char} = -1 and return unless defined $char;
660        $self->{next_char} = ord $char;
661    
662        ($self->{line_prev}, $self->{column_prev})
663            = ($self->{line}, $self->{column});
664        $self->{column}++;
665            
666      if ($self->{next_char} == 0x000A) { # LF      if ($self->{next_char} == 0x000A) { # LF
667        $line++;        !!!cp ('j1');
668        $column = 0;        $self->{line}++;
669          $self->{column} = 0;
670      } elsif ($self->{next_char} == 0x000D) { # CR      } elsif ($self->{next_char} == 0x000D) { # CR
671        $i++ if substr ($$s, $i, 1) eq "\x0A";        !!!cp ('j2');
672          my $next = $input->getc;
673          if (defined $next and $next ne "\x0A") {
674            $self->{next_next_char} = $next;
675          }
676        $self->{next_char} = 0x000A; # LF # MUST        $self->{next_char} = 0x000A; # LF # MUST
677        $line++;        $self->{line}++;
678        $column = 0;        $self->{column} = 0;
679      } elsif ($self->{next_char} > 0x10FFFF) {      } elsif ($self->{next_char} > 0x10FFFF) {
680          !!!cp ('j3');
681        $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST        $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST
682      } elsif ($self->{next_char} == 0x0000) { # NULL      } elsif ($self->{next_char} == 0x0000) { # NULL
683          !!!cp ('j4');
684        !!!parse-error (type => 'NULL');        !!!parse-error (type => 'NULL');
685        $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST        $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST
686        } elsif ($self->{next_char} <= 0x0008 or
687                 (0x000E <= $self->{next_char} and $self->{next_char} <= 0x001F) or
688                 (0x007F <= $self->{next_char} and $self->{next_char} <= 0x009F) or
689                 (0xD800 <= $self->{next_char} and $self->{next_char} <= 0xDFFF) or
690                 (0xFDD0 <= $self->{next_char} and $self->{next_char} <= 0xFDDF) or
691                 {
692                  0xFFFE => 1, 0xFFFF => 1, 0x1FFFE => 1, 0x1FFFF => 1,
693                  0x2FFFE => 1, 0x2FFFF => 1, 0x3FFFE => 1, 0x3FFFF => 1,
694                  0x4FFFE => 1, 0x4FFFF => 1, 0x5FFFE => 1, 0x5FFFF => 1,
695                  0x6FFFE => 1, 0x6FFFF => 1, 0x7FFFE => 1, 0x7FFFF => 1,
696                  0x8FFFE => 1, 0x8FFFF => 1, 0x9FFFE => 1, 0x9FFFF => 1,
697                  0xAFFFE => 1, 0xAFFFF => 1, 0xBFFFE => 1, 0xBFFFF => 1,
698                  0xCFFFE => 1, 0xCFFFF => 1, 0xDFFFE => 1, 0xDFFFF => 1,
699                  0xEFFFE => 1, 0xEFFFF => 1, 0xFFFFE => 1, 0xFFFFF => 1,
700                  0x10FFFE => 1, 0x10FFFF => 1,
701                 }->{$self->{next_char}}) {
702          !!!cp ('j5');
703          if ($self->{next_char} < 0x10000) {
704            !!!parse-error (type => 'control char',
705                            text => (sprintf 'U+%04X', $self->{next_char}));
706          } else {
707            !!!parse-error (type => 'control char',
708                            text => (sprintf 'U-%08X', $self->{next_char}));
709          }
710      }      }
711    };    };
712    $self->{prev_char} = [-1, -1, -1];    $self->{prev_char} = [-1, -1, -1];
# Line 209  sub parse_string ($$$;$) { Line 714  sub parse_string ($$$;$) {
714    
715    my $onerror = $_[2] || sub {    my $onerror = $_[2] || sub {
716      my (%opt) = @_;      my (%opt) = @_;
717      warn "Parse error ($opt{type}) at line $opt{line} column $opt{column}\n";      my $line = $opt{token} ? $opt{token}->{line} : $opt{line};
718        my $column = $opt{token} ? $opt{token}->{column} : $opt{column};
719        warn "Parse error ($opt{type}) at line $line column $column\n";
720    };    };
721    $self->{parse_error} = sub {    $self->{parse_error} = sub {
722      $onerror->(@_, line => $line, column => $column);      $onerror->(line => $self->{line}, column => $self->{column}, @_);
723    };    };
724    
725    $self->_initialize_tokenizer;    $self->_initialize_tokenizer;
# Line 220  sub parse_string ($$$;$) { Line 727  sub parse_string ($$$;$) {
727    $self->_construct_tree;    $self->_construct_tree;
728    $self->_terminate_tree_constructor;    $self->_terminate_tree_constructor;
729    
730      delete $self->{parse_error}; # remove loop
731    
732    return $self->{document};    return $self->{document};
733  } # parse_string  } # parse_char_stream
734    
735  sub new ($) {  sub new ($) {
736    my $class = shift;    my $class = shift;
737    my $self = bless {}, $class;    my $self = bless {
738        level => {must => 'm',
739                  should => 's',
740                  warn => 'w',
741                  info => 'i',
742                  uncertain => 'u'},
743      }, $class;
744    $self->{set_next_char} = sub {    $self->{set_next_char} = sub {
745      $self->{next_char} = -1;      $self->{next_char} = -1;
746    };    };
# Line 287  sub DOCTYPE_SYSTEM_IDENTIFIER_SINGLE_QUO Line 802  sub DOCTYPE_SYSTEM_IDENTIFIER_SINGLE_QUO
802  sub AFTER_DOCTYPE_SYSTEM_IDENTIFIER_STATE () { 31 }  sub AFTER_DOCTYPE_SYSTEM_IDENTIFIER_STATE () { 31 }
803  sub BOGUS_DOCTYPE_STATE () { 32 }  sub BOGUS_DOCTYPE_STATE () { 32 }
804  sub AFTER_ATTRIBUTE_VALUE_QUOTED_STATE () { 33 }  sub AFTER_ATTRIBUTE_VALUE_QUOTED_STATE () { 33 }
805    sub SELF_CLOSING_START_TAG_STATE () { 34 }
806    sub CDATA_BLOCK_STATE () { 35 }
807    sub MD_HYPHEN_STATE () { 36 } # "markup declaration open state" in the spec
808    sub MD_DOCTYPE_STATE () { 37 } # "markup declaration open state" in the spec
809    sub MD_CDATA_STATE () { 38 } # "markup declaration open state" in the spec
810    sub CDATA_PCDATA_CLOSE_TAG_STATE () { 39 } # "close tag open state" in the spec
811    
812  sub DOCTYPE_TOKEN () { 1 }  sub DOCTYPE_TOKEN () { 1 }
813  sub COMMENT_TOKEN () { 2 }  sub COMMENT_TOKEN () { 2 }
# Line 303  sub TABLE_IMS ()      { 0b1000000 } Line 824  sub TABLE_IMS ()      { 0b1000000 }
824  sub ROW_IMS ()        { 0b10000000 }  sub ROW_IMS ()        { 0b10000000 }
825  sub BODY_AFTER_IMS () { 0b100000000 }  sub BODY_AFTER_IMS () { 0b100000000 }
826  sub FRAME_IMS ()      { 0b1000000000 }  sub FRAME_IMS ()      { 0b1000000000 }
827    sub SELECT_IMS ()     { 0b10000000000 }
828    sub IN_FOREIGN_CONTENT_IM () { 0b100000000000 }
829        ## NOTE: "in foreign content" insertion mode is special; it is combined
830        ## with the secondary insertion mode.  In this parser, they are stored
831        ## together in the bit-or'ed form.
832    
833  ## NOTE: "initial" and "before html" insertion modes have no constants.  ## NOTE: "initial" and "before html" insertion modes have no constants.
834    
# Line 325  sub IN_TABLE_IM () { TABLE_IMS } Line 851  sub IN_TABLE_IM () { TABLE_IMS }
851  sub AFTER_BODY_IM () { BODY_AFTER_IMS }  sub AFTER_BODY_IM () { BODY_AFTER_IMS }
852  sub IN_FRAMESET_IM () { FRAME_IMS | 0b01 }  sub IN_FRAMESET_IM () { FRAME_IMS | 0b01 }
853  sub AFTER_FRAMESET_IM () { FRAME_IMS | 0b10 }  sub AFTER_FRAMESET_IM () { FRAME_IMS | 0b10 }
854  sub IN_SELECT_IM () { 0b01 }  sub IN_SELECT_IM () { SELECT_IMS | 0b01 }
855    sub IN_SELECT_IN_TABLE_IM () { SELECT_IMS | 0b10 }
856  sub IN_COLUMN_GROUP_IM () { 0b10 }  sub IN_COLUMN_GROUP_IM () { 0b10 }
857    
858  ## Implementations MUST act as if state machine in the spec  ## Implementations MUST act as if state machine in the spec
# Line 333  sub IN_COLUMN_GROUP_IM () { 0b10 } Line 860  sub IN_COLUMN_GROUP_IM () { 0b10 }
860  sub _initialize_tokenizer ($) {  sub _initialize_tokenizer ($) {
861    my $self = shift;    my $self = shift;
862    $self->{state} = DATA_STATE; # MUST    $self->{state} = DATA_STATE; # MUST
863      #$self->{state_keyword}; # initialized when used
864    $self->{content_model} = PCDATA_CONTENT_MODEL; # be    $self->{content_model} = PCDATA_CONTENT_MODEL; # be
865    undef $self->{current_token}; # start tag, end tag, comment, or DOCTYPE    undef $self->{current_token}; # start tag, end tag, comment, or DOCTYPE
866    undef $self->{current_attribute};    undef $self->{current_attribute};
867    undef $self->{last_emitted_start_tag_name};    undef $self->{last_emitted_start_tag_name};
868    undef $self->{last_attribute_value_state};    undef $self->{last_attribute_value_state};
869      delete $self->{self_closing};
870    $self->{char} = [];    $self->{char} = [];
871    # $self->{next_char}    # $self->{next_char}
872    !!!next-input-character;    !!!next-input-character;
# Line 358  sub _initialize_tokenizer ($) { Line 887  sub _initialize_tokenizer ($) {
887  ##        ->{value}  ##        ->{value}
888  ##        ->{has_reference} == 1 or 0  ##        ->{has_reference} == 1 or 0
889  ##   ->{data} (COMMENT_TOKEN, CHARACTER_TOKEN)  ##   ->{data} (COMMENT_TOKEN, CHARACTER_TOKEN)
890    ## NOTE: The "self-closing flag" is hold as |$self->{self_closing}|.
891    ##     |->{self_closing}| is used to save the value of |$self->{self_closing}|
892    ##     while the token is pushed back to the stack.
893    
894  ## Emitted token MUST immediately be handled by the tree construction state.  ## Emitted token MUST immediately be handled by the tree construction state.
895    
# Line 384  sub _initialize_tokenizer ($) { Line 916  sub _initialize_tokenizer ($) {
916    
917  sub _get_next_token ($) {  sub _get_next_token ($) {
918    my $self = shift;    my $self = shift;
919    
920      if ($self->{self_closing}) {
921        !!!parse-error (type => 'nestc', token => $self->{current_token});
922        ## NOTE: The |self_closing| flag is only set by start tag token.
923        ## In addition, when a start tag token is emitted, it is always set to
924        ## |current_token|.
925        delete $self->{self_closing};
926      }
927    
928    if (@{$self->{token}}) {    if (@{$self->{token}}) {
929        $self->{self_closing} = $self->{token}->[0]->{self_closing};
930      return shift @{$self->{token}};      return shift @{$self->{token}};
931    }    }
932    
# Line 447  sub _get_next_token ($) { Line 989  sub _get_next_token ($) {
989          #          #
990        } elsif ($self->{next_char} == -1) {        } elsif ($self->{next_char} == -1) {
991          !!!cp (11);          !!!cp (11);
992          !!!emit ({type => END_OF_FILE_TOKEN});          !!!emit ({type => END_OF_FILE_TOKEN,
993                      line => $self->{line}, column => $self->{column}});
994          last A; ## TODO: ok?          last A; ## TODO: ok?
995        } else {        } else {
996          !!!cp (12);          !!!cp (12);
997        }        }
998        # Anything else        # Anything else
999        my $token = {type => CHARACTER_TOKEN,        my $token = {type => CHARACTER_TOKEN,
1000                     data => chr $self->{next_char}};                     data => chr $self->{next_char},
1001                       line => $self->{line}, column => $self->{column},
1002                      };
1003        ## Stay in the data state        ## Stay in the data state
1004        !!!next-input-character;        !!!next-input-character;
1005    
# Line 463  sub _get_next_token ($) { Line 1008  sub _get_next_token ($) {
1008        redo A;        redo A;
1009      } elsif ($self->{state} == ENTITY_DATA_STATE) {      } elsif ($self->{state} == ENTITY_DATA_STATE) {
1010        ## (cannot happen in CDATA state)        ## (cannot happen in CDATA state)
1011    
1012          my ($l, $c) = ($self->{line_prev}, $self->{column_prev});
1013                
1014        my $token = $self->_tokenize_attempt_to_consume_an_entity (0, -1);        my $token = $self->_tokenize_attempt_to_consume_an_entity (0, -1);
1015    
# Line 471  sub _get_next_token ($) { Line 1018  sub _get_next_token ($) {
1018    
1019        unless (defined $token) {        unless (defined $token) {
1020          !!!cp (13);          !!!cp (13);
1021          !!!emit ({type => CHARACTER_TOKEN, data => '&'});          !!!emit ({type => CHARACTER_TOKEN, data => '&',
1022                      line => $l, column => $c,
1023                     });
1024        } else {        } else {
1025          !!!cp (14);          !!!cp (14);
1026          !!!emit ($token);          !!!emit ($token);
# Line 490  sub _get_next_token ($) { Line 1039  sub _get_next_token ($) {
1039            ## reconsume            ## reconsume
1040            $self->{state} = DATA_STATE;            $self->{state} = DATA_STATE;
1041    
1042            !!!emit ({type => CHARACTER_TOKEN, data => '<'});            !!!emit ({type => CHARACTER_TOKEN, data => '<',
1043                        line => $self->{line_prev},
1044                        column => $self->{column_prev},
1045                       });
1046    
1047            redo A;            redo A;
1048          }          }
# Line 510  sub _get_next_token ($) { Line 1062  sub _get_next_token ($) {
1062            !!!cp (19);            !!!cp (19);
1063            $self->{current_token}            $self->{current_token}
1064              = {type => START_TAG_TOKEN,              = {type => START_TAG_TOKEN,
1065                 tag_name => chr ($self->{next_char} + 0x0020)};                 tag_name => chr ($self->{next_char} + 0x0020),
1066                   line => $self->{line_prev},
1067                   column => $self->{column_prev}};
1068            $self->{state} = TAG_NAME_STATE;            $self->{state} = TAG_NAME_STATE;
1069            !!!next-input-character;            !!!next-input-character;
1070            redo A;            redo A;
# Line 518  sub _get_next_token ($) { Line 1072  sub _get_next_token ($) {
1072                   $self->{next_char} <= 0x007A) { # a..z                   $self->{next_char} <= 0x007A) { # a..z
1073            !!!cp (20);            !!!cp (20);
1074            $self->{current_token} = {type => START_TAG_TOKEN,            $self->{current_token} = {type => START_TAG_TOKEN,
1075                              tag_name => chr ($self->{next_char})};                                      tag_name => chr ($self->{next_char}),
1076                                        line => $self->{line_prev},
1077                                        column => $self->{column_prev}};
1078            $self->{state} = TAG_NAME_STATE;            $self->{state} = TAG_NAME_STATE;
1079            !!!next-input-character;            !!!next-input-character;
1080            redo A;            redo A;
1081          } elsif ($self->{next_char} == 0x003E) { # >          } elsif ($self->{next_char} == 0x003E) { # >
1082            !!!cp (21);            !!!cp (21);
1083            !!!parse-error (type => 'empty start tag');            !!!parse-error (type => 'empty start tag',
1084                              line => $self->{line_prev},
1085                              column => $self->{column_prev});
1086            $self->{state} = DATA_STATE;            $self->{state} = DATA_STATE;
1087            !!!next-input-character;            !!!next-input-character;
1088    
1089            !!!emit ({type => CHARACTER_TOKEN, data => '<>'});            !!!emit ({type => CHARACTER_TOKEN, data => '<>',
1090                        line => $self->{line_prev},
1091                        column => $self->{column_prev},
1092                       });
1093    
1094            redo A;            redo A;
1095          } elsif ($self->{next_char} == 0x003F) { # ?          } elsif ($self->{next_char} == 0x003F) { # ?
1096            !!!cp (22);            !!!cp (22);
1097            !!!parse-error (type => 'pio');            !!!parse-error (type => 'pio',
1098                              line => $self->{line_prev},
1099                              column => $self->{column_prev});
1100            $self->{state} = BOGUS_COMMENT_STATE;            $self->{state} = BOGUS_COMMENT_STATE;
1101              $self->{current_token} = {type => COMMENT_TOKEN, data => '',
1102                                        line => $self->{line_prev},
1103                                        column => $self->{column_prev},
1104                                       };
1105            ## $self->{next_char} is intentionally left as is            ## $self->{next_char} is intentionally left as is
1106            redo A;            redo A;
1107          } else {          } else {
1108            !!!cp (23);            !!!cp (23);
1109            !!!parse-error (type => 'bare stago');            !!!parse-error (type => 'bare stago',
1110                              line => $self->{line_prev},
1111                              column => $self->{column_prev});
1112            $self->{state} = DATA_STATE;            $self->{state} = DATA_STATE;
1113            ## reconsume            ## reconsume
1114    
1115            !!!emit ({type => CHARACTER_TOKEN, data => '<'});            !!!emit ({type => CHARACTER_TOKEN, data => '<',
1116                        line => $self->{line_prev},
1117                        column => $self->{column_prev},
1118                       });
1119    
1120            redo A;            redo A;
1121          }          }
# Line 551  sub _get_next_token ($) { Line 1123  sub _get_next_token ($) {
1123          die "$0: $self->{content_model} in tag open";          die "$0: $self->{content_model} in tag open";
1124        }        }
1125      } elsif ($self->{state} == CLOSE_TAG_OPEN_STATE) {      } elsif ($self->{state} == CLOSE_TAG_OPEN_STATE) {
1126          ## NOTE: The "close tag open state" in the spec is implemented as
1127          ## |CLOSE_TAG_OPEN_STATE| and |CDATA_PCDATA_CLOSE_TAG_STATE|.
1128    
1129          my ($l, $c) = ($self->{line_prev}, $self->{column_prev} - 1); # "<"of"</"
1130        if ($self->{content_model} & CM_LIMITED_MARKUP) { # RCDATA | CDATA        if ($self->{content_model} & CM_LIMITED_MARKUP) { # RCDATA | CDATA
1131          if (defined $self->{last_emitted_start_tag_name}) {          if (defined $self->{last_emitted_start_tag_name}) {
1132            ## NOTE: <http://krijnhoetmer.nl/irc-logs/whatwg/20070626#l-564>            $self->{state} = CDATA_PCDATA_CLOSE_TAG_STATE;
1133            my @next_char;            $self->{state_keyword} = '';
1134            TAGNAME: for (my $i = 0; $i < length $self->{last_emitted_start_tag_name}; $i++) {            ## Reconsume.
1135              push @next_char, $self->{next_char};            redo A;
             my $c = ord substr ($self->{last_emitted_start_tag_name}, $i, 1);  
             my $C = 0x0061 <= $c && $c <= 0x007A ? $c - 0x0020 : $c;  
             if ($self->{next_char} == $c or $self->{next_char} == $C) {  
               !!!cp (24);  
               !!!next-input-character;  
               next TAGNAME;  
             } else {  
               !!!cp (25);  
               $self->{next_char} = shift @next_char; # reconsume  
               !!!back-next-input-character (@next_char);  
               $self->{state} = DATA_STATE;  
   
               !!!emit ({type => CHARACTER_TOKEN, data => '</'});  
     
               redo A;  
             }  
           }  
           push @next_char, $self->{next_char};  
         
           unless ($self->{next_char} == 0x0009 or # HT  
                   $self->{next_char} == 0x000A or # LF  
                   $self->{next_char} == 0x000B or # VT  
                   $self->{next_char} == 0x000C or # FF  
                   $self->{next_char} == 0x0020 or # SP  
                   $self->{next_char} == 0x003E or # >  
                   $self->{next_char} == 0x002F or # /  
                   $self->{next_char} == -1) {  
             !!!cp (26);  
             $self->{next_char} = shift @next_char; # reconsume  
             !!!back-next-input-character (@next_char);  
             $self->{state} = DATA_STATE;  
             !!!emit ({type => CHARACTER_TOKEN, data => '</'});  
             redo A;  
           } else {  
             !!!cp (27);  
             $self->{next_char} = shift @next_char;  
             !!!back-next-input-character (@next_char);  
             # and consume...  
           }  
1136          } else {          } else {
1137            ## No start tag token has ever been emitted            ## No start tag token has ever been emitted
1138              ## NOTE: See <http://krijnhoetmer.nl/irc-logs/whatwg/20070626#l-564>.
1139            !!!cp (28);            !!!cp (28);
           # next-input-character is already done  
1140            $self->{state} = DATA_STATE;            $self->{state} = DATA_STATE;
1141            !!!emit ({type => CHARACTER_TOKEN, data => '</'});            ## Reconsume.
1142              !!!emit ({type => CHARACTER_TOKEN, data => '</',
1143                        line => $l, column => $c,
1144                       });
1145            redo A;            redo A;
1146          }          }
1147        }        }
1148          
1149        if (0x0041 <= $self->{next_char} and        if (0x0041 <= $self->{next_char} and
1150            $self->{next_char} <= 0x005A) { # A..Z            $self->{next_char} <= 0x005A) { # A..Z
1151          !!!cp (29);          !!!cp (29);
1152          $self->{current_token} = {type => END_TAG_TOKEN,          $self->{current_token}
1153                            tag_name => chr ($self->{next_char} + 0x0020)};              = {type => END_TAG_TOKEN,
1154                   tag_name => chr ($self->{next_char} + 0x0020),
1155                   line => $l, column => $c};
1156          $self->{state} = TAG_NAME_STATE;          $self->{state} = TAG_NAME_STATE;
1157          !!!next-input-character;          !!!next-input-character;
1158          redo A;          redo A;
# Line 618  sub _get_next_token ($) { Line 1160  sub _get_next_token ($) {
1160                 $self->{next_char} <= 0x007A) { # a..z                 $self->{next_char} <= 0x007A) { # a..z
1161          !!!cp (30);          !!!cp (30);
1162          $self->{current_token} = {type => END_TAG_TOKEN,          $self->{current_token} = {type => END_TAG_TOKEN,
1163                            tag_name => chr ($self->{next_char})};                                    tag_name => chr ($self->{next_char}),
1164                                      line => $l, column => $c};
1165          $self->{state} = TAG_NAME_STATE;          $self->{state} = TAG_NAME_STATE;
1166          !!!next-input-character;          !!!next-input-character;
1167          redo A;          redo A;
1168        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
1169          !!!cp (31);          !!!cp (31);
1170          !!!parse-error (type => 'empty end tag');          !!!parse-error (type => 'empty end tag',
1171                            line => $self->{line_prev}, ## "<" in "</>"
1172                            column => $self->{column_prev} - 1);
1173          $self->{state} = DATA_STATE;          $self->{state} = DATA_STATE;
1174          !!!next-input-character;          !!!next-input-character;
1175          redo A;          redo A;
# Line 634  sub _get_next_token ($) { Line 1179  sub _get_next_token ($) {
1179          $self->{state} = DATA_STATE;          $self->{state} = DATA_STATE;
1180          # reconsume          # reconsume
1181    
1182          !!!emit ({type => CHARACTER_TOKEN, data => '</'});          !!!emit ({type => CHARACTER_TOKEN, data => '</',
1183                      line => $l, column => $c,
1184                     });
1185    
1186          redo A;          redo A;
1187        } else {        } else {
1188          !!!cp (33);          !!!cp (33);
1189          !!!parse-error (type => 'bogus end tag');          !!!parse-error (type => 'bogus end tag');
1190          $self->{state} = BOGUS_COMMENT_STATE;          $self->{state} = BOGUS_COMMENT_STATE;
1191          ## $self->{next_char} is intentionally left as is          $self->{current_token} = {type => COMMENT_TOKEN, data => '',
1192          redo A;                                    line => $self->{line_prev}, # "<" of "</"
1193                                      column => $self->{column_prev} - 1,
1194                                     };
1195            ## NOTE: $self->{next_char} is intentionally left as is.
1196            ## Although the "anything else" case of the spec not explicitly
1197            ## states that the next input character is to be reconsumed,
1198            ## it will be included to the |data| of the comment token
1199            ## generated from the bogus end tag, as defined in the
1200            ## "bogus comment state" entry.
1201            redo A;
1202          }
1203        } elsif ($self->{state} == CDATA_PCDATA_CLOSE_TAG_STATE) {
1204          my $ch = substr $self->{last_emitted_start_tag_name}, length $self->{state_keyword}, 1;
1205          if (length $ch) {
1206            my $CH = $ch;
1207            $ch =~ tr/a-z/A-Z/;
1208            my $nch = chr $self->{next_char};
1209            if ($nch eq $ch or $nch eq $CH) {
1210              !!!cp (24);
1211              ## Stay in the state.
1212              $self->{state_keyword} .= $nch;
1213              !!!next-input-character;
1214              redo A;
1215            } else {
1216              !!!cp (25);
1217              $self->{state} = DATA_STATE;
1218              ## Reconsume.
1219              !!!emit ({type => CHARACTER_TOKEN,
1220                        data => '</' . $self->{state_keyword},
1221                        line => $self->{line_prev},
1222                        column => $self->{column_prev} - 1 - length $self->{state_keyword},
1223                       });
1224              redo A;
1225            }
1226          } else { # after "<{tag-name}"
1227            unless ({
1228                     0x0009 => 1, # HT
1229                     0x000A => 1, # LF
1230                     0x000B => 1, # VT
1231                     0x000C => 1, # FF
1232                     0x0020 => 1, # SP
1233                     0x003E => 1, # >
1234                     0x002F => 1, # /
1235                     -1 => 1, # EOF
1236                    }->{$self->{next_char}}) {
1237              !!!cp (26);
1238              ## Reconsume.
1239              $self->{state} = DATA_STATE;
1240              !!!emit ({type => CHARACTER_TOKEN,
1241                        data => '</' . $self->{state_keyword},
1242                        line => $self->{line_prev},
1243                        column => $self->{column_prev} - 1 - length $self->{state_keyword},
1244                       });
1245              redo A;
1246            } else {
1247              !!!cp (27);
1248              $self->{current_token}
1249                  = {type => END_TAG_TOKEN,
1250                     tag_name => $self->{last_emitted_start_tag_name},
1251                     line => $self->{line_prev},
1252                     column => $self->{column_prev} - 1 - length $self->{state_keyword}};
1253              $self->{state} = TAG_NAME_STATE;
1254              ## Reconsume.
1255              redo A;
1256            }
1257        }        }
1258      } elsif ($self->{state} == TAG_NAME_STATE) {      } elsif ($self->{state} == TAG_NAME_STATE) {
1259        if ($self->{next_char} == 0x0009 or # HT        if ($self->{next_char} == 0x0009 or # HT
# Line 657  sub _get_next_token ($) { Line 1268  sub _get_next_token ($) {
1268        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
1269          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1270            !!!cp (35);            !!!cp (35);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1271            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1272          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1273            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 690  sub _get_next_token ($) { Line 1299  sub _get_next_token ($) {
1299          !!!parse-error (type => 'unclosed tag');          !!!parse-error (type => 'unclosed tag');
1300          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1301            !!!cp (39);            !!!cp (39);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1302            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1303          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1304            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 712  sub _get_next_token ($) { Line 1319  sub _get_next_token ($) {
1319    
1320          redo A;          redo A;
1321        } elsif ($self->{next_char} == 0x002F) { # /        } elsif ($self->{next_char} == 0x002F) { # /
1322            !!!cp (42);
1323            $self->{state} = SELF_CLOSING_START_TAG_STATE;
1324          !!!next-input-character;          !!!next-input-character;
         if ($self->{next_char} == 0x003E and # >  
             $self->{current_token}->{type} == START_TAG_TOKEN and  
             $permitted_slash_tag_name->{$self->{current_token}->{tag_name}}) {  
           # permitted slash  
           !!!cp (42);  
           #  
         } else {  
           !!!cp (43);  
           !!!parse-error (type => 'nestc');  
         }  
         $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;  
         # next-input-character is already done  
1325          redo A;          redo A;
1326        } else {        } else {
1327          !!!cp (44);          !!!cp (44);
# Line 747  sub _get_next_token ($) { Line 1344  sub _get_next_token ($) {
1344        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
1345          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1346            !!!cp (46);            !!!cp (46);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1347            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1348          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1349            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 770  sub _get_next_token ($) { Line 1365  sub _get_next_token ($) {
1365        } elsif (0x0041 <= $self->{next_char} and        } elsif (0x0041 <= $self->{next_char} and
1366                 $self->{next_char} <= 0x005A) { # A..Z                 $self->{next_char} <= 0x005A) { # A..Z
1367          !!!cp (49);          !!!cp (49);
1368          $self->{current_attribute} = {name => chr ($self->{next_char} + 0x0020),          $self->{current_attribute}
1369                                value => ''};              = {name => chr ($self->{next_char} + 0x0020),
1370                   value => '',
1371                   line => $self->{line}, column => $self->{column}};
1372          $self->{state} = ATTRIBUTE_NAME_STATE;          $self->{state} = ATTRIBUTE_NAME_STATE;
1373          !!!next-input-character;          !!!next-input-character;
1374          redo A;          redo A;
1375        } elsif ($self->{next_char} == 0x002F) { # /        } elsif ($self->{next_char} == 0x002F) { # /
1376            !!!cp (50);
1377            $self->{state} = SELF_CLOSING_START_TAG_STATE;
1378          !!!next-input-character;          !!!next-input-character;
         if ($self->{next_char} == 0x003E and # >  
             $self->{current_token}->{type} == START_TAG_TOKEN and  
             $permitted_slash_tag_name->{$self->{current_token}->{tag_name}}) {  
           # permitted slash  
           !!!cp (50);  
           #  
         } else {  
           !!!cp (51);  
           !!!parse-error (type => 'nestc');  
         }  
         ## Stay in the state  
         # next-input-character is already done  
1379          redo A;          redo A;
1380        } elsif ($self->{next_char} == -1) {        } elsif ($self->{next_char} == -1) {
1381          !!!parse-error (type => 'unclosed tag');          !!!parse-error (type => 'unclosed tag');
1382          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1383            !!!cp (52);            !!!cp (52);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1384            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1385          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1386            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 825  sub _get_next_token ($) { Line 1410  sub _get_next_token ($) {
1410          } else {          } else {
1411            !!!cp (56);            !!!cp (56);
1412          }          }
1413          $self->{current_attribute} = {name => chr ($self->{next_char}),          $self->{current_attribute}
1414                                value => ''};              = {name => chr ($self->{next_char}),
1415                   value => '',
1416                   line => $self->{line}, column => $self->{column}};
1417          $self->{state} = ATTRIBUTE_NAME_STATE;          $self->{state} = ATTRIBUTE_NAME_STATE;
1418          !!!next-input-character;          !!!next-input-character;
1419          redo A;          redo A;
# Line 836  sub _get_next_token ($) { Line 1423  sub _get_next_token ($) {
1423          if (exists $self->{current_token}->{attributes} # start tag or end tag          if (exists $self->{current_token}->{attributes} # start tag or end tag
1424              ->{$self->{current_attribute}->{name}}) { # MUST              ->{$self->{current_attribute}->{name}}) { # MUST
1425            !!!cp (57);            !!!cp (57);
1426            !!!parse-error (type => 'duplicate attribute:'.$self->{current_attribute}->{name});            !!!parse-error (type => 'duplicate attribute', text => $self->{current_attribute}->{name}, line => $self->{current_attribute}->{line}, column => $self->{current_attribute}->{column});
1427            ## Discard $self->{current_attribute} # MUST            ## Discard $self->{current_attribute} # MUST
1428          } else {          } else {
1429            !!!cp (58);            !!!cp (58);
# Line 865  sub _get_next_token ($) { Line 1452  sub _get_next_token ($) {
1452          $before_leave->();          $before_leave->();
1453          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1454            !!!cp (61);            !!!cp (61);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1455            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1456          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1457            !!!cp (62);            !!!cp (62);
# Line 891  sub _get_next_token ($) { Line 1476  sub _get_next_token ($) {
1476          !!!next-input-character;          !!!next-input-character;
1477          redo A;          redo A;
1478        } elsif ($self->{next_char} == 0x002F) { # /        } elsif ($self->{next_char} == 0x002F) { # /
1479            !!!cp (64);
1480          $before_leave->();          $before_leave->();
1481            $self->{state} = SELF_CLOSING_START_TAG_STATE;
1482          !!!next-input-character;          !!!next-input-character;
         if ($self->{next_char} == 0x003E and # >  
             $self->{current_token}->{type} == START_TAG_TOKEN and  
             $permitted_slash_tag_name->{$self->{current_token}->{tag_name}}) {  
           # permitted slash  
           !!!cp (64);  
           #  
         } else {  
           !!!cp (65);  
           !!!parse-error (type => 'nestc');  
         }  
         $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;  
         # next-input-character is already done  
1483          redo A;          redo A;
1484        } elsif ($self->{next_char} == -1) {        } elsif ($self->{next_char} == -1) {
1485          !!!parse-error (type => 'unclosed tag');          !!!parse-error (type => 'unclosed tag');
1486          $before_leave->();          $before_leave->();
1487          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1488            !!!cp (66);            !!!cp (66);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1489            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1490          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1491            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 963  sub _get_next_token ($) { Line 1536  sub _get_next_token ($) {
1536        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
1537          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1538            !!!cp (73);            !!!cp (73);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1539            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1540          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1541            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 987  sub _get_next_token ($) { Line 1558  sub _get_next_token ($) {
1558        } elsif (0x0041 <= $self->{next_char} and        } elsif (0x0041 <= $self->{next_char} and
1559                 $self->{next_char} <= 0x005A) { # A..Z                 $self->{next_char} <= 0x005A) { # A..Z
1560          !!!cp (76);          !!!cp (76);
1561          $self->{current_attribute} = {name => chr ($self->{next_char} + 0x0020),          $self->{current_attribute}
1562                                value => ''};              = {name => chr ($self->{next_char} + 0x0020),
1563                   value => '',
1564                   line => $self->{line}, column => $self->{column}};
1565          $self->{state} = ATTRIBUTE_NAME_STATE;          $self->{state} = ATTRIBUTE_NAME_STATE;
1566          !!!next-input-character;          !!!next-input-character;
1567          redo A;          redo A;
1568        } elsif ($self->{next_char} == 0x002F) { # /        } elsif ($self->{next_char} == 0x002F) { # /
1569            !!!cp (77);
1570            $self->{state} = SELF_CLOSING_START_TAG_STATE;
1571          !!!next-input-character;          !!!next-input-character;
         if ($self->{next_char} == 0x003E and # >  
             $self->{current_token}->{type} == START_TAG_TOKEN and  
             $permitted_slash_tag_name->{$self->{current_token}->{tag_name}}) {  
           # permitted slash  
           !!!cp (77);  
           #  
         } else {  
           !!!cp (78);  
           !!!parse-error (type => 'nestc');  
           ## TODO: Different error type for <aa / bb> than <aa/>  
         }  
         $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;  
         # next-input-character is already done  
1572          redo A;          redo A;
1573        } elsif ($self->{next_char} == -1) {        } elsif ($self->{next_char} == -1) {
1574          !!!parse-error (type => 'unclosed tag');          !!!parse-error (type => 'unclosed tag');
1575          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1576            !!!cp (79);            !!!cp (79);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1577            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1578          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1579            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1034  sub _get_next_token ($) { Line 1594  sub _get_next_token ($) {
1594    
1595          redo A;          redo A;
1596        } else {        } else {
1597          !!!cp (82);          if ($self->{next_char} == 0x0022 or # "
1598          $self->{current_attribute} = {name => chr ($self->{next_char}),              $self->{next_char} == 0x0027) { # '
1599                                value => ''};            !!!cp (78);
1600              !!!parse-error (type => 'bad attribute name');
1601            } else {
1602              !!!cp (82);
1603            }
1604            $self->{current_attribute}
1605                = {name => chr ($self->{next_char}),
1606                   value => '',
1607                   line => $self->{line}, column => $self->{column}};
1608          $self->{state} = ATTRIBUTE_NAME_STATE;          $self->{state} = ATTRIBUTE_NAME_STATE;
1609          !!!next-input-character;          !!!next-input-character;
1610          redo A;                  redo A;        
# Line 1067  sub _get_next_token ($) { Line 1635  sub _get_next_token ($) {
1635          !!!next-input-character;          !!!next-input-character;
1636          redo A;          redo A;
1637        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
1638            !!!parse-error (type => 'empty unquoted attribute value');
1639          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1640            !!!cp (87);            !!!cp (87);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1641            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1642          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1643            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1094  sub _get_next_token ($) { Line 1661  sub _get_next_token ($) {
1661          !!!parse-error (type => 'unclosed tag');          !!!parse-error (type => 'unclosed tag');
1662          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1663            !!!cp (90);            !!!cp (90);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1664            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1665          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1666            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1143  sub _get_next_token ($) { Line 1708  sub _get_next_token ($) {
1708          !!!parse-error (type => 'unclosed attribute value');          !!!parse-error (type => 'unclosed attribute value');
1709          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1710            !!!cp (97);            !!!cp (97);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1711            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1712          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1713            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1187  sub _get_next_token ($) { Line 1750  sub _get_next_token ($) {
1750          !!!parse-error (type => 'unclosed attribute value');          !!!parse-error (type => 'unclosed attribute value');
1751          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1752            !!!cp (103);            !!!cp (103);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1753            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1754          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1755            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1234  sub _get_next_token ($) { Line 1795  sub _get_next_token ($) {
1795        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
1796          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1797            !!!cp (109);            !!!cp (109);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1798            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1799          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1800            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1259  sub _get_next_token ($) { Line 1818  sub _get_next_token ($) {
1818          !!!parse-error (type => 'unclosed tag');          !!!parse-error (type => 'unclosed tag');
1819          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1820            !!!cp (112);            !!!cp (112);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1821            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1822          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1823            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1331  sub _get_next_token ($) { Line 1888  sub _get_next_token ($) {
1888        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
1889          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1890            !!!cp (119);            !!!cp (119);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1891            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1892          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1893            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1353  sub _get_next_token ($) { Line 1908  sub _get_next_token ($) {
1908    
1909          redo A;          redo A;
1910        } elsif ($self->{next_char} == 0x002F) { # /        } elsif ($self->{next_char} == 0x002F) { # /
1911            !!!cp (122);
1912            $self->{state} = SELF_CLOSING_START_TAG_STATE;
1913          !!!next-input-character;          !!!next-input-character;
1914          if ($self->{next_char} == 0x003E and # >          redo A;
1915              $self->{current_token}->{type} == START_TAG_TOKEN and        } elsif ($self->{next_char} == -1) {
1916              $permitted_slash_tag_name->{$self->{current_token}->{tag_name}}) {          !!!parse-error (type => 'unclosed tag');
1917            # permitted slash          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1918            !!!cp (122);            !!!cp (122.3);
1919            #            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1920            } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1921              if ($self->{current_token}->{attributes}) {
1922                !!!cp (122.1);
1923                !!!parse-error (type => 'end tag attribute');
1924              } else {
1925                ## NOTE: This state should never be reached.
1926                !!!cp (122.2);
1927              }
1928          } else {          } else {
1929            !!!cp (123);            die "$0: $self->{current_token}->{type}: Unknown token type";
           !!!parse-error (type => 'nestc');  
1930          }          }
1931          $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;          $self->{state} = DATA_STATE;
1932          # next-input-character is already done          ## Reconsume.
1933            !!!emit ($self->{current_token}); # start tag or end tag
1934          redo A;          redo A;
1935        } else {        } else {
1936          !!!cp (124);          !!!cp ('124.1');
1937          !!!parse-error (type => 'no space between attributes');          !!!parse-error (type => 'no space between attributes');
1938          $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;          $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;
1939          ## reconsume          ## reconsume
1940          redo A;          redo A;
1941        }        }
1942        } elsif ($self->{state} == SELF_CLOSING_START_TAG_STATE) {
1943          if ($self->{next_char} == 0x003E) { # >
1944            if ($self->{current_token}->{type} == END_TAG_TOKEN) {
1945              !!!cp ('124.2');
1946              !!!parse-error (type => 'nestc', token => $self->{current_token});
1947              ## TODO: Different type than slash in start tag
1948              $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
1949              if ($self->{current_token}->{attributes}) {
1950                !!!cp ('124.4');
1951                !!!parse-error (type => 'end tag attribute');
1952              } else {
1953                !!!cp ('124.5');
1954              }
1955              ## TODO: Test |<title></title/>|
1956            } else {
1957              !!!cp ('124.3');
1958              $self->{self_closing} = 1;
1959            }
1960    
1961            $self->{state} = DATA_STATE;
1962            !!!next-input-character;
1963    
1964            !!!emit ($self->{current_token}); # start tag or end tag
1965    
1966            redo A;
1967          } elsif ($self->{next_char} == -1) {
1968            !!!parse-error (type => 'unclosed tag');
1969            if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1970              !!!cp (124.7);
1971              $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1972            } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1973              if ($self->{current_token}->{attributes}) {
1974                !!!cp (124.5);
1975                !!!parse-error (type => 'end tag attribute');
1976              } else {
1977                ## NOTE: This state should never be reached.
1978                !!!cp (124.6);
1979              }
1980            } else {
1981              die "$0: $self->{current_token}->{type}: Unknown token type";
1982            }
1983            $self->{state} = DATA_STATE;
1984            ## Reconsume.
1985            !!!emit ($self->{current_token}); # start tag or end tag
1986            redo A;
1987          } else {
1988            !!!cp ('124.4');
1989            !!!parse-error (type => 'nestc');
1990            ## TODO: This error type is wrong.
1991            $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;
1992            ## Reconsume.
1993            redo A;
1994          }
1995      } elsif ($self->{state} == BOGUS_COMMENT_STATE) {      } elsif ($self->{state} == BOGUS_COMMENT_STATE) {
1996        ## (only happen if PCDATA state)        ## (only happen if PCDATA state)
1997                
1998        my $token = {type => COMMENT_TOKEN, data => ''};        ## NOTE: Set by the previous state
1999          #my $token = {type => COMMENT_TOKEN, data => ''};
2000    
2001        BC: {        BC: {
2002          if ($self->{next_char} == 0x003E) { # >          if ($self->{next_char} == 0x003E) { # >
# Line 1385  sub _get_next_token ($) { Line 2004  sub _get_next_token ($) {
2004            $self->{state} = DATA_STATE;            $self->{state} = DATA_STATE;
2005            !!!next-input-character;            !!!next-input-character;
2006    
2007            !!!emit ($token);            !!!emit ($self->{current_token}); # comment
2008    
2009            redo A;            redo A;
2010          } elsif ($self->{next_char} == -1) {          } elsif ($self->{next_char} == -1) {
# Line 1393  sub _get_next_token ($) { Line 2012  sub _get_next_token ($) {
2012            $self->{state} = DATA_STATE;            $self->{state} = DATA_STATE;
2013            ## reconsume            ## reconsume
2014    
2015            !!!emit ($token);            !!!emit ($self->{current_token}); # comment
2016    
2017            redo A;            redo A;
2018          } else {          } else {
2019            !!!cp (126);            !!!cp (126);
2020            $token->{data} .= chr ($self->{next_char});            $self->{current_token}->{data} .= chr ($self->{next_char}); # comment
2021            !!!next-input-character;            !!!next-input-character;
2022            redo BC;            redo BC;
2023          }          }
# Line 1407  sub _get_next_token ($) { Line 2026  sub _get_next_token ($) {
2026        die "$0: _get_next_token: unexpected case [BC]";        die "$0: _get_next_token: unexpected case [BC]";
2027      } elsif ($self->{state} == MARKUP_DECLARATION_OPEN_STATE) {      } elsif ($self->{state} == MARKUP_DECLARATION_OPEN_STATE) {
2028        ## (only happen if PCDATA state)        ## (only happen if PCDATA state)
   
       my @next_char;  
       push @next_char, $self->{next_char};  
2029                
2030        if ($self->{next_char} == 0x002D) { # -        if ($self->{next_char} == 0x002D) { # -
2031            !!!cp (133);
2032            $self->{state} = MD_HYPHEN_STATE;
2033          !!!next-input-character;          !!!next-input-character;
2034          push @next_char, $self->{next_char};          redo A;
         if ($self->{next_char} == 0x002D) { # -  
           !!!cp (127);  
           $self->{current_token} = {type => COMMENT_TOKEN, data => ''};  
           $self->{state} = COMMENT_START_STATE;  
           !!!next-input-character;  
           redo A;  
         } else {  
           !!!cp (128);  
         }  
2035        } elsif ($self->{next_char} == 0x0044 or # D        } elsif ($self->{next_char} == 0x0044 or # D
2036                 $self->{next_char} == 0x0064) { # d                 $self->{next_char} == 0x0064) { # d
2037            ## ASCII case-insensitive.
2038            !!!cp (130);
2039            $self->{state} = MD_DOCTYPE_STATE;
2040            $self->{state_keyword} = chr $self->{next_char};
2041          !!!next-input-character;          !!!next-input-character;
2042          push @next_char, $self->{next_char};          redo A;
2043          if ($self->{next_char} == 0x004F or # O        } elsif ($self->{insertion_mode} & IN_FOREIGN_CONTENT_IM and
2044              $self->{next_char} == 0x006F) { # o                 $self->{open_elements}->[-1]->[1] & FOREIGN_EL and
2045            !!!next-input-character;                 $self->{next_char} == 0x005B) { # [
2046            push @next_char, $self->{next_char};          !!!cp (135.4);                
2047            if ($self->{next_char} == 0x0043 or # C          $self->{state} = MD_CDATA_STATE;
2048                $self->{next_char} == 0x0063) { # c          $self->{state_keyword} = '[';
2049              !!!next-input-character;          !!!next-input-character;
2050              push @next_char, $self->{next_char};          redo A;
             if ($self->{next_char} == 0x0054 or # T  
                 $self->{next_char} == 0x0074) { # t  
               !!!next-input-character;  
               push @next_char, $self->{next_char};  
               if ($self->{next_char} == 0x0059 or # Y  
                   $self->{next_char} == 0x0079) { # y  
                 !!!next-input-character;  
                 push @next_char, $self->{next_char};  
                 if ($self->{next_char} == 0x0050 or # P  
                     $self->{next_char} == 0x0070) { # p  
                   !!!next-input-character;  
                   push @next_char, $self->{next_char};  
                   if ($self->{next_char} == 0x0045 or # E  
                       $self->{next_char} == 0x0065) { # e  
                     !!!cp (129);  
                     ## TODO: What a stupid code this is!  
                     $self->{state} = DOCTYPE_STATE;  
                     !!!next-input-character;  
                     redo A;  
                   } else {  
                     !!!cp (130);  
                   }  
                 } else {  
                   !!!cp (131);  
                 }  
               } else {  
                 !!!cp (132);  
               }  
             } else {  
               !!!cp (133);  
             }  
           } else {  
             !!!cp (134);  
           }  
         } else {  
           !!!cp (135);  
         }  
2051        } else {        } else {
2052          !!!cp (136);          !!!cp (136);
2053        }        }
2054    
2055        !!!parse-error (type => 'bogus comment');        !!!parse-error (type => 'bogus comment',
2056        $self->{next_char} = shift @next_char;                        line => $self->{line_prev},
2057        !!!back-next-input-character (@next_char);                        column => $self->{column_prev} - 1);
2058          ## Reconsume.
2059        $self->{state} = BOGUS_COMMENT_STATE;        $self->{state} = BOGUS_COMMENT_STATE;
2060          $self->{current_token} = {type => COMMENT_TOKEN, data => '',
2061                                    line => $self->{line_prev},
2062                                    column => $self->{column_prev} - 1,
2063                                   };
2064        redo A;        redo A;
2065              } elsif ($self->{state} == MD_HYPHEN_STATE) {
2066        ## ISSUE: typos in spec: chacacters, is is a parse error        if ($self->{next_char} == 0x002D) { # -
2067        ## ISSUE: spec is somewhat unclear on "is the first character that will be in the comment"; what is "that will be in the comment" is what the algorithm defines, isn't it?          !!!cp (127);
2068            $self->{current_token} = {type => COMMENT_TOKEN, data => '',
2069                                      line => $self->{line_prev},
2070                                      column => $self->{column_prev} - 2,
2071                                     };
2072            $self->{state} = COMMENT_START_STATE;
2073            !!!next-input-character;
2074            redo A;
2075          } else {
2076            !!!cp (128);
2077            !!!parse-error (type => 'bogus comment',
2078                            line => $self->{line_prev},
2079                            column => $self->{column_prev} - 2);
2080            $self->{state} = BOGUS_COMMENT_STATE;
2081            ## Reconsume.
2082            $self->{current_token} = {type => COMMENT_TOKEN,
2083                                      data => '-',
2084                                      line => $self->{line_prev},
2085                                      column => $self->{column_prev} - 2,
2086                                     };
2087            redo A;
2088          }
2089        } elsif ($self->{state} == MD_DOCTYPE_STATE) {
2090          ## ASCII case-insensitive.
2091          if ($self->{next_char} == [
2092                undef,
2093                0x004F, # O
2094                0x0043, # C
2095                0x0054, # T
2096                0x0059, # Y
2097                0x0050, # P
2098              ]->[length $self->{state_keyword}] or
2099              $self->{next_char} == [
2100                undef,
2101                0x006F, # o
2102                0x0063, # c
2103                0x0074, # t
2104                0x0079, # y
2105                0x0070, # p
2106              ]->[length $self->{state_keyword}]) {
2107            !!!cp (131);
2108            ## Stay in the state.
2109            $self->{state_keyword} .= chr $self->{next_char};
2110            !!!next-input-character;
2111            redo A;
2112          } elsif ((length $self->{state_keyword}) == 6 and
2113                   ($self->{next_char} == 0x0045 or # E
2114                    $self->{next_char} == 0x0065)) { # e
2115            !!!cp (129);
2116            $self->{state} = DOCTYPE_STATE;
2117            $self->{current_token} = {type => DOCTYPE_TOKEN,
2118                                      quirks => 1,
2119                                      line => $self->{line_prev},
2120                                      column => $self->{column_prev} - 7,
2121                                     };
2122            !!!next-input-character;
2123            redo A;
2124          } else {
2125            !!!cp (132);        
2126            !!!parse-error (type => 'bogus comment',
2127                            line => $self->{line_prev},
2128                            column => $self->{column_prev} - 1 - length $self->{state_keyword});
2129            $self->{state} = BOGUS_COMMENT_STATE;
2130            ## Reconsume.
2131            $self->{current_token} = {type => COMMENT_TOKEN,
2132                                      data => $self->{state_keyword},
2133                                      line => $self->{line_prev},
2134                                      column => $self->{column_prev} - 1 - length $self->{state_keyword},
2135                                     };
2136            redo A;
2137          }
2138        } elsif ($self->{state} == MD_CDATA_STATE) {
2139          if ($self->{next_char} == {
2140                '[' => 0x0043, # C
2141                '[C' => 0x0044, # D
2142                '[CD' => 0x0041, # A
2143                '[CDA' => 0x0054, # T
2144                '[CDAT' => 0x0041, # A
2145              }->{$self->{state_keyword}}) {
2146            !!!cp (135.1);
2147            ## Stay in the state.
2148            $self->{state_keyword} .= chr $self->{next_char};
2149            !!!next-input-character;
2150            redo A;
2151          } elsif ($self->{state_keyword} eq '[CDATA' and
2152                   $self->{next_char} == 0x005B) { # [
2153            !!!cp (135.2);
2154            $self->{state} = CDATA_BLOCK_STATE;
2155            !!!next-input-character;
2156            redo A;
2157          } else {
2158            !!!cp (135.3);
2159            !!!parse-error (type => 'bogus comment',
2160                            line => $self->{line_prev},
2161                            column => $self->{column_prev} - 1 - length $self->{state_keyword});
2162            $self->{state} = BOGUS_COMMENT_STATE;
2163            ## Reconsume.
2164            $self->{current_token} = {type => COMMENT_TOKEN,
2165                                      data => $self->{state_keyword},
2166                                      line => $self->{line_prev},
2167                                      column => $self->{column_prev} - 1 - length $self->{state_keyword},
2168                                     };
2169            redo A;
2170          }
2171      } elsif ($self->{state} == COMMENT_START_STATE) {      } elsif ($self->{state} == COMMENT_START_STATE) {
2172        if ($self->{next_char} == 0x002D) { # -        if ($self->{next_char} == 0x002D) { # -
2173          !!!cp (137);          !!!cp (137);
# Line 1603  sub _get_next_token ($) { Line 2287  sub _get_next_token ($) {
2287          redo A;          redo A;
2288        } elsif ($self->{next_char} == 0x002D) { # -        } elsif ($self->{next_char} == 0x002D) { # -
2289          !!!cp (152);          !!!cp (152);
2290          !!!parse-error (type => 'dash in comment');          !!!parse-error (type => 'dash in comment',
2291                            line => $self->{line_prev},
2292                            column => $self->{column_prev});
2293          $self->{current_token}->{data} .= '-'; # comment          $self->{current_token}->{data} .= '-'; # comment
2294          ## Stay in the state          ## Stay in the state
2295          !!!next-input-character;          !!!next-input-character;
# Line 1619  sub _get_next_token ($) { Line 2305  sub _get_next_token ($) {
2305          redo A;          redo A;
2306        } else {        } else {
2307          !!!cp (154);          !!!cp (154);
2308          !!!parse-error (type => 'dash in comment');          !!!parse-error (type => 'dash in comment',
2309                            line => $self->{line_prev},
2310                            column => $self->{column_prev});
2311          $self->{current_token}->{data} .= '--' . chr ($self->{next_char}); # comment          $self->{current_token}->{data} .= '--' . chr ($self->{next_char}); # comment
2312          $self->{state} = COMMENT_STATE;          $self->{state} = COMMENT_STATE;
2313          !!!next-input-character;          !!!next-input-character;
# Line 1658  sub _get_next_token ($) { Line 2346  sub _get_next_token ($) {
2346          $self->{state} = DATA_STATE;          $self->{state} = DATA_STATE;
2347          !!!next-input-character;          !!!next-input-character;
2348    
2349          !!!emit ({type => DOCTYPE_TOKEN, quirks => 1});          !!!emit ($self->{current_token}); # DOCTYPE (quirks)
2350    
2351          redo A;          redo A;
2352        } elsif ($self->{next_char} == -1) {        } elsif ($self->{next_char} == -1) {
# Line 1667  sub _get_next_token ($) { Line 2355  sub _get_next_token ($) {
2355          $self->{state} = DATA_STATE;          $self->{state} = DATA_STATE;
2356          ## reconsume          ## reconsume
2357    
2358          !!!emit ({type => DOCTYPE_TOKEN, quirks => 1});          !!!emit ($self->{current_token}); # DOCTYPE (quirks)
2359    
2360          redo A;          redo A;
2361        } else {        } else {
2362          !!!cp (160);          !!!cp (160);
2363          $self->{current_token}          $self->{current_token}->{name} = chr $self->{next_char};
2364              = {type => DOCTYPE_TOKEN,          delete $self->{current_token}->{quirks};
                name => chr ($self->{next_char}),  
                #quirks => 0,  
               };  
2365  ## ISSUE: "Set the token's name name to the" in the spec  ## ISSUE: "Set the token's name name to the" in the spec
2366          $self->{state} = DOCTYPE_NAME_STATE;          $self->{state} = DOCTYPE_NAME_STATE;
2367          !!!next-input-character;          !!!next-input-character;
# Line 2067  sub _get_next_token ($) { Line 2752  sub _get_next_token ($) {
2752          redo A;          redo A;
2753        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
2754          !!!cp (208);          !!!cp (208);
2755          !!!parse-error (type => 'unclosed PUBLIC literal');          !!!parse-error (type => 'unclosed SYSTEM literal');
2756    
2757          $self->{state} = DATA_STATE;          $self->{state} = DATA_STATE;
2758          !!!next-input-character;          !!!next-input-character;
# Line 2103  sub _get_next_token ($) { Line 2788  sub _get_next_token ($) {
2788          redo A;          redo A;
2789        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
2790          !!!cp (212);          !!!cp (212);
2791          !!!parse-error (type => 'unclosed PUBLIC literal');          !!!parse-error (type => 'unclosed SYSTEM literal');
2792    
2793          $self->{state} = DATA_STATE;          $self->{state} = DATA_STATE;
2794          !!!next-input-character;          !!!next-input-character;
# Line 2151  sub _get_next_token ($) { Line 2836  sub _get_next_token ($) {
2836        } elsif ($self->{next_char} == -1) {        } elsif ($self->{next_char} == -1) {
2837          !!!cp (217);          !!!cp (217);
2838          !!!parse-error (type => 'unclosed DOCTYPE');          !!!parse-error (type => 'unclosed DOCTYPE');
   
2839          $self->{state} = DATA_STATE;          $self->{state} = DATA_STATE;
2840          ## reconsume          ## reconsume
2841    
# Line 2192  sub _get_next_token ($) { Line 2876  sub _get_next_token ($) {
2876          !!!next-input-character;          !!!next-input-character;
2877          redo A;          redo A;
2878        }        }
2879        } elsif ($self->{state} == CDATA_BLOCK_STATE) {
2880          my $s = '';
2881          
2882          my ($l, $c) = ($self->{line}, $self->{column});
2883    
2884          CS: while ($self->{next_char} != -1) {
2885            if ($self->{next_char} == 0x005D) { # ]
2886              !!!next-input-character;
2887              if ($self->{next_char} == 0x005D) { # ]
2888                !!!next-input-character;
2889                MDC: {
2890                  if ($self->{next_char} == 0x003E) { # >
2891                    !!!cp (221.1);
2892                    !!!next-input-character;
2893                    last CS;
2894                  } elsif ($self->{next_char} == 0x005D) { # ]
2895                    !!!cp (221.2);
2896                    $s .= ']';
2897                    !!!next-input-character;
2898                    redo MDC;
2899                  } else {
2900                    !!!cp (221.3);
2901                    $s .= ']]';
2902                    #
2903                  }
2904                } # MDC
2905              } else {
2906                !!!cp (221.4);
2907                $s .= ']';
2908                #
2909              }
2910            } else {
2911              !!!cp (221.5);
2912              #
2913            }
2914            $s .= chr $self->{next_char};
2915            !!!next-input-character;
2916          } # CS
2917    
2918          $self->{state} = DATA_STATE;
2919          ## next-input-character done or EOF, which is reconsumed.
2920    
2921          if (length $s) {
2922            !!!cp (221.6);
2923            !!!emit ({type => CHARACTER_TOKEN, data => $s,
2924                      line => $l, column => $c});
2925          } else {
2926            !!!cp (221.7);
2927          }
2928    
2929          redo A;
2930    
2931          ## ISSUE: "text tokens" in spec.
2932          ## TODO: Streaming support
2933      } else {      } else {
2934        die "$0: $self->{state}: Unknown state";        die "$0: $self->{state}: Unknown state";
2935      }      }
# Line 2203  sub _get_next_token ($) { Line 2941  sub _get_next_token ($) {
2941  sub _tokenize_attempt_to_consume_an_entity ($$$) {  sub _tokenize_attempt_to_consume_an_entity ($$$) {
2942    my ($self, $in_attr, $additional) = @_;    my ($self, $in_attr, $additional) = @_;
2943    
2944      my ($l, $c) = ($self->{line_prev}, $self->{column_prev});
2945    
2946    if ({    if ({
2947         0x0009 => 1, 0x000A => 1, 0x000B => 1, 0x000C => 1, # HT, LF, VT, FF,         0x0009 => 1, 0x000A => 1, 0x000B => 1, 0x000C => 1, # HT, LF, VT, FF,
2948         0x0020 => 1, 0x003C => 1, 0x0026 => 1, -1 => 1, # SP, <, & # 0x000D # CR         0x0020 => 1, 0x003C => 1, 0x0026 => 1, -1 => 1, # SP, <, & # 0x000D # CR
# Line 2243  sub _tokenize_attempt_to_consume_an_enti Line 2983  sub _tokenize_attempt_to_consume_an_enti
2983            redo X;            redo X;
2984          } elsif (not defined $code) { # no hexadecimal digit          } elsif (not defined $code) { # no hexadecimal digit
2985            !!!cp (1005);            !!!cp (1005);
2986            !!!parse-error (type => 'bare hcro');            !!!parse-error (type => 'bare hcro', line => $l, column => $c);
2987            !!!back-next-input-character ($x_char, $self->{next_char});            !!!back-next-input-character ($x_char, $self->{next_char});
2988            $self->{next_char} = 0x0023; # #            $self->{next_char} = 0x0023; # #
2989            return undef;            return undef;
# Line 2252  sub _tokenize_attempt_to_consume_an_enti Line 2992  sub _tokenize_attempt_to_consume_an_enti
2992            !!!next-input-character;            !!!next-input-character;
2993          } else {          } else {
2994            !!!cp (1007);            !!!cp (1007);
2995            !!!parse-error (type => 'no refc');            !!!parse-error (type => 'no refc', line => $l, column => $c);
2996          }          }
2997    
2998          if ($code == 0 or (0xD800 <= $code and $code <= 0xDFFF)) {          if ($code == 0 or (0xD800 <= $code and $code <= 0xDFFF)) {
2999            !!!cp (1008);            !!!cp (1008);
3000            !!!parse-error (type => sprintf 'invalid character reference:U+%04X', $code);            !!!parse-error (type => 'invalid character reference',
3001                              text => (sprintf 'U+%04X', $code),
3002                              line => $l, column => $c);
3003            $code = 0xFFFD;            $code = 0xFFFD;
3004          } elsif ($code > 0x10FFFF) {          } elsif ($code > 0x10FFFF) {
3005            !!!cp (1009);            !!!cp (1009);
3006            !!!parse-error (type => sprintf 'invalid character reference:U-%08X', $code);            !!!parse-error (type => 'invalid character reference',
3007                              text => (sprintf 'U-%08X', $code),
3008                              line => $l, column => $c);
3009            $code = 0xFFFD;            $code = 0xFFFD;
3010          } elsif ($code == 0x000D) {          } elsif ($code == 0x000D) {
3011            !!!cp (1010);            !!!cp (1010);
3012            !!!parse-error (type => 'CR character reference');            !!!parse-error (type => 'CR character reference', line => $l, column => $c);
3013            $code = 0x000A;            $code = 0x000A;
3014          } elsif (0x80 <= $code and $code <= 0x9F) {          } elsif (0x80 <= $code and $code <= 0x9F) {
3015            !!!cp (1011);            !!!cp (1011);
3016            !!!parse-error (type => sprintf 'C1 character reference:U+%04X', $code);            !!!parse-error (type => 'C1 character reference', text => (sprintf 'U+%04X', $code), line => $l, column => $c);
3017            $code = $c1_entity_char->{$code};            $code = $c1_entity_char->{$code};
3018          }          }
3019    
3020          return {type => CHARACTER_TOKEN, data => chr $code,          return {type => CHARACTER_TOKEN, data => chr $code,
3021                  has_reference => 1};                  has_reference => 1,
3022                    line => $l, column => $c,
3023                   };
3024        } # X        } # X
3025      } elsif (0x0030 <= $self->{next_char} and      } elsif (0x0030 <= $self->{next_char} and
3026               $self->{next_char} <= 0x0039) { # 0..9               $self->{next_char} <= 0x0039) { # 0..9
# Line 2295  sub _tokenize_attempt_to_consume_an_enti Line 3041  sub _tokenize_attempt_to_consume_an_enti
3041          !!!next-input-character;          !!!next-input-character;
3042        } else {        } else {
3043          !!!cp (1014);          !!!cp (1014);
3044          !!!parse-error (type => 'no refc');          !!!parse-error (type => 'no refc', line => $l, column => $c);
3045        }        }
3046    
3047        if ($code == 0 or (0xD800 <= $code and $code <= 0xDFFF)) {        if ($code == 0 or (0xD800 <= $code and $code <= 0xDFFF)) {
3048          !!!cp (1015);          !!!cp (1015);
3049          !!!parse-error (type => sprintf 'invalid character reference:U+%04X', $code);          !!!parse-error (type => 'invalid character reference',
3050                            text => (sprintf 'U+%04X', $code),
3051                            line => $l, column => $c);
3052          $code = 0xFFFD;          $code = 0xFFFD;
3053        } elsif ($code > 0x10FFFF) {        } elsif ($code > 0x10FFFF) {
3054          !!!cp (1016);          !!!cp (1016);
3055          !!!parse-error (type => sprintf 'invalid character reference:U-%08X', $code);          !!!parse-error (type => 'invalid character reference',
3056                            text => (sprintf 'U-%08X', $code),
3057                            line => $l, column => $c);
3058          $code = 0xFFFD;          $code = 0xFFFD;
3059        } elsif ($code == 0x000D) {        } elsif ($code == 0x000D) {
3060          !!!cp (1017);          !!!cp (1017);
3061          !!!parse-error (type => 'CR character reference');          !!!parse-error (type => 'CR character reference',
3062                            line => $l, column => $c);
3063          $code = 0x000A;          $code = 0x000A;
3064        } elsif (0x80 <= $code and $code <= 0x9F) {        } elsif (0x80 <= $code and $code <= 0x9F) {
3065          !!!cp (1018);          !!!cp (1018);
3066          !!!parse-error (type => sprintf 'C1 character reference:U+%04X', $code);          !!!parse-error (type => 'C1 character reference',
3067                            text => (sprintf 'U+%04X', $code),
3068                            line => $l, column => $c);
3069          $code = $c1_entity_char->{$code};          $code = $c1_entity_char->{$code};
3070        }        }
3071                
3072        return {type => CHARACTER_TOKEN, data => chr $code, has_reference => 1};        return {type => CHARACTER_TOKEN, data => chr $code, has_reference => 1,
3073                  line => $l, column => $c,
3074                 };
3075      } else {      } else {
3076        !!!cp (1019);        !!!cp (1019);
3077        !!!parse-error (type => 'bare nero');        !!!parse-error (type => 'bare nero', line => $l, column => $c);
3078        !!!back-next-input-character ($self->{next_char});        !!!back-next-input-character ($self->{next_char});
3079        $self->{next_char} = 0x0023; # #        $self->{next_char} = 0x0023; # #
3080        return undef;        return undef;
# Line 2336  sub _tokenize_attempt_to_consume_an_enti Line 3091  sub _tokenize_attempt_to_consume_an_enti
3091      require Whatpm::_NamedEntityList;      require Whatpm::_NamedEntityList;
3092      our $EntityChar;      our $EntityChar;
3093    
3094      while (length $entity_name < 10 and      while (length $entity_name < 30 and
3095             ## NOTE: Some number greater than the maximum length of entity name             ## NOTE: Some number greater than the maximum length of entity name
3096             ((0x0041 <= $self->{next_char} and # a             ((0x0041 <= $self->{next_char} and # a
3097               $self->{next_char} <= 0x005A) or # x               $self->{next_char} <= 0x005A) or # x
# Line 2369  sub _tokenize_attempt_to_consume_an_enti Line 3124  sub _tokenize_attempt_to_consume_an_enti
3124            
3125      if ($match > 0) {      if ($match > 0) {
3126        !!!cp (1023);        !!!cp (1023);
3127        return {type => CHARACTER_TOKEN, data => $value, has_reference => 1};        return {type => CHARACTER_TOKEN, data => $value, has_reference => 1,
3128                  line => $l, column => $c,
3129                 };
3130      } elsif ($match < 0) {      } elsif ($match < 0) {
3131        !!!parse-error (type => 'no refc');        !!!parse-error (type => 'no refc', line => $l, column => $c);
3132        if ($in_attr and $match < -1) {        if ($in_attr and $match < -1) {
3133          !!!cp (1024);          !!!cp (1024);
3134          return {type => CHARACTER_TOKEN, data => '&'.$entity_name};          return {type => CHARACTER_TOKEN, data => '&'.$entity_name,
3135                    line => $l, column => $c,
3136                   };
3137        } else {        } else {
3138          !!!cp (1025);          !!!cp (1025);
3139          return {type => CHARACTER_TOKEN, data => $value, has_reference => 1};          return {type => CHARACTER_TOKEN, data => $value, has_reference => 1,
3140                    line => $l, column => $c,
3141                   };
3142        }        }
3143      } else {      } else {
3144        !!!cp (1026);        !!!cp (1026);
3145        !!!parse-error (type => 'bare ero');        !!!parse-error (type => 'bare ero', line => $l, column => $c);
3146        ## NOTE: "No characters are consumed" in the spec.        ## NOTE: "No characters are consumed" in the spec.
3147        return {type => CHARACTER_TOKEN, data => '&'.$value};        return {type => CHARACTER_TOKEN, data => '&'.$value,
3148                  line => $l, column => $c,
3149                 };
3150      }      }
3151    } else {    } else {
3152      !!!cp (1027);      !!!cp (1027);
3153      ## no characters are consumed      ## no characters are consumed
3154      !!!parse-error (type => 'bare ero');      !!!parse-error (type => 'bare ero', line => $l, column => $c);
3155      return undef;      return undef;
3156    }    }
3157  } # _tokenize_attempt_to_consume_an_entity  } # _tokenize_attempt_to_consume_an_entity
# Line 2400  sub _initialize_tree_constructor ($) { Line 3163  sub _initialize_tree_constructor ($) {
3163    ## TODO: Turn mutation events off # MUST    ## TODO: Turn mutation events off # MUST
3164    ## TODO: Turn loose Document option (manakai extension) on    ## TODO: Turn loose Document option (manakai extension) on
3165    $self->{document}->manakai_is_html (1); # MUST    $self->{document}->manakai_is_html (1); # MUST
3166      $self->{document}->set_user_data (manakai_source_line => 1);
3167      $self->{document}->set_user_data (manakai_source_column => 1);
3168  } # _initialize_tree_constructor  } # _initialize_tree_constructor
3169    
3170  sub _terminate_tree_constructor ($) {  sub _terminate_tree_constructor ($) {
# Line 2454  sub _tree_construction_initial ($) { Line 3219  sub _tree_construction_initial ($) {
3219        ## language.        ## language.
3220        my $doctype_name = $token->{name};        my $doctype_name = $token->{name};
3221        $doctype_name = '' unless defined $doctype_name;        $doctype_name = '' unless defined $doctype_name;
3222        $doctype_name =~ tr/a-z/A-Z/;        $doctype_name =~ tr/a-z/A-Z/; # ASCII case-insensitive
3223        if (not defined $token->{name} or # <!DOCTYPE>        if (not defined $token->{name} or # <!DOCTYPE>
           defined $token->{public_identifier} or  
3224            defined $token->{system_identifier}) {            defined $token->{system_identifier}) {
3225          !!!cp ('t1');          !!!cp ('t1');
3226          !!!parse-error (type => 'not HTML5');          !!!parse-error (type => 'not HTML5', token => $token);
3227        } elsif ($doctype_name ne 'HTML') {        } elsif ($doctype_name ne 'HTML') {
3228          !!!cp ('t2');          !!!cp ('t2');
3229          ## ISSUE: ASCII case-insensitive? (in fact it does not matter)          !!!parse-error (type => 'not HTML5', token => $token);
3230          !!!parse-error (type => 'not HTML5');        } elsif (defined $token->{public_identifier}) {
3231            if ($token->{public_identifier} eq 'XSLT-compat') {
3232              !!!cp ('t1.2');
3233              !!!parse-error (type => 'XSLT-compat', token => $token,
3234                              level => $self->{level}->{should});
3235            } else {
3236              !!!parse-error (type => 'not HTML5', token => $token);
3237            }
3238        } else {        } else {
3239          !!!cp ('t3');          !!!cp ('t3');
3240            #
3241        }        }
3242                
3243        my $doctype = $self->{document}->create_document_type_definition        my $doctype = $self->{document}->create_document_type_definition
3244          ($token->{name}); ## ISSUE: If name is missing (e.g. <!DOCTYPE>)?          ($token->{name}); ## ISSUE: If name is missing (e.g. <!DOCTYPE>)?
3245          ## NOTE: Default value for both |public_id| and |system_id| attributes
3246          ## are empty strings, so that we don't set any value in missing cases.
3247        $doctype->public_id ($token->{public_identifier})        $doctype->public_id ($token->{public_identifier})
3248            if defined $token->{public_identifier};            if defined $token->{public_identifier};
3249        $doctype->system_id ($token->{system_identifier})        $doctype->system_id ($token->{system_identifier})
# Line 2484  sub _tree_construction_initial ($) { Line 3258  sub _tree_construction_initial ($) {
3258        } elsif (defined $token->{public_identifier}) {        } elsif (defined $token->{public_identifier}) {
3259          my $pubid = $token->{public_identifier};          my $pubid = $token->{public_identifier};
3260          $pubid =~ tr/a-z/A-z/;          $pubid =~ tr/a-z/A-z/;
3261          if ({          my $prefix = [
3262            "+//SILMARIL//DTD HTML PRO V0R11 19970101//EN" => 1,            "+//SILMARIL//DTD HTML PRO V0R11 19970101//",
3263            "-//ADVASOFT LTD//DTD HTML 3.0 ASWEDIT + EXTENSIONS//EN" => 1,            "-//ADVASOFT LTD//DTD HTML 3.0 ASWEDIT + EXTENSIONS//",
3264            "-//AS//DTD HTML 3.0 ASWEDIT + EXTENSIONS//EN" => 1,            "-//AS//DTD HTML 3.0 ASWEDIT + EXTENSIONS//",
3265            "-//IETF//DTD HTML 2.0 LEVEL 1//EN" => 1,            "-//IETF//DTD HTML 2.0 LEVEL 1//",
3266            "-//IETF//DTD HTML 2.0 LEVEL 2//EN" => 1,            "-//IETF//DTD HTML 2.0 LEVEL 2//",
3267            "-//IETF//DTD HTML 2.0 STRICT LEVEL 1//EN" => 1,            "-//IETF//DTD HTML 2.0 STRICT LEVEL 1//",
3268            "-//IETF//DTD HTML 2.0 STRICT LEVEL 2//EN" => 1,            "-//IETF//DTD HTML 2.0 STRICT LEVEL 2//",
3269            "-//IETF//DTD HTML 2.0 STRICT//EN" => 1,            "-//IETF//DTD HTML 2.0 STRICT//",
3270            "-//IETF//DTD HTML 2.0//EN" => 1,            "-//IETF//DTD HTML 2.0//",
3271            "-//IETF//DTD HTML 2.1E//EN" => 1,            "-//IETF//DTD HTML 2.1E//",
3272            "-//IETF//DTD HTML 3.0//EN" => 1,            "-//IETF//DTD HTML 3.0//",
3273            "-//IETF//DTD HTML 3.0//EN//" => 1,            "-//IETF//DTD HTML 3.2 FINAL//",
3274            "-//IETF//DTD HTML 3.2 FINAL//EN" => 1,            "-//IETF//DTD HTML 3.2//",
3275            "-//IETF//DTD HTML 3.2//EN" => 1,            "-//IETF//DTD HTML 3//",
3276            "-//IETF//DTD HTML 3//EN" => 1,            "-//IETF//DTD HTML LEVEL 0//",
3277            "-//IETF//DTD HTML LEVEL 0//EN" => 1,            "-//IETF//DTD HTML LEVEL 1//",
3278            "-//IETF//DTD HTML LEVEL 0//EN//2.0" => 1,            "-//IETF//DTD HTML LEVEL 2//",
3279            "-//IETF//DTD HTML LEVEL 1//EN" => 1,            "-//IETF//DTD HTML LEVEL 3//",
3280            "-//IETF//DTD HTML LEVEL 1//EN//2.0" => 1,            "-//IETF//DTD HTML STRICT LEVEL 0//",
3281            "-//IETF//DTD HTML LEVEL 2//EN" => 1,            "-//IETF//DTD HTML STRICT LEVEL 1//",
3282            "-//IETF//DTD HTML LEVEL 2//EN//2.0" => 1,            "-//IETF//DTD HTML STRICT LEVEL 2//",
3283            "-//IETF//DTD HTML LEVEL 3//EN" => 1,            "-//IETF//DTD HTML STRICT LEVEL 3//",
3284            "-//IETF//DTD HTML LEVEL 3//EN//3.0" => 1,            "-//IETF//DTD HTML STRICT//",
3285            "-//IETF//DTD HTML STRICT LEVEL 0//EN" => 1,            "-//IETF//DTD HTML//",
3286            "-//IETF//DTD HTML STRICT LEVEL 0//EN//2.0" => 1,            "-//METRIUS//DTD METRIUS PRESENTATIONAL//",
3287            "-//IETF//DTD HTML STRICT LEVEL 1//EN" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 HTML STRICT//",
3288            "-//IETF//DTD HTML STRICT LEVEL 1//EN//2.0" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 HTML//",
3289            "-//IETF//DTD HTML STRICT LEVEL 2//EN" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 TABLES//",
3290            "-//IETF//DTD HTML STRICT LEVEL 2//EN//2.0" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 HTML STRICT//",
3291            "-//IETF//DTD HTML STRICT LEVEL 3//EN" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 HTML//",
3292            "-//IETF//DTD HTML STRICT LEVEL 3//EN//3.0" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 TABLES//",
3293            "-//IETF//DTD HTML STRICT//EN" => 1,            "-//NETSCAPE COMM. CORP.//DTD HTML//",
3294            "-//IETF//DTD HTML STRICT//EN//2.0" => 1,            "-//NETSCAPE COMM. CORP.//DTD STRICT HTML//",
3295            "-//IETF//DTD HTML STRICT//EN//3.0" => 1,            "-//O'REILLY AND ASSOCIATES//DTD HTML 2.0//",
3296            "-//IETF//DTD HTML//EN" => 1,            "-//O'REILLY AND ASSOCIATES//DTD HTML EXTENDED 1.0//",
3297            "-//IETF//DTD HTML//EN//2.0" => 1,            "-//O'REILLY AND ASSOCIATES//DTD HTML EXTENDED RELAXED 1.0//",
3298            "-//IETF//DTD HTML//EN//3.0" => 1,            "-//SOFTQUAD SOFTWARE//DTD HOTMETAL PRO 6.0::19990601::EXTENSIONS TO HTML 4.0//",
3299            "-//METRIUS//DTD METRIUS PRESENTATIONAL//EN" => 1,            "-//SOFTQUAD//DTD HOTMETAL PRO 4.0::19971010::EXTENSIONS TO HTML 4.0//",
3300            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 HTML STRICT//EN" => 1,            "-//SPYGLASS//DTD HTML 2.0 EXTENDED//",
3301            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 HTML//EN" => 1,            "-//SQ//DTD HTML 2.0 HOTMETAL + EXTENSIONS//",
3302            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 TABLES//EN" => 1,            "-//SUN MICROSYSTEMS CORP.//DTD HOTJAVA HTML//",
3303            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 HTML STRICT//EN" => 1,            "-//SUN MICROSYSTEMS CORP.//DTD HOTJAVA STRICT HTML//",
3304            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 HTML//EN" => 1,            "-//W3C//DTD HTML 3 1995-03-24//",
3305            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 TABLES//EN" => 1,            "-//W3C//DTD HTML 3.2 DRAFT//",
3306            "-//NETSCAPE COMM. CORP.//DTD HTML//EN" => 1,            "-//W3C//DTD HTML 3.2 FINAL//",
3307            "-//NETSCAPE COMM. CORP.//DTD STRICT HTML//EN" => 1,            "-//W3C//DTD HTML 3.2//",
3308            "-//O'REILLY AND ASSOCIATES//DTD HTML 2.0//EN" => 1,            "-//W3C//DTD HTML 3.2S DRAFT//",
3309            "-//O'REILLY AND ASSOCIATES//DTD HTML EXTENDED 1.0//EN" => 1,            "-//W3C//DTD HTML 4.0 FRAMESET//",
3310            "-//O'REILLY AND ASSOCIATES//DTD HTML EXTENDED RELAXED 1.0//EN" => 1,            "-//W3C//DTD HTML 4.0 TRANSITIONAL//",
3311            "-//SOFTQUAD SOFTWARE//DTD HOTMETAL PRO 6.0::19990601::EXTENSIONS TO HTML 4.0//EN" => 1,            "-//W3C//DTD HTML EXPERIMETNAL 19960712//",
3312            "-//SOFTQUAD//DTD HOTMETAL PRO 4.0::19971010::EXTENSIONS TO HTML 4.0//EN" => 1,            "-//W3C//DTD HTML EXPERIMENTAL 970421//",
3313            "-//SPYGLASS//DTD HTML 2.0 EXTENDED//EN" => 1,            "-//W3C//DTD W3 HTML//",
3314            "-//SQ//DTD HTML 2.0 HOTMETAL + EXTENSIONS//EN" => 1,            "-//W3O//DTD W3 HTML 3.0//",
3315            "-//SUN MICROSYSTEMS CORP.//DTD HOTJAVA HTML//EN" => 1,            "-//WEBTECHS//DTD MOZILLA HTML 2.0//",
3316            "-//SUN MICROSYSTEMS CORP.//DTD HOTJAVA STRICT HTML//EN" => 1,            "-//WEBTECHS//DTD MOZILLA HTML//",
3317            "-//W3C//DTD HTML 3 1995-03-24//EN" => 1,          ]; # $prefix
3318            "-//W3C//DTD HTML 3.2 DRAFT//EN" => 1,          my $match;
3319            "-//W3C//DTD HTML 3.2 FINAL//EN" => 1,          for (@$prefix) {
3320            "-//W3C//DTD HTML 3.2//EN" => 1,            if (substr ($prefix, 0, length $_) eq $_) {
3321            "-//W3C//DTD HTML 3.2S DRAFT//EN" => 1,              $match = 1;
3322            "-//W3C//DTD HTML 4.0 FRAMESET//EN" => 1,              last;
3323            "-//W3C//DTD HTML 4.0 TRANSITIONAL//EN" => 1,            }
3324            "-//W3C//DTD HTML EXPERIMETNAL 19960712//EN" => 1,          }
3325            "-//W3C//DTD HTML EXPERIMENTAL 970421//EN" => 1,          if ($match or
3326            "-//W3C//DTD W3 HTML//EN" => 1,              $pubid eq "-//W3O//DTD W3 HTML STRICT 3.0//EN//" or
3327            "-//W3O//DTD W3 HTML 3.0//EN" => 1,              $pubid eq "-/W3C/DTD HTML 4.0 TRANSITIONAL/EN" or
3328            "-//W3O//DTD W3 HTML 3.0//EN//" => 1,              $pubid eq "HTML") {
           "-//W3O//DTD W3 HTML STRICT 3.0//EN//" => 1,  
           "-//WEBTECHS//DTD MOZILLA HTML 2.0//EN" => 1,  
           "-//WEBTECHS//DTD MOZILLA HTML//EN" => 1,  
           "-/W3C/DTD HTML 4.0 TRANSITIONAL/EN" => 1,  
           "HTML" => 1,  
         }->{$pubid}) {  
3329            !!!cp ('t5');            !!!cp ('t5');
3330            $self->{document}->manakai_compat_mode ('quirks');            $self->{document}->manakai_compat_mode ('quirks');
3331          } elsif ($pubid eq "-//W3C//DTD HTML 4.01 FRAMESET//EN" or          } elsif ($pubid =~ m[^-//W3C//DTD HTML 4.01 FRAMESET//] or
3332                   $pubid eq "-//W3C//DTD HTML 4.01 TRANSITIONAL//EN") {                   $pubid =~ m[^-//W3C//DTD HTML 4.01 TRANSITIONAL//]) {
3333            if (defined $token->{system_identifier}) {            if (defined $token->{system_identifier}) {
3334              !!!cp ('t6');              !!!cp ('t6');
3335              $self->{document}->manakai_compat_mode ('quirks');              $self->{document}->manakai_compat_mode ('quirks');
# Line 2569  sub _tree_construction_initial ($) { Line 3337  sub _tree_construction_initial ($) {
3337              !!!cp ('t7');              !!!cp ('t7');
3338              $self->{document}->manakai_compat_mode ('limited quirks');              $self->{document}->manakai_compat_mode ('limited quirks');
3339            }            }
3340          } elsif ($pubid eq "-//W3C//DTD XHTML 1.0 FRAMESET//EN" or          } elsif ($pubid =~ m[^-//W3C//DTD XHTML 1.0 FRAMESET//] or
3341                   $pubid eq "-//W3C//DTD XHTML 1.0 TRANSITIONAL//EN") {                   $pubid =~ m[^-//W3C//DTD XHTML 1.0 TRANSITIONAL//]) {
3342            !!!cp ('t8');            !!!cp ('t8');
3343            $self->{document}->manakai_compat_mode ('limited quirks');            $self->{document}->manakai_compat_mode ('limited quirks');
3344          } else {          } else {
# Line 2583  sub _tree_construction_initial ($) { Line 3351  sub _tree_construction_initial ($) {
3351          my $sysid = $token->{system_identifier};          my $sysid = $token->{system_identifier};
3352          $sysid =~ tr/A-Z/a-z/;          $sysid =~ tr/A-Z/a-z/;
3353          if ($sysid eq "http://www.ibm.com/data/dtd/v11/ibmxhtml1-transitional.dtd") {          if ($sysid eq "http://www.ibm.com/data/dtd/v11/ibmxhtml1-transitional.dtd") {
3354            ## TODO: Check the spec: PUBLIC "(limited quirks)" "(quirks)"            ## NOTE: Ensure that |PUBLIC "(limited quirks)" "(quirks)"| is
3355              ## marked as quirks.
3356            $self->{document}->manakai_compat_mode ('quirks');            $self->{document}->manakai_compat_mode ('quirks');
3357            !!!cp ('t11');            !!!cp ('t11');
3358          } else {          } else {
# Line 2602  sub _tree_construction_initial ($) { Line 3371  sub _tree_construction_initial ($) {
3371                END_OF_FILE_TOKEN, 1,                END_OF_FILE_TOKEN, 1,
3372               }->{$token->{type}}) {               }->{$token->{type}}) {
3373        !!!cp ('t14');        !!!cp ('t14');
3374        !!!parse-error (type => 'no DOCTYPE');        !!!parse-error (type => 'no DOCTYPE', token => $token);
3375        $self->{document}->manakai_compat_mode ('quirks');        $self->{document}->manakai_compat_mode ('quirks');
3376        ## Go to the "before html" insertion mode.        ## Go to the "before html" insertion mode.
3377        ## reprocess        ## reprocess
3378          !!!ack-later;
3379        return;        return;
3380      } elsif ($token->{type} == CHARACTER_TOKEN) {      } elsif ($token->{type} == CHARACTER_TOKEN) {
3381        if ($token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) { # \x0D        if ($token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) { # \x0D
# Line 2623  sub _tree_construction_initial ($) { Line 3393  sub _tree_construction_initial ($) {
3393          !!!cp ('t17');          !!!cp ('t17');
3394        }        }
3395    
3396        !!!parse-error (type => 'no DOCTYPE');        !!!parse-error (type => 'no DOCTYPE', token => $token);
3397        $self->{document}->manakai_compat_mode ('quirks');        $self->{document}->manakai_compat_mode ('quirks');
3398        ## Go to the "before html" insertion mode.        ## Go to the "before html" insertion mode.
3399        ## reprocess        ## reprocess
# Line 2652  sub _tree_construction_root_element ($) Line 3422  sub _tree_construction_root_element ($)
3422    B: {    B: {
3423        if ($token->{type} == DOCTYPE_TOKEN) {        if ($token->{type} == DOCTYPE_TOKEN) {
3424          !!!cp ('t19');          !!!cp ('t19');
3425          !!!parse-error (type => 'in html:#DOCTYPE');          !!!parse-error (type => 'in html:#DOCTYPE', token => $token);
3426          ## Ignore the token          ## Ignore the token
3427          ## Stay in the insertion mode.          ## Stay in the insertion mode.
3428          !!!next-token;          !!!next-token;
# Line 2686  sub _tree_construction_root_element ($) Line 3456  sub _tree_construction_root_element ($)
3456        } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
3457          if ($token->{tag_name} eq 'html') {          if ($token->{tag_name} eq 'html') {
3458            my $root_element;            my $root_element;
3459            !!!create-element ($root_element, $token->{tag_name}, $token->{attributes});            !!!create-element ($root_element, $HTML_NS, $token->{tag_name}, $token->{attributes}, $token);
3460            $self->{document}->append_child ($root_element);            $self->{document}->append_child ($root_element);
3461            push @{$self->{open_elements}}, [$root_element, 'html'];            push @{$self->{open_elements}},
3462                  [$root_element, $el_category->{html}];
3463    
3464            if ($token->{attributes}->{manifest}) {            if ($token->{attributes}->{manifest}) {
3465              !!!cp ('t24');              !!!cp ('t24');
3466              $self->{application_cache_selection}              $self->{application_cache_selection}
3467                  ->($token->{attributes}->{manifest}->{value});                  ->($token->{attributes}->{manifest}->{value});
3468              ## ISSUE: No relative reference resolution?              ## ISSUE: Spec is unclear on relative references.
3469                ## According to Hixie (#whatwg 2008-03-19), it should be
3470                ## resolved against the base URI of the document in HTML
3471                ## or xml:base of the element in XHTML.
3472            } else {            } else {
3473              !!!cp ('t25');              !!!cp ('t25');
3474              $self->{application_cache_selection}->(undef);              $self->{application_cache_selection}->(undef);
3475            }            }
3476    
3477              !!!nack ('t25c');
3478    
3479            !!!next-token;            !!!next-token;
3480            return; ## Go to the "before head" insertion mode.            return; ## Go to the "before head" insertion mode.
3481          } else {          } else {
# Line 2716  sub _tree_construction_root_element ($) Line 3492  sub _tree_construction_root_element ($)
3492          die "$0: $token->{type}: Unknown token type";          die "$0: $token->{type}: Unknown token type";
3493        }        }
3494    
3495      my $root_element; !!!create-element ($root_element, 'html');      my $root_element;
3496        !!!create-element ($root_element, $HTML_NS, 'html',, $token);
3497      $self->{document}->append_child ($root_element);      $self->{document}->append_child ($root_element);
3498      push @{$self->{open_elements}}, [$root_element, 'html'];      push @{$self->{open_elements}}, [$root_element, $el_category->{html}];
3499    
3500      $self->{application_cache_selection}->(undef);      $self->{application_cache_selection}->(undef);
3501    
3502      ## NOTE: Reprocess the token.      ## NOTE: Reprocess the token.
3503        !!!ack-later;
3504      return; ## Go to the "before head" insertion mode.      return; ## Go to the "before head" insertion mode.
3505    
3506      ## ISSUE: There is an issue in the spec      ## ISSUE: There is an issue in the spec
# Line 2743  sub _reset_insertion_mode ($) { Line 3521  sub _reset_insertion_mode ($) {
3521            
3522      ## Step 3      ## Step 3
3523      S3: {      S3: {
       ## ISSUE: Oops! "If node is the first node in the stack of open  
       ## elements, then set last to true. If the context element of the  
       ## HTML fragment parsing algorithm is neither a td element nor a  
       ## th element, then set node to the context element. (fragment case)":  
       ## The second "if" is in the scope of the first "if"!?  
3524        if ($self->{open_elements}->[0]->[0] eq $node->[0]) {        if ($self->{open_elements}->[0]->[0] eq $node->[0]) {
3525          $last = 1;          $last = 1;
3526          if (defined $self->{inner_html_node}) {          if (defined $self->{inner_html_node}) {
3527            if ($self->{inner_html_node}->[1] eq 'td' or            !!!cp ('t28');
3528                $self->{inner_html_node}->[1] eq 'th') {            $node = $self->{inner_html_node};
3529              !!!cp ('t27');          } else {
3530              #            die "_reset_insertion_mode: t27";
           } else {  
             !!!cp ('t28');  
             $node = $self->{inner_html_node};  
           }  
3531          }          }
3532        }        }
3533              
3534        ## Step 4..13        ## Step 4..14
3535        my $new_mode = {        my $new_mode;
3536          if ($node->[1] & FOREIGN_EL) {
3537            !!!cp ('t28.1');
3538            ## NOTE: Strictly spaking, the line below only applies to MathML and
3539            ## SVG elements.  Currently the HTML syntax supports only MathML and
3540            ## SVG elements as foreigners.
3541            $new_mode = IN_BODY_IM | IN_FOREIGN_CONTENT_IM;
3542          } elsif ($node->[1] & TABLE_CELL_EL) {
3543            if ($last) {
3544              !!!cp ('t28.2');
3545              #
3546            } else {
3547              !!!cp ('t28.3');
3548              $new_mode = IN_CELL_IM;
3549            }
3550          } else {
3551            !!!cp ('t28.4');
3552            $new_mode = {
3553                        select => IN_SELECT_IM,                        select => IN_SELECT_IM,
3554                        ## NOTE: |option| and |optgroup| do not set                        ## NOTE: |option| and |optgroup| do not set
3555                        ## insertion mode to "in select" by themselves.                        ## insertion mode to "in select" by themselves.
                       td => IN_CELL_IM,  
                       th => IN_CELL_IM,  
3556                        tr => IN_ROW_IM,                        tr => IN_ROW_IM,
3557                        tbody => IN_TABLE_BODY_IM,                        tbody => IN_TABLE_BODY_IM,
3558                        thead => IN_TABLE_BODY_IM,                        thead => IN_TABLE_BODY_IM,
# Line 2779  sub _reset_insertion_mode ($) { Line 3563  sub _reset_insertion_mode ($) {
3563                        head => IN_BODY_IM, # not in head!                        head => IN_BODY_IM, # not in head!
3564                        body => IN_BODY_IM,                        body => IN_BODY_IM,
3565                        frameset => IN_FRAMESET_IM,                        frameset => IN_FRAMESET_IM,
3566                       }->{$node->[1]};                       }->{$node->[0]->manakai_local_name};
3567          }
3568        $self->{insertion_mode} = $new_mode and return if defined $new_mode;        $self->{insertion_mode} = $new_mode and return if defined $new_mode;
3569                
3570        ## Step 14        ## Step 15
3571        if ($node->[1] eq 'html') {        if ($node->[1] & HTML_EL) {
3572          unless (defined $self->{head_element}) {          unless (defined $self->{head_element}) {
3573            !!!cp ('t29');            !!!cp ('t29');
3574            $self->{insertion_mode} = BEFORE_HEAD_IM;            $self->{insertion_mode} = BEFORE_HEAD_IM;
# Line 2797  sub _reset_insertion_mode ($) { Line 3582  sub _reset_insertion_mode ($) {
3582          !!!cp ('t31');          !!!cp ('t31');
3583        }        }
3584                
3585        ## Step 15        ## Step 16
3586        $self->{insertion_mode} = IN_BODY_IM and return if $last;        $self->{insertion_mode} = IN_BODY_IM and return if $last;
3587                
3588        ## Step 16        ## Step 17
3589        $i--;        $i--;
3590        $node = $self->{open_elements}->[$i];        $node = $self->{open_elements}->[$i];
3591                
3592        ## Step 17        ## Step 18
3593        redo S3;        redo S3;
3594      } # S3      } # S3
3595    
# Line 2908  sub _tree_construction_main ($) { Line 3693  sub _tree_construction_main ($) {
3693      !!!cp ('t39');      !!!cp ('t39');
3694    }; # $clear_up_to_marker    }; # $clear_up_to_marker
3695    
3696    my $parse_rcdata = sub ($$) {    my $insert;
3697      my ($content_model_flag, $insert) = @_;  
3698      my $parse_rcdata = sub ($) {
3699        my ($content_model_flag) = @_;
3700    
3701      ## Step 1      ## Step 1
3702      my $start_tag_name = $token->{tag_name};      my $start_tag_name = $token->{tag_name};
3703      my $el;      my $el;
3704      !!!create-element ($el, $start_tag_name, $token->{attributes});      !!!create-element ($el, $HTML_NS, $start_tag_name, $token->{attributes}, $token);
3705    
3706      ## Step 2      ## Step 2
3707      $insert->($el); # /context node/->append_child ($el)      $insert->($el);
3708    
3709      ## Step 3      ## Step 3
3710      $self->{content_model} = $content_model_flag; # CDATA or RCDATA      $self->{content_model} = $content_model_flag; # CDATA or RCDATA
# Line 2925  sub _tree_construction_main ($) { Line 3712  sub _tree_construction_main ($) {
3712    
3713      ## Step 4      ## Step 4
3714      my $text = '';      my $text = '';
3715        !!!nack ('t40.1');
3716      !!!next-token;      !!!next-token;
3717      while ($token->{type} == CHARACTER_TOKEN) { # or until stop tokenizing      while ($token->{type} == CHARACTER_TOKEN) { # or until stop tokenizing
3718        !!!cp ('t40');        !!!cp ('t40');
# Line 2947  sub _tree_construction_main ($) { Line 3735  sub _tree_construction_main ($) {
3735          $token->{tag_name} eq $start_tag_name) {          $token->{tag_name} eq $start_tag_name) {
3736        !!!cp ('t42');        !!!cp ('t42');
3737        ## Ignore the token        ## Ignore the token
     } elsif ($content_model_flag == CDATA_CONTENT_MODEL) {  
       !!!cp ('t43');  
       !!!parse-error (type => 'in CDATA:#'.$token->{type});  
     } elsif ($content_model_flag == RCDATA_CONTENT_MODEL) {  
       !!!cp ('t44');  
       !!!parse-error (type => 'in RCDATA:#'.$token->{type});  
3738      } else {      } else {
3739        die "$0: $content_model_flag in parse_rcdata";        ## NOTE: An end-of-file token.
3740          if ($content_model_flag == CDATA_CONTENT_MODEL) {
3741            !!!cp ('t43');
3742            !!!parse-error (type => 'in CDATA:#eof', token => $token);
3743          } elsif ($content_model_flag == RCDATA_CONTENT_MODEL) {
3744            !!!cp ('t44');
3745            !!!parse-error (type => 'in RCDATA:#eof', token => $token);
3746          } else {
3747            die "$0: $content_model_flag in parse_rcdata";
3748          }
3749      }      }
3750      !!!next-token;      !!!next-token;
3751    }; # $parse_rcdata    }; # $parse_rcdata
3752    
3753    my $script_start_tag = sub ($) {    my $script_start_tag = sub () {
     my $insert = $_[0];  
3754      my $script_el;      my $script_el;
3755      !!!create-element ($script_el, 'script', $token->{attributes});      !!!create-element ($script_el, $HTML_NS, 'script', $token->{attributes}, $token);
3756      ## TODO: mark as "parser-inserted"      ## TODO: mark as "parser-inserted"
3757    
3758      $self->{content_model} = CDATA_CONTENT_MODEL;      $self->{content_model} = CDATA_CONTENT_MODEL;
3759      delete $self->{escape}; # MUST      delete $self->{escape}; # MUST
3760            
3761      my $text = '';      my $text = '';
3762        !!!nack ('t45.1');
3763      !!!next-token;      !!!next-token;
3764      while ($token->{type} == CHARACTER_TOKEN) {      while ($token->{type} == CHARACTER_TOKEN) {
3765        !!!cp ('t45');        !!!cp ('t45');
# Line 2988  sub _tree_construction_main ($) { Line 3779  sub _tree_construction_main ($) {
3779        ## Ignore the token        ## Ignore the token
3780      } else {      } else {
3781        !!!cp ('t48');        !!!cp ('t48');
3782        !!!parse-error (type => 'in CDATA:#'.$token->{type});        !!!parse-error (type => 'in CDATA:#eof', token => $token);
3783        ## ISSUE: And ignore?        ## ISSUE: And ignore?
3784        ## TODO: mark as "already executed"        ## TODO: mark as "already executed"
3785      }      }
# Line 3011  sub _tree_construction_main ($) { Line 3802  sub _tree_construction_main ($) {
3802      !!!next-token;      !!!next-token;
3803    }; # $script_start_tag    }; # $script_start_tag
3804    
3805      ## NOTE: $open_tables->[-1]->[0] is the "current table" element node.
3806      ## NOTE: $open_tables->[-1]->[1] is the "tainted" flag.
3807      my $open_tables = [[$self->{open_elements}->[0]->[0]]];
3808    
3809    my $formatting_end_tag = sub {    my $formatting_end_tag = sub {
3810      my $tag_name = shift;      my $end_tag_token = shift;
3811        my $tag_name = $end_tag_token->{tag_name};
3812    
3813        ## NOTE: The adoption agency algorithm (AAA).
3814    
3815      FET: {      FET: {
3816        ## Step 1        ## Step 1
3817        my $formatting_element;        my $formatting_element;
3818        my $formatting_element_i_in_active;        my $formatting_element_i_in_active;
3819        AFE: for (reverse 0..$#$active_formatting_elements) {        AFE: for (reverse 0..$#$active_formatting_elements) {
3820          if ($active_formatting_elements->[$_]->[1] eq $tag_name) {          if ($active_formatting_elements->[$_]->[0] eq '#marker') {
3821              !!!cp ('t52');
3822              last AFE;
3823            } elsif ($active_formatting_elements->[$_]->[0]->manakai_local_name
3824                         eq $tag_name) {
3825            !!!cp ('t51');            !!!cp ('t51');
3826            $formatting_element = $active_formatting_elements->[$_];            $formatting_element = $active_formatting_elements->[$_];
3827            $formatting_element_i_in_active = $_;            $formatting_element_i_in_active = $_;
3828            last AFE;            last AFE;
         } elsif ($active_formatting_elements->[$_]->[0] eq '#marker') {  
           !!!cp ('t52');  
           last AFE;  
3829          }          }
3830        } # AFE        } # AFE
3831        unless (defined $formatting_element) {        unless (defined $formatting_element) {
3832          !!!cp ('t53');          !!!cp ('t53');
3833          !!!parse-error (type => 'unmatched end tag:'.$tag_name);          !!!parse-error (type => 'unmatched end tag', text => $tag_name, token => $end_tag_token);
3834          ## Ignore the token          ## Ignore the token
3835          !!!next-token;          !!!next-token;
3836          return;          return;
# Line 3048  sub _tree_construction_main ($) { Line 3847  sub _tree_construction_main ($) {
3847              last INSCOPE;              last INSCOPE;
3848            } else { # in open elements but not in scope            } else { # in open elements but not in scope
3849              !!!cp ('t55');              !!!cp ('t55');
3850              !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});              !!!parse-error (type => 'unmatched end tag',
3851                                text => $token->{tag_name},
3852                                token => $end_tag_token);
3853              ## Ignore the token              ## Ignore the token
3854              !!!next-token;              !!!next-token;
3855              return;              return;
3856            }            }
3857          } elsif ({          } elsif ($node->[1] & SCOPING_EL) {
                   table => 1, caption => 1, td => 1, th => 1,  
                   button => 1, marquee => 1, object => 1, html => 1,  
                  }->{$node->[1]}) {  
3858            !!!cp ('t56');            !!!cp ('t56');
3859            $in_scope = 0;            $in_scope = 0;
3860          }          }
3861        } # INSCOPE        } # INSCOPE
3862        unless (defined $formatting_element_i_in_open) {        unless (defined $formatting_element_i_in_open) {
3863          !!!cp ('t57');          !!!cp ('t57');
3864          !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});          !!!parse-error (type => 'unmatched end tag',
3865                            text => $token->{tag_name},
3866                            token => $end_tag_token);
3867          pop @$active_formatting_elements; # $formatting_element          pop @$active_formatting_elements; # $formatting_element
3868          !!!next-token; ## TODO: ok?          !!!next-token; ## TODO: ok?
3869          return;          return;
3870        }        }
3871        if (not $self->{open_elements}->[-1]->[0] eq $formatting_element->[0]) {        if (not $self->{open_elements}->[-1]->[0] eq $formatting_element->[0]) {
3872          !!!cp ('t58');          !!!cp ('t58');
3873          !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);          !!!parse-error (type => 'not closed',
3874                            text => $self->{open_elements}->[-1]->[0]
3875                                ->manakai_local_name,
3876                            token => $end_tag_token);
3877        }        }
3878                
3879        ## Step 2        ## Step 2
# Line 3078  sub _tree_construction_main ($) { Line 3881  sub _tree_construction_main ($) {
3881        my $furthest_block_i_in_open;        my $furthest_block_i_in_open;
3882        OE: for (reverse 0..$#{$self->{open_elements}}) {        OE: for (reverse 0..$#{$self->{open_elements}}) {
3883          my $node = $self->{open_elements}->[$_];          my $node = $self->{open_elements}->[$_];
3884          if (not $formatting_category->{$node->[1]} and          if (not ($node->[1] & FORMATTING_EL) and
3885              #not $phrasing_category->{$node->[1]} and              #not $phrasing_category->{$node->[1]} and
3886              ($special_category->{$node->[1]} or              ($node->[1] & SPECIAL_EL or
3887               $scoping_category->{$node->[1]})) {               $node->[1] & SCOPING_EL)) { ## Scoping is redundant, maybe
3888            !!!cp ('t59');            !!!cp ('t59');
3889            $furthest_block = $node;            $furthest_block = $node;
3890            $furthest_block_i_in_open = $_;            $furthest_block_i_in_open = $_;
# Line 3167  sub _tree_construction_main ($) { Line 3970  sub _tree_construction_main ($) {
3970        } # S7          } # S7  
3971                
3972        ## Step 8        ## Step 8
3973        $common_ancestor_node->[0]->append_child ($last_node->[0]);        if ($common_ancestor_node->[1] & TABLE_ROWS_EL) {
3974            my $foster_parent_element;
3975            my $next_sibling;
3976            OE: for (reverse 0..$#{$self->{open_elements}}) {
3977              if ($self->{open_elements}->[$_]->[1] & TABLE_EL) {
3978                                 my $parent = $self->{open_elements}->[$_]->[0]->parent_node;
3979                                 if (defined $parent and $parent->node_type == 1) {
3980                                   !!!cp ('t65.1');
3981                                   $foster_parent_element = $parent;
3982                                   $next_sibling = $self->{open_elements}->[$_]->[0];
3983                                 } else {
3984                                   !!!cp ('t65.2');
3985                                   $foster_parent_element
3986                                     = $self->{open_elements}->[$_ - 1]->[0];
3987                                 }
3988                                 last OE;
3989                               }
3990                             } # OE
3991                             $foster_parent_element = $self->{open_elements}->[0]->[0]
3992                               unless defined $foster_parent_element;
3993            $foster_parent_element->insert_before ($last_node->[0], $next_sibling);
3994            $open_tables->[-1]->[1] = 1; # tainted
3995          } else {
3996            !!!cp ('t65.3');
3997            $common_ancestor_node->[0]->append_child ($last_node->[0]);
3998          }
3999                
4000        ## Step 9        ## Step 9
4001        my $clone = [$formatting_element->[0]->clone_node (0),        my $clone = [$formatting_element->[0]->clone_node (0),
# Line 3213  sub _tree_construction_main ($) { Line 4041  sub _tree_construction_main ($) {
4041      } # FET      } # FET
4042    }; # $formatting_end_tag    }; # $formatting_end_tag
4043    
4044    my $insert_to_current = sub {    $insert = my $insert_to_current = sub {
4045      $self->{open_elements}->[-1]->[0]->append_child ($_[0]);      $self->{open_elements}->[-1]->[0]->append_child ($_[0]);
4046    }; # $insert_to_current    }; # $insert_to_current
4047    
4048    my $insert_to_foster = sub {    my $insert_to_foster = sub {
4049                         my $child = shift;      my $child = shift;
4050                         if ({      if ($self->{open_elements}->[-1]->[1] & TABLE_ROWS_EL) {
4051                              table => 1, tbody => 1, tfoot => 1,        # MUST
4052                              thead => 1, tr => 1,        my $foster_parent_element;
4053                             }->{$self->{open_elements}->[-1]->[1]}) {        my $next_sibling;
4054                           # MUST        OE: for (reverse 0..$#{$self->{open_elements}}) {
4055                           my $foster_parent_element;          if ($self->{open_elements}->[$_]->[1] & TABLE_EL) {
                          my $next_sibling;  
                          OE: for (reverse 0..$#{$self->{open_elements}}) {  
                            if ($self->{open_elements}->[$_]->[1] eq 'table') {  
4056                               my $parent = $self->{open_elements}->[$_]->[0]->parent_node;                               my $parent = $self->{open_elements}->[$_]->[0]->parent_node;
4057                               if (defined $parent and $parent->node_type == 1) {                               if (defined $parent and $parent->node_type == 1) {
4058                                 !!!cp ('t70');                                 !!!cp ('t70');
# Line 3245  sub _tree_construction_main ($) { Line 4070  sub _tree_construction_main ($) {
4070                             unless defined $foster_parent_element;                             unless defined $foster_parent_element;
4071                           $foster_parent_element->insert_before                           $foster_parent_element->insert_before
4072                             ($child, $next_sibling);                             ($child, $next_sibling);
4073                         } else {        $open_tables->[-1]->[1] = 1; # tainted
4074                           !!!cp ('t72');      } else {
4075                           $self->{open_elements}->[-1]->[0]->append_child ($child);        !!!cp ('t72');
4076                         }        $self->{open_elements}->[-1]->[0]->append_child ($child);
4077        }
4078    }; # $insert_to_foster    }; # $insert_to_foster
4079    
4080    my $insert;    B: while (1) {
   
   B: {  
4081      if ($token->{type} == DOCTYPE_TOKEN) {      if ($token->{type} == DOCTYPE_TOKEN) {
4082        !!!cp ('t73');        !!!cp ('t73');
4083        !!!parse-error (type => 'DOCTYPE in the middle');        !!!parse-error (type => 'in html:#DOCTYPE', token => $token);
4084        ## Ignore the token        ## Ignore the token
4085        ## Stay in the phase        ## Stay in the phase
4086        !!!next-token;        !!!next-token;
4087        redo B;        next B;
     } elsif ($token->{type} == END_OF_FILE_TOKEN) {  
       if ($self->{insertion_mode} & AFTER_HTML_IMS) {  
         !!!cp ('t74');  
         #  
       } else {  
         ## Generate implied end tags  
         while ({  
                 dd => 1, dt => 1, li => 1, p => 1,  
                }->{$self->{open_elements}->[-1]->[1]}) {  
           !!!cp ('t75');  
           pop @{$self->{open_elements}};  
         }  
           
         if (@{$self->{open_elements}} > 2 or  
             (@{$self->{open_elements}} == 2 and $self->{open_elements}->[1]->[1] ne 'body')) {  
           !!!cp ('t76');  
           !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);  
         } elsif (defined $self->{inner_html_node} and  
                  @{$self->{open_elements}} > 1 and  
                  $self->{open_elements}->[1]->[1] ne 'body') {  
 ## ISSUE: This case is never reached.  
           !!!cp ('t77');  
           !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);  
         } else {  
           !!!cp ('t78');  
         }  
   
         ## ISSUE: There is an issue in the spec.  
       }  
   
       ## Stop parsing  
       last B;  
4088      } elsif ($token->{type} == START_TAG_TOKEN and      } elsif ($token->{type} == START_TAG_TOKEN and
4089               $token->{tag_name} eq 'html') {               $token->{tag_name} eq 'html') {
4090        if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {        if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {
4091          !!!cp ('t79');          !!!cp ('t79');
4092          !!!parse-error (type => 'after html:html');          !!!parse-error (type => 'after html', text => 'html', token => $token);
4093          $self->{insertion_mode} = AFTER_BODY_IM;          $self->{insertion_mode} = AFTER_BODY_IM;
4094        } elsif ($self->{insertion_mode} == AFTER_HTML_FRAMESET_IM) {        } elsif ($self->{insertion_mode} == AFTER_HTML_FRAMESET_IM) {
4095          !!!cp ('t80');          !!!cp ('t80');
4096          !!!parse-error (type => 'after html:html');          !!!parse-error (type => 'after html', text => 'html', token => $token);
4097          $self->{insertion_mode} = AFTER_FRAMESET_IM;          $self->{insertion_mode} = AFTER_FRAMESET_IM;
4098        } else {        } else {
4099          !!!cp ('t81');          !!!cp ('t81');
4100        }        }
4101    
4102        !!!cp ('t82');        !!!cp ('t82');
4103        !!!parse-error (type => 'not first start tag');        !!!parse-error (type => 'not first start tag', token => $token);
4104        my $top_el = $self->{open_elements}->[0]->[0];        my $top_el = $self->{open_elements}->[0]->[0];
4105        for my $attr_name (keys %{$token->{attributes}}) {        for my $attr_name (keys %{$token->{attributes}}) {
4106          unless ($top_el->has_attribute_ns (undef, $attr_name)) {          unless ($top_el->has_attribute_ns (undef, $attr_name)) {
# Line 3318  sub _tree_construction_main ($) { Line 4110  sub _tree_construction_main ($) {
4110               $token->{attributes}->{$attr_name}->{value});               $token->{attributes}->{$attr_name}->{value});
4111          }          }
4112        }        }
4113          !!!nack ('t84.1');
4114        !!!next-token;        !!!next-token;
4115        redo B;        next B;
4116      } elsif ($token->{type} == COMMENT_TOKEN) {      } elsif ($token->{type} == COMMENT_TOKEN) {
4117        my $comment = $self->{document}->create_comment ($token->{data});        my $comment = $self->{document}->create_comment ($token->{data});
4118        if ($self->{insertion_mode} & AFTER_HTML_IMS) {        if ($self->{insertion_mode} & AFTER_HTML_IMS) {
# Line 3333  sub _tree_construction_main ($) { Line 4126  sub _tree_construction_main ($) {
4126          $self->{open_elements}->[-1]->[0]->append_child ($comment);          $self->{open_elements}->[-1]->[0]->append_child ($comment);
4127        }        }
4128        !!!next-token;        !!!next-token;
4129        redo B;        next B;
4130      } elsif ($self->{insertion_mode} & HEAD_IMS) {      } elsif ($self->{insertion_mode} & IN_FOREIGN_CONTENT_IM) {
4131          if ($token->{type} == CHARACTER_TOKEN) {
4132            !!!cp ('t87.1');
4133            $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});
4134            !!!next-token;
4135            next B;
4136          } elsif ($token->{type} == START_TAG_TOKEN) {
4137            if ((not {mglyph => 1, malignmark => 1}->{$token->{tag_name}} and
4138                 $self->{open_elements}->[-1]->[1] & FOREIGN_FLOW_CONTENT_EL) or
4139                not ($self->{open_elements}->[-1]->[1] & FOREIGN_EL) or
4140                ($token->{tag_name} eq 'svg' and
4141                 $self->{open_elements}->[-1]->[1] & MML_AXML_EL)) {
4142              ## NOTE: "using the rules for secondary insertion mode"then"continue"
4143              !!!cp ('t87.2');
4144              #
4145            } elsif ({
4146                      b => 1, big => 1, blockquote => 1, body => 1, br => 1,
4147                      center => 1, code => 1, dd => 1, div => 1, dl => 1, dt => 1,
4148                      em => 1, embed => 1, font => 1, h1 => 1, h2 => 1, h3 => 1,
4149                      h4 => 1, h5 => 1, h6 => 1, head => 1, hr => 1, i => 1,
4150                      img => 1, li => 1, listing => 1, menu => 1, meta => 1,
4151                      nobr => 1, ol => 1, p => 1, pre => 1, ruby => 1, s => 1,
4152                      small => 1, span => 1, strong => 1, strike => 1, sub => 1,
4153                      sup => 1, table => 1, tt => 1, u => 1, ul => 1, var => 1,
4154                     }->{$token->{tag_name}}) {
4155              !!!cp ('t87.2');
4156              !!!parse-error (type => 'not closed',
4157                              text => $self->{open_elements}->[-1]->[0]
4158                                  ->manakai_local_name,
4159                              token => $token);
4160    
4161              pop @{$self->{open_elements}}
4162                  while $self->{open_elements}->[-1]->[1] & FOREIGN_EL;
4163    
4164              $self->{insertion_mode} &= ~ IN_FOREIGN_CONTENT_IM;
4165              ## Reprocess.
4166              next B;
4167            } else {
4168              my $nsuri = $self->{open_elements}->[-1]->[0]->namespace_uri;
4169              my $tag_name = $token->{tag_name};
4170              if ($nsuri eq $SVG_NS) {
4171                $tag_name = {
4172                   altglyph => 'altGlyph',
4173                   altglyphdef => 'altGlyphDef',
4174                   altglyphitem => 'altGlyphItem',
4175                   animatecolor => 'animateColor',
4176                   animatemotion => 'animateMotion',
4177                   animatetransform => 'animateTransform',
4178                   clippath => 'clipPath',
4179                   feblend => 'feBlend',
4180                   fecolormatrix => 'feColorMatrix',
4181                   fecomponenttransfer => 'feComponentTransfer',
4182                   fecomposite => 'feComposite',
4183                   feconvolvematrix => 'feConvolveMatrix',
4184                   fediffuselighting => 'feDiffuseLighting',
4185                   fedisplacementmap => 'feDisplacementMap',
4186                   fedistantlight => 'feDistantLight',
4187                   feflood => 'feFlood',
4188                   fefunca => 'feFuncA',
4189                   fefuncb => 'feFuncB',
4190                   fefuncg => 'feFuncG',
4191                   fefuncr => 'feFuncR',
4192                   fegaussianblur => 'feGaussianBlur',
4193                   feimage => 'feImage',
4194                   femerge => 'feMerge',
4195                   femergenode => 'feMergeNode',
4196                   femorphology => 'feMorphology',
4197                   feoffset => 'feOffset',
4198                   fepointlight => 'fePointLight',
4199                   fespecularlighting => 'feSpecularLighting',
4200                   fespotlight => 'feSpotLight',
4201                   fetile => 'feTile',
4202                   feturbulence => 'feTurbulence',
4203                   foreignobject => 'foreignObject',
4204                   glyphref => 'glyphRef',
4205                   lineargradient => 'linearGradient',
4206                   radialgradient => 'radialGradient',
4207                   #solidcolor => 'solidColor', ## NOTE: Commented in spec (SVG1.2)
4208                   textpath => 'textPath',  
4209                }->{$tag_name} || $tag_name;
4210              }
4211    
4212              ## "adjust SVG attributes" (SVG only) - done in insert-element-f
4213    
4214              ## "adjust foreign attributes" - done in insert-element-f
4215    
4216              !!!insert-element-f ($nsuri, $tag_name, $token->{attributes}, $token);
4217    
4218              if ($self->{self_closing}) {
4219                pop @{$self->{open_elements}};
4220                !!!ack ('t87.3');
4221              } else {
4222                !!!cp ('t87.4');
4223              }
4224    
4225              !!!next-token;
4226              next B;
4227            }
4228          } elsif ($token->{type} == END_TAG_TOKEN) {
4229            ## NOTE: "using the rules for secondary insertion mode" then "continue"
4230            !!!cp ('t87.5');
4231            #
4232          } elsif ($token->{type} == END_OF_FILE_TOKEN) {
4233            !!!cp ('t87.6');
4234            !!!parse-error (type => 'not closed',
4235                            text => $self->{open_elements}->[-1]->[0]
4236                                ->manakai_local_name,
4237                            token => $token);
4238    
4239            pop @{$self->{open_elements}}
4240                while $self->{open_elements}->[-1]->[1] & FOREIGN_EL;
4241    
4242            $self->{insertion_mode} &= ~ IN_FOREIGN_CONTENT_IM;
4243            ## Reprocess.
4244            next B;
4245          } else {
4246            die "$0: $token->{type}: Unknown token type";        
4247          }
4248        }
4249    
4250        if ($self->{insertion_mode} & HEAD_IMS) {
4251        if ($token->{type} == CHARACTER_TOKEN) {        if ($token->{type} == CHARACTER_TOKEN) {
4252          if ($token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) {          if ($token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) {
4253            $self->{open_elements}->[-1]->[0]->manakai_append_text ($1);            unless ($self->{insertion_mode} == BEFORE_HEAD_IM) {
4254                !!!cp ('t88.2');
4255                $self->{open_elements}->[-1]->[0]->manakai_append_text ($1);
4256              } else {
4257                !!!cp ('t88.1');
4258                ## Ignore the token.
4259                !!!next-token;
4260                next B;
4261              }
4262            unless (length $token->{data}) {            unless (length $token->{data}) {
4263              !!!cp ('t88');              !!!cp ('t88');
4264              !!!next-token;              !!!next-token;
4265              redo B;              next B;
4266            }            }
4267          }          }
4268    
4269          if ($self->{insertion_mode} == BEFORE_HEAD_IM) {          if ($self->{insertion_mode} == BEFORE_HEAD_IM) {
4270            !!!cp ('t89');            !!!cp ('t89');
4271            ## As if <head>            ## As if <head>
4272            !!!create-element ($self->{head_element}, 'head');            !!!create-element ($self->{head_element}, $HTML_NS, 'head',, $token);
4273            $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});            $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});
4274            push @{$self->{open_elements}}, [$self->{head_element}, 'head'];            push @{$self->{open_elements}},
4275                  [$self->{head_element}, $el_category->{head}];
4276    
4277            ## Reprocess in the "in head" insertion mode...            ## Reprocess in the "in head" insertion mode...
4278            pop @{$self->{open_elements}};            pop @{$self->{open_elements}};
# Line 3360  sub _tree_construction_main ($) { Line 4282  sub _tree_construction_main ($) {
4282            !!!cp ('t90');            !!!cp ('t90');
4283            ## As if </noscript>            ## As if </noscript>
4284            pop @{$self->{open_elements}};            pop @{$self->{open_elements}};
4285            !!!parse-error (type => 'in noscript:#character');            !!!parse-error (type => 'in noscript:#text', token => $token);
4286                        
4287            ## Reprocess in the "in head" insertion mode...            ## Reprocess in the "in head" insertion mode...
4288            ## As if </head>            ## As if </head>
# Line 3376  sub _tree_construction_main ($) { Line 4298  sub _tree_construction_main ($) {
4298            !!!cp ('t92');            !!!cp ('t92');
4299          }          }
4300    
4301              ## "after head" insertion mode          ## "after head" insertion mode
4302              ## As if <body>          ## As if <body>
4303              !!!insert-element ('body');          !!!insert-element ('body',, $token);
4304              $self->{insertion_mode} = IN_BODY_IM;          $self->{insertion_mode} = IN_BODY_IM;
4305              ## reprocess          ## reprocess
4306              redo B;          next B;
4307            } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
4308              if ($token->{tag_name} eq 'head') {          if ($token->{tag_name} eq 'head') {
4309                if ($self->{insertion_mode} == BEFORE_HEAD_IM) {            if ($self->{insertion_mode} == BEFORE_HEAD_IM) {
4310                  !!!cp ('t93');              !!!cp ('t93');
4311                  !!!create-element ($self->{head_element}, $token->{tag_name}, $token->{attributes});              !!!create-element ($self->{head_element}, $HTML_NS, $token->{tag_name}, $token->{attributes}, $token);
4312                  $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});              $self->{open_elements}->[-1]->[0]->append_child
4313                  push @{$self->{open_elements}}, [$self->{head_element}, $token->{tag_name}];                  ($self->{head_element});
4314                  $self->{insertion_mode} = IN_HEAD_IM;              push @{$self->{open_elements}},
4315                  !!!next-token;                  [$self->{head_element}, $el_category->{head}];
4316                  redo B;              $self->{insertion_mode} = IN_HEAD_IM;
4317                } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {              !!!nack ('t93.1');
4318                  !!!cp ('t94');              !!!next-token;
4319                  #              next B;
4320                } else {            } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
4321                  !!!cp ('t95');              !!!cp ('t93.2');
4322                  !!!parse-error (type => 'in head:head'); # or in head noscript              !!!parse-error (type => 'after head', text => 'head',
4323                  ## Ignore the token                              token => $token);
4324                  !!!next-token;              ## Ignore the token
4325                  redo B;              !!!nack ('t93.3');
4326                }              !!!next-token;
4327              } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM) {              next B;
4328                !!!cp ('t96');            } else {
4329                ## As if <head>              !!!cp ('t95');
4330                !!!create-element ($self->{head_element}, 'head');              !!!parse-error (type => 'in head:head',
4331                $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});                              token => $token); # or in head noscript
4332                push @{$self->{open_elements}}, [$self->{head_element}, 'head'];              ## Ignore the token
4333                !!!nack ('t95.1');
4334                !!!next-token;
4335                next B;
4336              }
4337            } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM) {
4338              !!!cp ('t96');
4339              ## As if <head>
4340              !!!create-element ($self->{head_element}, $HTML_NS, 'head',, $token);
4341              $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});
4342              push @{$self->{open_elements}},
4343                  [$self->{head_element}, $el_category->{head}];
4344    
4345                $self->{insertion_mode} = IN_HEAD_IM;            $self->{insertion_mode} = IN_HEAD_IM;
4346                ## Reprocess in the "in head" insertion mode...            ## Reprocess in the "in head" insertion mode...
4347              } else {          } else {
4348                !!!cp ('t97');            !!!cp ('t97');
4349              }          }
4350    
4351              if ($token->{tag_name} eq 'base') {              if ($token->{tag_name} eq 'base') {
4352                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
4353                  !!!cp ('t98');                  !!!cp ('t98');
4354                  ## As if </noscript>                  ## As if </noscript>
4355                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4356                  !!!parse-error (type => 'in noscript:base');                  !!!parse-error (type => 'in noscript', text => 'base',
4357                                    token => $token);
4358                                
4359                  $self->{insertion_mode} = IN_HEAD_IM;                  $self->{insertion_mode} = IN_HEAD_IM;
4360                  ## Reprocess in the "in head" insertion mode...                  ## Reprocess in the "in head" insertion mode...
# Line 3431  sub _tree_construction_main ($) { Line 4365  sub _tree_construction_main ($) {
4365                ## NOTE: There is a "as if in head" code clone.                ## NOTE: There is a "as if in head" code clone.
4366                if ($self->{insertion_mode} == AFTER_HEAD_IM) {                if ($self->{insertion_mode} == AFTER_HEAD_IM) {
4367                  !!!cp ('t100');                  !!!cp ('t100');
4368                  !!!parse-error (type => 'after head:'.$token->{tag_name});                  !!!parse-error (type => 'after head',
4369                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                                  text => $token->{tag_name}, token => $token);
4370                    push @{$self->{open_elements}},
4371                        [$self->{head_element}, $el_category->{head}];
4372                } else {                } else {
4373                  !!!cp ('t101');                  !!!cp ('t101');
4374                }                }
4375                !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
4376                pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.                pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.
4377                pop @{$self->{open_elements}}                pop @{$self->{open_elements}} # <head>
4378                    if $self->{insertion_mode} == AFTER_HEAD_IM;                    if $self->{insertion_mode} == AFTER_HEAD_IM;
4379                  !!!nack ('t101.1');
4380                !!!next-token;                !!!next-token;
4381                redo B;                next B;
4382              } elsif ($token->{tag_name} eq 'link') {              } elsif ($token->{tag_name} eq 'link') {
4383                ## NOTE: There is a "as if in head" code clone.                ## NOTE: There is a "as if in head" code clone.
4384                if ($self->{insertion_mode} == AFTER_HEAD_IM) {                if ($self->{insertion_mode} == AFTER_HEAD_IM) {
4385                  !!!cp ('t102');                  !!!cp ('t102');
4386                  !!!parse-error (type => 'after head:'.$token->{tag_name});                  !!!parse-error (type => 'after head',
4387                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                                  text => $token->{tag_name}, token => $token);
4388                    push @{$self->{open_elements}},
4389                        [$self->{head_element}, $el_category->{head}];
4390                } else {                } else {
4391                  !!!cp ('t103');                  !!!cp ('t103');
4392                }                }
4393                !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
4394                pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.                pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.
4395                pop @{$self->{open_elements}}                pop @{$self->{open_elements}} # <head>
4396                    if $self->{insertion_mode} == AFTER_HEAD_IM;                    if $self->{insertion_mode} == AFTER_HEAD_IM;
4397                  !!!ack ('t103.1');
4398                !!!next-token;                !!!next-token;
4399                redo B;                next B;
4400              } elsif ($token->{tag_name} eq 'meta') {              } elsif ($token->{tag_name} eq 'meta') {
4401                ## NOTE: There is a "as if in head" code clone.                ## NOTE: There is a "as if in head" code clone.
4402                if ($self->{insertion_mode} == AFTER_HEAD_IM) {                if ($self->{insertion_mode} == AFTER_HEAD_IM) {
4403                  !!!cp ('t104');                  !!!cp ('t104');
4404                  !!!parse-error (type => 'after head:'.$token->{tag_name});                  !!!parse-error (type => 'after head',
4405                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                                  text => $token->{tag_name}, token => $token);
4406                    push @{$self->{open_elements}},
4407                        [$self->{head_element}, $el_category->{head}];
4408                } else {                } else {
4409                  !!!cp ('t105');                  !!!cp ('t105');
4410                }                }
4411                !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
4412                my $meta_el = pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.                my $meta_el = pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.
4413    
4414                unless ($self->{confident}) {                unless ($self->{confident}) {
4415                  if ($token->{attributes}->{charset}) { ## TODO: And if supported                  if ($token->{attributes}->{charset}) {
4416                    !!!cp ('t106');                    !!!cp ('t106');
4417                      ## NOTE: Whether the encoding is supported or not is handled
4418                      ## in the {change_encoding} callback.
4419                    $self->{change_encoding}                    $self->{change_encoding}
4420                        ->($self, $token->{attributes}->{charset}->{value});                        ->($self, $token->{attributes}->{charset}->{value},
4421                             $token);
4422                                        
4423                    $meta_el->[0]->get_attribute_node_ns (undef, 'charset')                    $meta_el->[0]->get_attribute_node_ns (undef, 'charset')
4424                        ->set_user_data (manakai_has_reference =>                        ->set_user_data (manakai_has_reference =>
4425                                             $token->{attributes}->{charset}                                             $token->{attributes}->{charset}
4426                                                 ->{has_reference});                                                 ->{has_reference});
4427                  } elsif ($token->{attributes}->{content}) {                  } elsif ($token->{attributes}->{content}) {
                   ## ISSUE: Algorithm name in the spec was incorrect so that not linked to the definition.  
4428                    if ($token->{attributes}->{content}->{value}                    if ($token->{attributes}->{content}->{value}
4429                        =~ /\A[^;]*;[\x09-\x0D\x20]*[Cc][Hh][Aa][Rr][Ss][Ee][Tt]                        =~ /[Cc][Hh][Aa][Rr][Ss][Ee][Tt]
4430                            [\x09-\x0D\x20]*=                            [\x09-\x0D\x20]*=
4431                            [\x09-\x0D\x20]*(?>"([^"]*)"|'([^']*)'|                            [\x09-\x0D\x20]*(?>"([^"]*)"|'([^']*)'|
4432                            ([^"'\x09-\x0D\x20][^\x09-\x0D\x20]*))/x) {                            ([^"'\x09-\x0D\x20][^\x09-\x0D\x20\x3B]*))/x) {
4433                      !!!cp ('t107');                      !!!cp ('t107');
4434                        ## NOTE: Whether the encoding is supported or not is handled
4435                        ## in the {change_encoding} callback.
4436                      $self->{change_encoding}                      $self->{change_encoding}
4437                          ->($self, defined $1 ? $1 : defined $2 ? $2 : $3);                          ->($self, defined $1 ? $1 : defined $2 ? $2 : $3,
4438                               $token);
4439                      $meta_el->[0]->get_attribute_node_ns (undef, 'content')                      $meta_el->[0]->get_attribute_node_ns (undef, 'content')
4440                          ->set_user_data (manakai_has_reference =>                          ->set_user_data (manakai_has_reference =>
4441                                               $token->{attributes}->{content}                                               $token->{attributes}->{content}
# Line 3514  sub _tree_construction_main ($) { Line 4461  sub _tree_construction_main ($) {
4461                  }                  }
4462                }                }
4463    
4464                pop @{$self->{open_elements}}                pop @{$self->{open_elements}} # <head>
4465                    if $self->{insertion_mode} == AFTER_HEAD_IM;                    if $self->{insertion_mode} == AFTER_HEAD_IM;
4466                  !!!ack ('t110.1');
4467                !!!next-token;                !!!next-token;
4468                redo B;                next B;
4469              } elsif ($token->{tag_name} eq 'title') {              } elsif ($token->{tag_name} eq 'title') {
4470                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
4471                  !!!cp ('t111');                  !!!cp ('t111');
4472                  ## As if </noscript>                  ## As if </noscript>
4473                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4474                  !!!parse-error (type => 'in noscript:title');                  !!!parse-error (type => 'in noscript', text => 'title',
4475                                    token => $token);
4476                                
4477                  $self->{insertion_mode} = IN_HEAD_IM;                  $self->{insertion_mode} = IN_HEAD_IM;
4478                  ## Reprocess in the "in head" insertion mode...                  ## Reprocess in the "in head" insertion mode...
4479                } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {                } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
4480                  !!!cp ('t112');                  !!!cp ('t112');
4481                  !!!parse-error (type => 'after head:'.$token->{tag_name});                  !!!parse-error (type => 'after head',
4482                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                                  text => $token->{tag_name}, token => $token);
4483                    push @{$self->{open_elements}},
4484                        [$self->{head_element}, $el_category->{head}];
4485                } else {                } else {
4486                  !!!cp ('t113');                  !!!cp ('t113');
4487                }                }
# Line 3538  sub _tree_construction_main ($) { Line 4489  sub _tree_construction_main ($) {
4489                ## NOTE: There is a "as if in head" code clone.                ## NOTE: There is a "as if in head" code clone.
4490                my $parent = defined $self->{head_element} ? $self->{head_element}                my $parent = defined $self->{head_element} ? $self->{head_element}
4491                    : $self->{open_elements}->[-1]->[0];                    : $self->{open_elements}->[-1]->[0];
4492                $parse_rcdata->(RCDATA_CONTENT_MODEL,                $parse_rcdata->(RCDATA_CONTENT_MODEL);
4493                                sub { $parent->append_child ($_[0]) });                pop @{$self->{open_elements}} # <head>
               pop @{$self->{open_elements}}  
4494                    if $self->{insertion_mode} == AFTER_HEAD_IM;                    if $self->{insertion_mode} == AFTER_HEAD_IM;
4495                redo B;                next B;
4496              } elsif ($token->{tag_name} eq 'style') {              } elsif ($token->{tag_name} eq 'style' or
4497                         $token->{tag_name} eq 'noframes') {
4498                ## NOTE: Or (scripting is enabled and tag_name eq 'noscript' and                ## NOTE: Or (scripting is enabled and tag_name eq 'noscript' and
4499                ## insertion mode IN_HEAD_IM)                ## insertion mode IN_HEAD_IM)
4500                ## NOTE: There is a "as if in head" code clone.                ## NOTE: There is a "as if in head" code clone.
4501                if ($self->{insertion_mode} == AFTER_HEAD_IM) {                if ($self->{insertion_mode} == AFTER_HEAD_IM) {
4502                  !!!cp ('t114');                  !!!cp ('t114');
4503                  !!!parse-error (type => 'after head:'.$token->{tag_name});                  !!!parse-error (type => 'after head',
4504                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                                  text => $token->{tag_name}, token => $token);
4505                    push @{$self->{open_elements}},
4506                        [$self->{head_element}, $el_category->{head}];
4507                } else {                } else {
4508                  !!!cp ('t115');                  !!!cp ('t115');
4509                }                }
4510                $parse_rcdata->(CDATA_CONTENT_MODEL, $insert_to_current);                $parse_rcdata->(CDATA_CONTENT_MODEL);
4511                pop @{$self->{open_elements}}                pop @{$self->{open_elements}} # <head>
4512                    if $self->{insertion_mode} == AFTER_HEAD_IM;                    if $self->{insertion_mode} == AFTER_HEAD_IM;
4513                redo B;                next B;
4514              } elsif ($token->{tag_name} eq 'noscript') {              } elsif ($token->{tag_name} eq 'noscript') {
4515                if ($self->{insertion_mode} == IN_HEAD_IM) {                if ($self->{insertion_mode} == IN_HEAD_IM) {
4516                  !!!cp ('t116');                  !!!cp ('t116');
4517                  ## NOTE: and scripting is disalbed                  ## NOTE: and scripting is disalbed
4518                  !!!insert-element ($token->{tag_name}, $token->{attributes});                  !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
4519                  $self->{insertion_mode} = IN_HEAD_NOSCRIPT_IM;                  $self->{insertion_mode} = IN_HEAD_NOSCRIPT_IM;
4520                    !!!nack ('t116.1');
4521                  !!!next-token;                  !!!next-token;
4522                  redo B;                  next B;
4523                } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {                } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
4524                  !!!cp ('t117');                  !!!cp ('t117');
4525                  !!!parse-error (type => 'in noscript:noscript');                  !!!parse-error (type => 'in noscript', text => 'noscript',
4526                                    token => $token);
4527                  ## Ignore the token                  ## Ignore the token
4528                    !!!nack ('t117.1');
4529                  !!!next-token;                  !!!next-token;
4530                  redo B;                  next B;
4531                } else {                } else {
4532                  !!!cp ('t118');                  !!!cp ('t118');
4533                  #                  #
# Line 3581  sub _tree_construction_main ($) { Line 4537  sub _tree_construction_main ($) {
4537                  !!!cp ('t119');                  !!!cp ('t119');
4538                  ## As if </noscript>                  ## As if </noscript>
4539                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4540                  !!!parse-error (type => 'in noscript:script');                  !!!parse-error (type => 'in noscript', text => 'script',
4541                                    token => $token);
4542                                
4543                  $self->{insertion_mode} = IN_HEAD_IM;                  $self->{insertion_mode} = IN_HEAD_IM;
4544                  ## Reprocess in the "in head" insertion mode...                  ## Reprocess in the "in head" insertion mode...
4545                } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {                } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
4546                  !!!cp ('t120');                  !!!cp ('t120');
4547                  !!!parse-error (type => 'after head:'.$token->{tag_name});                  !!!parse-error (type => 'after head',
4548                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                                  text => $token->{tag_name}, token => $token);
4549                    push @{$self->{open_elements}},
4550                        [$self->{head_element}, $el_category->{head}];
4551                } else {                } else {
4552                  !!!cp ('t121');                  !!!cp ('t121');
4553                }                }
4554    
4555                ## NOTE: There is a "as if in head" code clone.                ## NOTE: There is a "as if in head" code clone.
4556                $script_start_tag->($insert_to_current);                $script_start_tag->();
4557                pop @{$self->{open_elements}}                pop @{$self->{open_elements}} # <head>
4558                    if $self->{insertion_mode} == AFTER_HEAD_IM;                    if $self->{insertion_mode} == AFTER_HEAD_IM;
4559                redo B;                next B;
4560              } elsif ($token->{tag_name} eq 'body' or              } elsif ($token->{tag_name} eq 'body' or
4561                       $token->{tag_name} eq 'frameset') {                       $token->{tag_name} eq 'frameset') {
4562                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
4563                  !!!cp ('t122');                  !!!cp ('t122');
4564                  ## As if </noscript>                  ## As if </noscript>
4565                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4566                  !!!parse-error (type => 'in noscript:'.$token->{tag_name});                  !!!parse-error (type => 'in noscript',
4567                                    text => $token->{tag_name}, token => $token);
4568                                    
4569                  ## Reprocess in the "in head" insertion mode...                  ## Reprocess in the "in head" insertion mode...
4570                  ## As if </head>                  ## As if </head>
# Line 3621  sub _tree_construction_main ($) { Line 4581  sub _tree_construction_main ($) {
4581                }                }
4582    
4583                ## "after head" insertion mode                ## "after head" insertion mode
4584                !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
4585                if ($token->{tag_name} eq 'body') {                if ($token->{tag_name} eq 'body') {
4586                  !!!cp ('t126');                  !!!cp ('t126');
4587                  $self->{insertion_mode} = IN_BODY_IM;                  $self->{insertion_mode} = IN_BODY_IM;
# Line 3631  sub _tree_construction_main ($) { Line 4591  sub _tree_construction_main ($) {
4591                } else {                } else {
4592                  die "$0: tag name: $self->{tag_name}";                  die "$0: tag name: $self->{tag_name}";
4593                }                }
4594                  !!!nack ('t127.1');
4595                !!!next-token;                !!!next-token;
4596                redo B;                next B;
4597              } else {              } else {
4598                !!!cp ('t128');                !!!cp ('t128');
4599                #                #
# Line 3642  sub _tree_construction_main ($) { Line 4603  sub _tree_construction_main ($) {
4603                !!!cp ('t129');                !!!cp ('t129');
4604                ## As if </noscript>                ## As if </noscript>
4605                pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
4606                !!!parse-error (type => 'in noscript:/'.$token->{tag_name});                !!!parse-error (type => 'in noscript:/',
4607                                  text => $token->{tag_name}, token => $token);
4608                                
4609                ## Reprocess in the "in head" insertion mode...                ## Reprocess in the "in head" insertion mode...
4610                ## As if </head>                ## As if </head>
# Line 3661  sub _tree_construction_main ($) { Line 4623  sub _tree_construction_main ($) {
4623    
4624              ## "after head" insertion mode              ## "after head" insertion mode
4625              ## As if <body>              ## As if <body>
4626              !!!insert-element ('body');              !!!insert-element ('body',, $token);
4627              $self->{insertion_mode} = IN_BODY_IM;              $self->{insertion_mode} = IN_BODY_IM;
4628              ## reprocess              ## reprocess
4629              redo B;              !!!ack-later;
4630                next B;
4631            } elsif ($token->{type} == END_TAG_TOKEN) {            } elsif ($token->{type} == END_TAG_TOKEN) {
4632              if ($token->{tag_name} eq 'head') {              if ($token->{tag_name} eq 'head') {
4633                if ($self->{insertion_mode} == BEFORE_HEAD_IM) {                if ($self->{insertion_mode} == BEFORE_HEAD_IM) {
4634                  !!!cp ('t132');                  !!!cp ('t132');
4635                  ## As if <head>                  ## As if <head>
4636                  !!!create-element ($self->{head_element}, 'head');                  !!!create-element ($self->{head_element}, $HTML_NS, 'head',, $token);
4637                  $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});                  $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});
4638                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                  push @{$self->{open_elements}},
4639                        [$self->{head_element}, $el_category->{head}];
4640    
4641                  ## Reprocess in the "in head" insertion mode...                  ## Reprocess in the "in head" insertion mode...
4642                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4643                  $self->{insertion_mode} = AFTER_HEAD_IM;                  $self->{insertion_mode} = AFTER_HEAD_IM;
4644                  !!!next-token;                  !!!next-token;
4645                  redo B;                  next B;
4646                } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {                } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
4647                  !!!cp ('t133');                  !!!cp ('t133');
4648                  ## As if </noscript>                  ## As if </noscript>
4649                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4650                  !!!parse-error (type => 'in noscript:/head');                  !!!parse-error (type => 'in noscript:/',
4651                                    text => 'head', token => $token);
4652                                    
4653                  ## Reprocess in the "in head" insertion mode...                  ## Reprocess in the "in head" insertion mode...
4654                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4655                  $self->{insertion_mode} = AFTER_HEAD_IM;                  $self->{insertion_mode} = AFTER_HEAD_IM;
4656                  !!!next-token;                  !!!next-token;
4657                  redo B;                  next B;
4658                } elsif ($self->{insertion_mode} == IN_HEAD_IM) {                } elsif ($self->{insertion_mode} == IN_HEAD_IM) {
4659                  !!!cp ('t134');                  !!!cp ('t134');
4660                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4661                  $self->{insertion_mode} = AFTER_HEAD_IM;                  $self->{insertion_mode} = AFTER_HEAD_IM;
4662                  !!!next-token;                  !!!next-token;
4663                  redo B;                  next B;
4664                  } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
4665                    !!!cp ('t134.1');
4666                    !!!parse-error (type => 'unmatched end tag', text => 'head',
4667                                    token => $token);
4668                    ## Ignore the token
4669                    !!!next-token;
4670                    next B;
4671                } else {                } else {
4672                  !!!cp ('t135');                  die "$0: $self->{insertion_mode}: Unknown insertion mode";
                 #  
4673                }                }
4674              } elsif ($token->{tag_name} eq 'noscript') {              } elsif ($token->{tag_name} eq 'noscript') {
4675                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
# Line 3706  sub _tree_construction_main ($) { Line 4677  sub _tree_construction_main ($) {
4677                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4678                  $self->{insertion_mode} = IN_HEAD_IM;                  $self->{insertion_mode} = IN_HEAD_IM;
4679                  !!!next-token;                  !!!next-token;
4680                  redo B;                  next B;
4681                } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM) {                } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM or
4682                           $self->{insertion_mode} == AFTER_HEAD_IM) {
4683                  !!!cp ('t137');                  !!!cp ('t137');
4684                  !!!parse-error (type => 'unmatched end tag:noscript');                  !!!parse-error (type => 'unmatched end tag',
4685                                    text => 'noscript', token => $token);
4686                  ## Ignore the token ## ISSUE: An issue in the spec.                  ## Ignore the token ## ISSUE: An issue in the spec.
4687                  !!!next-token;                  !!!next-token;
4688                  redo B;                  next B;
4689                } else {                } else {
4690                  !!!cp ('t138');                  !!!cp ('t138');
4691                  #                  #
# Line 3720  sub _tree_construction_main ($) { Line 4693  sub _tree_construction_main ($) {
4693              } elsif ({              } elsif ({
4694                        body => 1, html => 1,                        body => 1, html => 1,
4695                       }->{$token->{tag_name}}) {                       }->{$token->{tag_name}}) {
4696                if ($self->{insertion_mode} == BEFORE_HEAD_IM) {                if ($self->{insertion_mode} == BEFORE_HEAD_IM or
4697                  !!!cp ('t139');                    $self->{insertion_mode} == IN_HEAD_IM or
4698                  ## As if <head>                    $self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
                 !!!create-element ($self->{head_element}, 'head');  
                 $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});  
                 push @{$self->{open_elements}}, [$self->{head_element}, 'head'];  
   
                 $self->{insertion_mode} = IN_HEAD_IM;  
                 ## Reprocess in the "in head" insertion mode...  
               } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {  
4699                  !!!cp ('t140');                  !!!cp ('t140');
4700                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                  !!!parse-error (type => 'unmatched end tag',
4701                                    text => $token->{tag_name}, token => $token);
4702                    ## Ignore the token
4703                    !!!next-token;
4704                    next B;
4705                  } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
4706                    !!!cp ('t140.1');
4707                    !!!parse-error (type => 'unmatched end tag',
4708                                    text => $token->{tag_name}, token => $token);
4709                  ## Ignore the token                  ## Ignore the token
4710                  !!!next-token;                  !!!next-token;
4711                  redo B;                  next B;
4712                } else {                } else {
4713                  !!!cp ('t141');                  die "$0: $self->{insertion_mode}: Unknown insertion mode";
4714                }                }
4715                              } elsif ($token->{tag_name} eq 'p') {
4716                #                !!!cp ('t142');
4717              } elsif ({                !!!parse-error (type => 'unmatched end tag',
4718                        p => 1, br => 1,                                text => $token->{tag_name}, token => $token);
4719                       }->{$token->{tag_name}}) {                ## Ignore the token
4720                  !!!next-token;
4721                  next B;
4722                } elsif ($token->{tag_name} eq 'br') {
4723                if ($self->{insertion_mode} == BEFORE_HEAD_IM) {                if ($self->{insertion_mode} == BEFORE_HEAD_IM) {
4724                  !!!cp ('t142');                  !!!cp ('t142.2');
4725                  ## As if <head>                  ## (before head) as if <head>, (in head) as if </head>
4726                  !!!create-element ($self->{head_element}, 'head');                  !!!create-element ($self->{head_element}, $HTML_NS, 'head',, $token);
4727                  $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});                  $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});
4728                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                  $self->{insertion_mode} = AFTER_HEAD_IM;
4729      
4730                    ## Reprocess in the "after head" insertion mode...
4731                  } elsif ($self->{insertion_mode} == IN_HEAD_IM) {
4732                    !!!cp ('t143.2');
4733                    ## As if </head>
4734                    pop @{$self->{open_elements}};
4735                    $self->{insertion_mode} = AFTER_HEAD_IM;
4736      
4737                    ## Reprocess in the "after head" insertion mode...
4738                  } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
4739                    !!!cp ('t143.3');
4740                    ## ISSUE: Two parse errors for <head><noscript></br>
4741                    !!!parse-error (type => 'unmatched end tag',
4742                                    text => 'br', token => $token);
4743                    ## As if </noscript>
4744                    pop @{$self->{open_elements}};
4745                  $self->{insertion_mode} = IN_HEAD_IM;                  $self->{insertion_mode} = IN_HEAD_IM;
4746    
4747                  ## Reprocess in the "in head" insertion mode...                  ## Reprocess in the "in head" insertion mode...
4748                } else {                  ## As if </head>
4749                  !!!cp ('t143');                  pop @{$self->{open_elements}};
4750                }                  $self->{insertion_mode} = AFTER_HEAD_IM;
4751    
4752                #                  ## Reprocess in the "after head" insertion mode...
4753              } else {                } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
4754                if ($self->{insertion_mode} == AFTER_HEAD_IM) {                  !!!cp ('t143.4');
                 !!!cp ('t144');  
4755                  #                  #
4756                } else {                } else {
4757                  !!!cp ('t145');                  die "$0: $self->{insertion_mode}: Unknown insertion mode";
                 !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});  
                 ## Ignore the token  
                 !!!next-token;  
                 redo B;  
4758                }                }
4759    
4760                  ## ISSUE: does not agree with IE7 - it doesn't ignore </br>.
4761                  !!!parse-error (type => 'unmatched end tag',
4762                                  text => 'br', token => $token);
4763                  ## Ignore the token
4764                  !!!next-token;
4765                  next B;
4766                } else {
4767                  !!!cp ('t145');
4768                  !!!parse-error (type => 'unmatched end tag',
4769                                  text => $token->{tag_name}, token => $token);
4770                  ## Ignore the token
4771                  !!!next-token;
4772                  next B;
4773              }              }
4774    
4775              if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {              if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
4776                !!!cp ('t146');                !!!cp ('t146');
4777                ## As if </noscript>                ## As if </noscript>
4778                pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
4779                !!!parse-error (type => 'in noscript:/'.$token->{tag_name});                !!!parse-error (type => 'in noscript:/',
4780                                  text => $token->{tag_name}, token => $token);
4781                                
4782                ## Reprocess in the "in head" insertion mode...                ## Reprocess in the "in head" insertion mode...
4783                ## As if </head>                ## As if </head>
# Line 3790  sub _tree_construction_main ($) { Line 4793  sub _tree_construction_main ($) {
4793              } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM) {              } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM) {
4794  ## ISSUE: This case cannot be reached?  ## ISSUE: This case cannot be reached?
4795                !!!cp ('t148');                !!!cp ('t148');
4796                !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                !!!parse-error (type => 'unmatched end tag',
4797                                  text => $token->{tag_name}, token => $token);
4798                ## Ignore the token ## ISSUE: An issue in the spec.                ## Ignore the token ## ISSUE: An issue in the spec.
4799                !!!next-token;                !!!next-token;
4800                redo B;                next B;
4801              } else {              } else {
4802                !!!cp ('t149');                !!!cp ('t149');
4803              }              }
4804    
4805              ## "after head" insertion mode              ## "after head" insertion mode
4806              ## As if <body>              ## As if <body>
4807              !!!insert-element ('body');              !!!insert-element ('body',, $token);
4808              $self->{insertion_mode} = IN_BODY_IM;              $self->{insertion_mode} = IN_BODY_IM;
4809              ## reprocess              ## reprocess
4810              redo B;              next B;
4811            } else {        } elsif ($token->{type} == END_OF_FILE_TOKEN) {
4812              die "$0: $token->{type}: Unknown token type";          if ($self->{insertion_mode} == BEFORE_HEAD_IM) {
4813            }            !!!cp ('t149.1');
4814    
4815              ## NOTE: As if <head>
4816              !!!create-element ($self->{head_element}, $HTML_NS, 'head',, $token);
4817              $self->{open_elements}->[-1]->[0]->append_child
4818                  ($self->{head_element});
4819              #push @{$self->{open_elements}},
4820              #    [$self->{head_element}, $el_category->{head}];
4821              #$self->{insertion_mode} = IN_HEAD_IM;
4822              ## NOTE: Reprocess.
4823    
4824              ## NOTE: As if </head>
4825              #pop @{$self->{open_elements}};
4826              #$self->{insertion_mode} = IN_AFTER_HEAD_IM;
4827              ## NOTE: Reprocess.
4828              
4829              #
4830            } elsif ($self->{insertion_mode} == IN_HEAD_IM) {
4831              !!!cp ('t149.2');
4832    
4833              ## NOTE: As if </head>
4834              pop @{$self->{open_elements}};
4835              #$self->{insertion_mode} = IN_AFTER_HEAD_IM;
4836              ## NOTE: Reprocess.
4837    
4838              #
4839            } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
4840              !!!cp ('t149.3');
4841    
4842              !!!parse-error (type => 'in noscript:#eof', token => $token);
4843    
4844              ## As if </noscript>
4845              pop @{$self->{open_elements}};
4846              #$self->{insertion_mode} = IN_HEAD_IM;
4847              ## NOTE: Reprocess.
4848    
4849              ## NOTE: As if </head>
4850              pop @{$self->{open_elements}};
4851              #$self->{insertion_mode} = IN_AFTER_HEAD_IM;
4852              ## NOTE: Reprocess.
4853    
4854              #
4855            } else {
4856              !!!cp ('t149.4');
4857              #
4858            }
4859    
4860            ## NOTE: As if <body>
4861            !!!insert-element ('body',, $token);
4862            $self->{insertion_mode} = IN_BODY_IM;
4863            ## NOTE: Reprocess.
4864            next B;
4865          } else {
4866            die "$0: $token->{type}: Unknown token type";
4867          }
4868    
4869            ## ISSUE: An issue in the spec.            ## ISSUE: An issue in the spec.
4870      } elsif ($self->{insertion_mode} & BODY_IMS) {      } elsif ($self->{insertion_mode} & BODY_IMS) {
# Line 3818  sub _tree_construction_main ($) { Line 4876  sub _tree_construction_main ($) {
4876              $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});              $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});
4877    
4878              !!!next-token;              !!!next-token;
4879              redo B;              next B;
4880            } elsif ($token->{type} == START_TAG_TOKEN) {            } elsif ($token->{type} == START_TAG_TOKEN) {
4881              if ({              if ({
4882                   caption => 1, col => 1, colgroup => 1, tbody => 1,                   caption => 1, col => 1, colgroup => 1, tbody => 1,
# Line 3826  sub _tree_construction_main ($) { Line 4884  sub _tree_construction_main ($) {
4884                  }->{$token->{tag_name}}) {                  }->{$token->{tag_name}}) {
4885                if ($self->{insertion_mode} == IN_CELL_IM) {                if ($self->{insertion_mode} == IN_CELL_IM) {
4886                  ## have an element in table scope                  ## have an element in table scope
4887                  my $tn;                  for (reverse 0..$#{$self->{open_elements}}) {
                 INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {  
4888                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
4889                    if ($node->[1] eq 'td' or $node->[1] eq 'th') {                    if ($node->[1] & TABLE_CELL_EL) {
4890                      !!!cp ('t151');                      !!!cp ('t151');
4891                      $tn = $node->[1];  
4892                      last INSCOPE;                      ## Close the cell
4893                    } elsif ({                      !!!back-token; # <x>
4894                              table => 1, html => 1,                      $token = {type => END_TAG_TOKEN,
4895                             }->{$node->[1]}) {                                tag_name => $node->[0]->manakai_local_name,
4896                                  line => $token->{line},
4897                                  column => $token->{column}};
4898                        next B;
4899                      } elsif ($node->[1] & TABLE_SCOPING_EL) {
4900                      !!!cp ('t152');                      !!!cp ('t152');
4901                      last INSCOPE;                      ## ISSUE: This case can never be reached, maybe.
4902                    }                      last;
                 } # INSCOPE  
                   unless (defined $tn) {  
                     !!!cp ('t153');  
 ## TODO: This error type is wrong.  
                     !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});  
                     ## Ignore the token  
                     !!!next-token;  
                     redo B;  
4903                    }                    }
4904                                    }
4905                  !!!cp ('t154');  
4906                  ## Close the cell                  !!!cp ('t153');
4907                  !!!back-token; # <?>                  !!!parse-error (type => 'start tag not allowed',
4908                  $token = {type => END_TAG_TOKEN, tag_name => $tn};                      text => $token->{tag_name}, token => $token);
4909                  redo B;                  ## Ignore the token
4910                    !!!nack ('t153.1');
4911                    !!!next-token;
4912                    next B;
4913                } elsif ($self->{insertion_mode} == IN_CAPTION_IM) {                } elsif ($self->{insertion_mode} == IN_CAPTION_IM) {
4914                  !!!parse-error (type => 'not closed:caption');                  !!!parse-error (type => 'not closed', text => 'caption',
4915                                    token => $token);
4916                                    
4917                  ## As if </caption>                  ## NOTE: As if </caption>.
4918                  ## have a table element in table scope                  ## have a table element in table scope
4919                  my $i;                  my $i;
4920                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: {
4921                    my $node = $self->{open_elements}->[$_];                    for (reverse 0..$#{$self->{open_elements}}) {
4922                    if ($node->[1] eq 'caption') {                      my $node = $self->{open_elements}->[$_];
4923                      !!!cp ('t155');                      if ($node->[1] & CAPTION_EL) {
4924                      $i = $_;                        !!!cp ('t155');
4925                      last INSCOPE;                        $i = $_;
4926                    } elsif ({                        last INSCOPE;
4927                              table => 1, html => 1,                      } elsif ($node->[1] & TABLE_SCOPING_EL) {
4928                             }->{$node->[1]}) {                        !!!cp ('t156');
4929                      !!!cp ('t156');                        last;
4930                      last INSCOPE;                      }
4931                    }                    }
4932    
4933                      !!!cp ('t157');
4934                      !!!parse-error (type => 'start tag not allowed',
4935                                      text => $token->{tag_name}, token => $token);
4936                      ## Ignore the token
4937                      !!!nack ('t157.1');
4938                      !!!next-token;
4939                      next B;
4940                  } # INSCOPE                  } # INSCOPE
                   unless (defined $i) {  
                     !!!cp ('t157');  
 ## TODO: this type is wrong.  
                     !!!parse-error (type => 'unmatched end tag:caption');  
                     ## Ignore the token  
                     !!!next-token;  
                     redo B;  
                   }  
4941                                    
4942                  ## generate implied end tags                  ## generate implied end tags
4943                  while ({                  while ($self->{open_elements}->[-1]->[1]
4944                          dd => 1, dt => 1, li => 1, p => 1,                             & END_TAG_OPTIONAL_EL) {
                        }->{$self->{open_elements}->[-1]->[1]}) {  
4945                    !!!cp ('t158');                    !!!cp ('t158');
4946                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
4947                  }                  }
4948    
4949                  if ($self->{open_elements}->[-1]->[1] ne 'caption') {                  unless ($self->{open_elements}->[-1]->[1] & CAPTION_EL) {
4950                    !!!cp ('t159');                    !!!cp ('t159');
4951                    !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);                    !!!parse-error (type => 'not closed',
4952                                      text => $self->{open_elements}->[-1]->[0]
4953                                          ->manakai_local_name,
4954                                      token => $token);
4955                  } else {                  } else {
4956                    !!!cp ('t160');                    !!!cp ('t160');
4957                  }                  }
# Line 3904  sub _tree_construction_main ($) { Line 4963  sub _tree_construction_main ($) {
4963                  $self->{insertion_mode} = IN_TABLE_IM;                  $self->{insertion_mode} = IN_TABLE_IM;
4964                                    
4965                  ## reprocess                  ## reprocess
4966                  redo B;                  !!!ack-later;
4967                    next B;
4968                } else {                } else {
4969                  !!!cp ('t161');                  !!!cp ('t161');
4970                  #                  #
# Line 3920  sub _tree_construction_main ($) { Line 4980  sub _tree_construction_main ($) {
4980                  my $i;                  my $i;
4981                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
4982                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
4983                    if ($node->[1] eq $token->{tag_name}) {                    if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
4984                      !!!cp ('t163');                      !!!cp ('t163');
4985                      $i = $_;                      $i = $_;
4986                      last INSCOPE;                      last INSCOPE;
4987                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
4988                      !!!cp ('t164');                      !!!cp ('t164');
4989                      last INSCOPE;                      last INSCOPE;
4990                    }                    }
4991                  } # INSCOPE                  } # INSCOPE
4992                    unless (defined $i) {                    unless (defined $i) {
4993                      !!!cp ('t165');                      !!!cp ('t165');
4994                      !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                      !!!parse-error (type => 'unmatched end tag',
4995                                        text => $token->{tag_name},
4996                                        token => $token);
4997                      ## Ignore the token                      ## Ignore the token
4998                      !!!next-token;                      !!!next-token;
4999                      redo B;                      next B;
5000                    }                    }
5001                                    
5002                  ## generate implied end tags                  ## generate implied end tags
5003                  while ({                  while ($self->{open_elements}->[-1]->[1]
5004                          dd => 1, dt => 1, li => 1, p => 1,                             & END_TAG_OPTIONAL_EL) {
                        }->{$self->{open_elements}->[-1]->[1]}) {  
5005                    !!!cp ('t166');                    !!!cp ('t166');
5006                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
5007                  }                  }
5008    
5009                  if ($self->{open_elements}->[-1]->[1] ne $token->{tag_name}) {                  if ($self->{open_elements}->[-1]->[0]->manakai_local_name
5010                            ne $token->{tag_name}) {
5011                    !!!cp ('t167');                    !!!cp ('t167');
5012                    !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);                    !!!parse-error (type => 'not closed',
5013                                      text => $self->{open_elements}->[-1]->[0]
5014                                          ->manakai_local_name,
5015                                      token => $token);
5016                  } else {                  } else {
5017                    !!!cp ('t168');                    !!!cp ('t168');
5018                  }                  }
# Line 3961  sub _tree_construction_main ($) { Line 5024  sub _tree_construction_main ($) {
5024                  $self->{insertion_mode} = IN_ROW_IM;                  $self->{insertion_mode} = IN_ROW_IM;
5025                                    
5026                  !!!next-token;                  !!!next-token;
5027                  redo B;                  next B;
5028                } elsif ($self->{insertion_mode} == IN_CAPTION_IM) {                } elsif ($self->{insertion_mode} == IN_CAPTION_IM) {
5029                  !!!cp ('t169');                  !!!cp ('t169');
5030                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                  !!!parse-error (type => 'unmatched end tag',
5031                                    text => $token->{tag_name}, token => $token);
5032                  ## Ignore the token                  ## Ignore the token
5033                  !!!next-token;                  !!!next-token;
5034                  redo B;                  next B;
5035                } else {                } else {
5036                  !!!cp ('t170');                  !!!cp ('t170');
5037                  #                  #
# Line 3976  sub _tree_construction_main ($) { Line 5040  sub _tree_construction_main ($) {
5040                if ($self->{insertion_mode} == IN_CAPTION_IM) {                if ($self->{insertion_mode} == IN_CAPTION_IM) {
5041                  ## have a table element in table scope                  ## have a table element in table scope
5042                  my $i;                  my $i;
5043                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: {
5044                    my $node = $self->{open_elements}->[$_];                    for (reverse 0..$#{$self->{open_elements}}) {
5045                    if ($node->[1] eq $token->{tag_name}) {                      my $node = $self->{open_elements}->[$_];
5046                      !!!cp ('t171');                      if ($node->[1] & CAPTION_EL) {
5047                      $i = $_;                        !!!cp ('t171');
5048                      last INSCOPE;                        $i = $_;
5049                    } elsif ({                        last INSCOPE;
5050                              table => 1, html => 1,                      } elsif ($node->[1] & TABLE_SCOPING_EL) {
5051                             }->{$node->[1]}) {                        !!!cp ('t172');
5052                      !!!cp ('t172');                        last;
5053                      last INSCOPE;                      }
5054                    }                    }
5055    
5056                      !!!cp ('t173');
5057                      !!!parse-error (type => 'unmatched end tag',
5058                                      text => $token->{tag_name}, token => $token);
5059                      ## Ignore the token
5060                      !!!next-token;
5061                      next B;
5062                  } # INSCOPE                  } # INSCOPE
                   unless (defined $i) {  
                     !!!cp ('t173');  
                     !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});  
                     ## Ignore the token  
                     !!!next-token;  
                     redo B;  
                   }  
5063                                    
5064                  ## generate implied end tags                  ## generate implied end tags
5065                  while ({                  while ($self->{open_elements}->[-1]->[1]
5066                          dd => 1, dt => 1, li => 1, p => 1,                             & END_TAG_OPTIONAL_EL) {
                        }->{$self->{open_elements}->[-1]->[1]}) {  
5067                    !!!cp ('t174');                    !!!cp ('t174');
5068                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
5069                  }                  }
5070                                    
5071                  if ($self->{open_elements}->[-1]->[1] ne 'caption') {                  unless ($self->{open_elements}->[-1]->[1] & CAPTION_EL) {
5072                    !!!cp ('t175');                    !!!cp ('t175');
5073                    !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);                    !!!parse-error (type => 'not closed',
5074                                      text => $self->{open_elements}->[-1]->[0]
5075                                          ->manakai_local_name,
5076                                      token => $token);
5077                  } else {                  } else {
5078                    !!!cp ('t176');                    !!!cp ('t176');
5079                  }                  }
# Line 4019  sub _tree_construction_main ($) { Line 5085  sub _tree_construction_main ($) {
5085                  $self->{insertion_mode} = IN_TABLE_IM;                  $self->{insertion_mode} = IN_TABLE_IM;
5086                                    
5087                  !!!next-token;                  !!!next-token;
5088                  redo B;                  next B;
5089                } elsif ($self->{insertion_mode} == IN_CELL_IM) {                } elsif ($self->{insertion_mode} == IN_CELL_IM) {
5090                  !!!cp ('t177');                  !!!cp ('t177');
5091                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                  !!!parse-error (type => 'unmatched end tag',
5092                                    text => $token->{tag_name}, token => $token);
5093                  ## Ignore the token                  ## Ignore the token
5094                  !!!next-token;                  !!!next-token;
5095                  redo B;                  next B;
5096                } else {                } else {
5097                  !!!cp ('t178');                  !!!cp ('t178');
5098                  #                  #
# Line 4038  sub _tree_construction_main ($) { Line 5105  sub _tree_construction_main ($) {
5105                ## have an element in table scope                ## have an element in table scope
5106                my $i;                my $i;
5107                my $tn;                my $tn;
5108                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: {
5109                  my $node = $self->{open_elements}->[$_];                  for (reverse 0..$#{$self->{open_elements}}) {
5110                  if ($node->[1] eq $token->{tag_name}) {                    my $node = $self->{open_elements}->[$_];
5111                    !!!cp ('t179');                    if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
5112                    $i = $_;                      !!!cp ('t179');
5113                    last INSCOPE;                      $i = $_;
5114                  } elsif ($node->[1] eq 'td' or $node->[1] eq 'th') {  
5115                    !!!cp ('t180');                      ## Close the cell
5116                    $tn = $node->[1];                      !!!back-token; # </x>
5117                    ## NOTE: There is exactly one |td| or |th| element                      $token = {type => END_TAG_TOKEN, tag_name => $tn,
5118                    ## in scope in the stack of open elements by definition.                                line => $token->{line},
5119                  } elsif ({                                column => $token->{column}};
5120                            table => 1, html => 1,                      next B;
5121                           }->{$node->[1]}) {                    } elsif ($node->[1] & TABLE_CELL_EL) {
5122                    !!!cp ('t181');                      !!!cp ('t180');
5123                    last INSCOPE;                      $tn = $node->[0]->manakai_local_name;
5124                        ## NOTE: There is exactly one |td| or |th| element
5125                        ## in scope in the stack of open elements by definition.
5126                      } elsif ($node->[1] & TABLE_SCOPING_EL) {
5127                        ## ISSUE: Can this be reached?
5128                        !!!cp ('t181');
5129                        last;
5130                      }
5131                  }                  }
5132                } # INSCOPE  
               unless (defined $i) {  
5133                  !!!cp ('t182');                  !!!cp ('t182');
5134                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                  !!!parse-error (type => 'unmatched end tag',
5135                        text => $token->{tag_name}, token => $token);
5136                  ## Ignore the token                  ## Ignore the token
5137                  !!!next-token;                  !!!next-token;
5138                  redo B;                  next B;
5139                } else {                } # INSCOPE
                 !!!cp ('t183');  
               }  
   
               ## Close the cell  
               !!!back-token; # </?>  
               $token = {type => END_TAG_TOKEN, tag_name => $tn};  
               redo B;  
5140              } elsif ($token->{tag_name} eq 'table' and              } elsif ($token->{tag_name} eq 'table' and
5141                       $self->{insertion_mode} == IN_CAPTION_IM) {                       $self->{insertion_mode} == IN_CAPTION_IM) {
5142                !!!parse-error (type => 'not closed:caption');                !!!parse-error (type => 'not closed', text => 'caption',
5143                                  token => $token);
5144    
5145                ## As if </caption>                ## As if </caption>
5146                ## have a table element in table scope                ## have a table element in table scope
5147                my $i;                my $i;
5148                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5149                  my $node = $self->{open_elements}->[$_];                  my $node = $self->{open_elements}->[$_];
5150                  if ($node->[1] eq 'caption') {                  if ($node->[1] & CAPTION_EL) {
5151                    !!!cp ('t184');                    !!!cp ('t184');
5152                    $i = $_;                    $i = $_;
5153                    last INSCOPE;                    last INSCOPE;
5154                  } elsif ({                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           table => 1, html => 1,  
                          }->{$node->[1]}) {  
5155                    !!!cp ('t185');                    !!!cp ('t185');
5156                    last INSCOPE;                    last INSCOPE;
5157                  }                  }
5158                } # INSCOPE                } # INSCOPE
5159                unless (defined $i) {                unless (defined $i) {
5160                  !!!cp ('t186');                  !!!cp ('t186');
5161                  !!!parse-error (type => 'unmatched end tag:caption');                  !!!parse-error (type => 'unmatched end tag',
5162                                    text => 'caption', token => $token);
5163                  ## Ignore the token                  ## Ignore the token
5164                  !!!next-token;                  !!!next-token;
5165                  redo B;                  next B;
5166                }                }
5167                                
5168                ## generate implied end tags                ## generate implied end tags
5169                while ({                while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
                       dd => 1, dt => 1, li => 1, p => 1,  
                      }->{$self->{open_elements}->[-1]->[1]}) {  
5170                  !!!cp ('t187');                  !!!cp ('t187');
5171                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
5172                }                }
5173    
5174                if ($self->{open_elements}->[-1]->[1] ne 'caption') {                unless ($self->{open_elements}->[-1]->[1] & CAPTION_EL) {
5175                  !!!cp ('t188');                  !!!cp ('t188');
5176                  !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);                  !!!parse-error (type => 'not closed',
5177                                    text => $self->{open_elements}->[-1]->[0]
5178                                        ->manakai_local_name,
5179                                    token => $token);
5180                } else {                } else {
5181                  !!!cp ('t189');                  !!!cp ('t189');
5182                }                }
# Line 4120  sub _tree_construction_main ($) { Line 5188  sub _tree_construction_main ($) {
5188                $self->{insertion_mode} = IN_TABLE_IM;                $self->{insertion_mode} = IN_TABLE_IM;
5189    
5190                ## reprocess                ## reprocess
5191                redo B;                next B;
5192              } elsif ({              } elsif ({
5193                        body => 1, col => 1, colgroup => 1, html => 1,                        body => 1, col => 1, colgroup => 1, html => 1,
5194                       }->{$token->{tag_name}}) {                       }->{$token->{tag_name}}) {
5195                if ($self->{insertion_mode} & BODY_TABLE_IMS) {                if ($self->{insertion_mode} & BODY_TABLE_IMS) {
5196                  !!!cp ('t190');                  !!!cp ('t190');
5197                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                  !!!parse-error (type => 'unmatched end tag',
5198                                    text => $token->{tag_name}, token => $token);
5199                  ## Ignore the token                  ## Ignore the token
5200                  !!!next-token;                  !!!next-token;
5201                  redo B;                  next B;
5202                } else {                } else {
5203                  !!!cp ('t191');                  !!!cp ('t191');
5204                  #                  #
# Line 4140  sub _tree_construction_main ($) { Line 5209  sub _tree_construction_main ($) {
5209                       }->{$token->{tag_name}} and                       }->{$token->{tag_name}} and
5210                       $self->{insertion_mode} == IN_CAPTION_IM) {                       $self->{insertion_mode} == IN_CAPTION_IM) {
5211                !!!cp ('t192');                !!!cp ('t192');
5212                !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                !!!parse-error (type => 'unmatched end tag',
5213                                  text => $token->{tag_name}, token => $token);
5214                ## Ignore the token                ## Ignore the token
5215                !!!next-token;                !!!next-token;
5216                redo B;                next B;
5217              } else {              } else {
5218                !!!cp ('t193');                !!!cp ('t193');
5219                #                #
5220              }              }
5221          } elsif ($token->{type} == END_OF_FILE_TOKEN) {
5222            for my $entry (@{$self->{open_elements}}) {
5223              unless ($entry->[1] & ALL_END_TAG_OPTIONAL_EL) {
5224                !!!cp ('t75');
5225                !!!parse-error (type => 'in body:#eof', token => $token);
5226                last;
5227              }
5228            }
5229    
5230            ## Stop parsing.
5231            last B;
5232        } else {        } else {
5233          die "$0: $token->{type}: Unknown token type";          die "$0: $token->{type}: Unknown token type";
5234        }        }
# Line 4156  sub _tree_construction_main ($) { Line 5237  sub _tree_construction_main ($) {
5237        #        #
5238      } elsif ($self->{insertion_mode} & TABLE_IMS) {      } elsif ($self->{insertion_mode} & TABLE_IMS) {
5239        if ($token->{type} == CHARACTER_TOKEN) {        if ($token->{type} == CHARACTER_TOKEN) {
5240              if ($token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) {          if (not $open_tables->[-1]->[1] and # tainted
5241                $self->{open_elements}->[-1]->[0]->manakai_append_text ($1);              $token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) {
5242              $self->{open_elements}->[-1]->[0]->manakai_append_text ($1);
5243                                
5244                unless (length $token->{data}) {            unless (length $token->{data}) {
5245                  !!!cp ('t194');              !!!cp ('t194');
5246                  !!!next-token;              !!!next-token;
5247                  redo B;              next B;
5248                } else {            } else {
5249                  !!!cp ('t195');              !!!cp ('t195');
5250                }            }
5251              }          }
5252    
5253              !!!parse-error (type => 'in table:#character');          !!!parse-error (type => 'in table:#text', token => $token);
5254    
5255              ## As if in body, but insert into foster parent element              ## As if in body, but insert into foster parent element
5256              ## ISSUE: Spec says that "whenever a node would be inserted              ## ISSUE: Spec says that "whenever a node would be inserted
# Line 4176  sub _tree_construction_main ($) { Line 5258  sub _tree_construction_main ($) {
5258              ## result in a new Text node.              ## result in a new Text node.
5259              $reconstruct_active_formatting_elements->($insert_to_foster);              $reconstruct_active_formatting_elements->($insert_to_foster);
5260                            
5261              if ({              if ($self->{open_elements}->[-1]->[1] & TABLE_ROWS_EL) {
                  table => 1, tbody => 1, tfoot => 1,  
                  thead => 1, tr => 1,  
                 }->{$self->{open_elements}->[-1]->[1]}) {  
5262                # MUST                # MUST
5263                my $foster_parent_element;                my $foster_parent_element;
5264                my $next_sibling;                my $next_sibling;
5265                my $prev_sibling;                my $prev_sibling;
5266                OE: for (reverse 0..$#{$self->{open_elements}}) {                OE: for (reverse 0..$#{$self->{open_elements}}) {
5267                  if ($self->{open_elements}->[$_]->[1] eq 'table') {                  if ($self->{open_elements}->[$_]->[1] & TABLE_EL) {
5268                    my $parent = $self->{open_elements}->[$_]->[0]->parent_node;                    my $parent = $self->{open_elements}->[$_]->[0]->parent_node;
5269                    if (defined $parent and $parent->node_type == 1) {                    if (defined $parent and $parent->node_type == 1) {
5270                      !!!cp ('t196');                      !!!cp ('t196');
# Line 4213  sub _tree_construction_main ($) { Line 5292  sub _tree_construction_main ($) {
5292                    ($self->{document}->create_text_node ($token->{data}),                    ($self->{document}->create_text_node ($token->{data}),
5293                     $next_sibling);                     $next_sibling);
5294                }                }
5295              } else {            $open_tables->[-1]->[1] = 1; # tainted
5296                !!!cp ('t200');          } else {
5297                $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});            !!!cp ('t200');
5298              }            $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});
5299            }
5300                            
5301              !!!next-token;          !!!next-token;
5302              redo B;          next B;
5303        } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
5304              if ({          if ({
5305                   tr => ($self->{insertion_mode} != IN_ROW_IM),               tr => ($self->{insertion_mode} != IN_ROW_IM),
5306                   th => 1, td => 1,               th => 1, td => 1,
5307                  }->{$token->{tag_name}}) {              }->{$token->{tag_name}}) {
5308                if ($self->{insertion_mode} == IN_TABLE_IM) {            if ($self->{insertion_mode} == IN_TABLE_IM) {
5309                  ## Clear back to table context              ## Clear back to table context
5310                  while ($self->{open_elements}->[-1]->[1] ne 'table' and              while (not ($self->{open_elements}->[-1]->[1]
5311                         $self->{open_elements}->[-1]->[1] ne 'html') {                              & TABLE_SCOPING_EL)) {
5312                    !!!cp ('t201');                !!!cp ('t201');
5313                    !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);                pop @{$self->{open_elements}};
5314                    pop @{$self->{open_elements}};              }
5315                  }              
5316                                !!!insert-element ('tbody',, $token);
5317                  !!!insert-element ('tbody');              $self->{insertion_mode} = IN_TABLE_BODY_IM;
5318                  $self->{insertion_mode} = IN_TABLE_BODY_IM;              ## reprocess in the "in table body" insertion mode...
5319                  ## reprocess in the "in table body" insertion mode...            }
5320                }            
5321              if ($self->{insertion_mode} == IN_TABLE_BODY_IM) {
5322                if ($self->{insertion_mode} == IN_TABLE_BODY_IM) {              unless ($token->{tag_name} eq 'tr') {
5323                  unless ($token->{tag_name} eq 'tr') {                !!!cp ('t202');
5324                    !!!cp ('t202');                !!!parse-error (type => 'missing start tag:tr', token => $token);
5325                    !!!parse-error (type => 'missing start tag:tr');              }
                 }  
5326                                    
5327                  ## Clear back to table body context              ## Clear back to table body context
5328                  while (not {              while (not ($self->{open_elements}->[-1]->[1]
5329                    tbody => 1, tfoot => 1, thead => 1, html => 1,                              & TABLE_ROWS_SCOPING_EL)) {
5330                  }->{$self->{open_elements}->[-1]->[1]}) {                !!!cp ('t203');
5331                    !!!cp ('t203');                ## ISSUE: Can this case be reached?
5332                    ## ISSUE: Can this case be reached?                pop @{$self->{open_elements}};
5333                    !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);              }
                   pop @{$self->{open_elements}};  
                 }  
5334                                    
5335                  $self->{insertion_mode} = IN_ROW_IM;                  $self->{insertion_mode} = IN_ROW_IM;
5336                  if ($token->{tag_name} eq 'tr') {                  if ($token->{tag_name} eq 'tr') {
5337                    !!!cp ('t204');                    !!!cp ('t204');
5338                    !!!insert-element ($token->{tag_name}, $token->{attributes});                    !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
5339                      !!!nack ('t204');
5340                    !!!next-token;                    !!!next-token;
5341                    redo B;                    next B;
5342                  } else {                  } else {
5343                    !!!cp ('t205');                    !!!cp ('t205');
5344                    !!!insert-element ('tr');                    !!!insert-element ('tr',, $token);
5345                    ## reprocess in the "in row" insertion mode                    ## reprocess in the "in row" insertion mode
5346                  }                  }
5347                } else {                } else {
# Line 4271  sub _tree_construction_main ($) { Line 5349  sub _tree_construction_main ($) {
5349                }                }
5350    
5351                ## Clear back to table row context                ## Clear back to table row context
5352                while (not {                while (not ($self->{open_elements}->[-1]->[1]
5353                  tr => 1, html => 1,                                & TABLE_ROW_SCOPING_EL)) {
               }->{$self->{open_elements}->[-1]->[1]}) {  
5354                  !!!cp ('t207');                  !!!cp ('t207');
                 !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);  
5355                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
5356                }                }
5357                                
5358                !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
5359                $self->{insertion_mode} = IN_CELL_IM;                $self->{insertion_mode} = IN_CELL_IM;
5360    
5361                push @$active_formatting_elements, ['#marker', ''];                push @$active_formatting_elements, ['#marker', ''];
5362                                
5363                  !!!nack ('t207.1');
5364                !!!next-token;                !!!next-token;
5365                redo B;                next B;
5366              } elsif ({              } elsif ({
5367                        caption => 1, col => 1, colgroup => 1,                        caption => 1, col => 1, colgroup => 1,
5368                        tbody => 1, tfoot => 1, thead => 1,                        tbody => 1, tfoot => 1, thead => 1,
# Line 4297  sub _tree_construction_main ($) { Line 5374  sub _tree_construction_main ($) {
5374                  my $i;                  my $i;
5375                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5376                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
5377                    if ($node->[1] eq 'tr') {                    if ($node->[1] & TABLE_ROW_EL) {
5378                      !!!cp ('t208');                      !!!cp ('t208');
5379                      $i = $_;                      $i = $_;
5380                      last INSCOPE;                      last INSCOPE;
5381                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             html => 1,  
   
                             ## NOTE: This element does not appear here, maybe.  
                             table => 1,  
                            }->{$node->[1]}) {  
5382                      !!!cp ('t209');                      !!!cp ('t209');
5383                      last INSCOPE;                      last INSCOPE;
5384                    }                    }
5385                  } # INSCOPE                  } # INSCOPE
5386                  unless (defined $i) {                  unless (defined $i) {
5387                   !!!cp ('t210');                    !!!cp ('t210');
5388  ## TODO: This type is wrong.  ## TODO: This type is wrong.
5389                   !!!parse-error (type => 'unmacthed end tag:'.$token->{tag_name});                    !!!parse-error (type => 'unmacthed end tag',
5390                                      text => $token->{tag_name}, token => $token);
5391                    ## Ignore the token                    ## Ignore the token
5392                      !!!nack ('t210.1');
5393                    !!!next-token;                    !!!next-token;
5394                    redo B;                    next B;
5395                  }                  }
5396                                    
5397                  ## Clear back to table row context                  ## Clear back to table row context
5398                  while (not {                  while (not ($self->{open_elements}->[-1]->[1]
5399                    tr => 1, html => 1,                                  & TABLE_ROW_SCOPING_EL)) {
                 }->{$self->{open_elements}->[-1]->[1]}) {  
5400                    !!!cp ('t211');                    !!!cp ('t211');
5401                    ## ISSUE: Can this case be reached?                    ## ISSUE: Can this case be reached?
                   !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);  
5402                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
5403                  }                  }
5404                                    
# Line 4335  sub _tree_construction_main ($) { Line 5407  sub _tree_construction_main ($) {
5407                  if ($token->{tag_name} eq 'tr') {                  if ($token->{tag_name} eq 'tr') {
5408                    !!!cp ('t212');                    !!!cp ('t212');
5409                    ## reprocess                    ## reprocess
5410                    redo B;                    !!!ack-later;
5411                      next B;
5412                  } else {                  } else {
5413                    !!!cp ('t213');                    !!!cp ('t213');
5414                    ## reprocess in the "in table body" insertion mode...                    ## reprocess in the "in table body" insertion mode...
# Line 4347  sub _tree_construction_main ($) { Line 5420  sub _tree_construction_main ($) {
5420                  my $i;                  my $i;
5421                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5422                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
5423                    if ({                    if ($node->[1] & TABLE_ROW_GROUP_EL) {
                        tbody => 1, thead => 1, tfoot => 1,  
                       }->{$node->[1]}) {  
5424                      !!!cp ('t214');                      !!!cp ('t214');
5425                      $i = $_;                      $i = $_;
5426                      last INSCOPE;                      last INSCOPE;
5427                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
5428                      !!!cp ('t215');                      !!!cp ('t215');
5429                      last INSCOPE;                      last INSCOPE;
5430                    }                    }
5431                  } # INSCOPE                  } # INSCOPE
5432                  unless (defined $i) {                  unless (defined $i) {
5433                    !!!cp ('t216');                    !!!cp ('t216');
5434  ## TODO: This erorr type ios wrong.  ## TODO: This erorr type is wrong.
5435                    !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                    !!!parse-error (type => 'unmatched end tag',
5436                                      text => $token->{tag_name}, token => $token);
5437                    ## Ignore the token                    ## Ignore the token
5438                      !!!nack ('t216.1');
5439                    !!!next-token;                    !!!next-token;
5440                    redo B;                    next B;
5441                  }                  }
5442    
5443                  ## Clear back to table body context                  ## Clear back to table body context
5444                  while (not {                  while (not ($self->{open_elements}->[-1]->[1]
5445                    tbody => 1, tfoot => 1, thead => 1, html => 1,                                  & TABLE_ROWS_SCOPING_EL)) {
                 }->{$self->{open_elements}->[-1]->[1]}) {  
5446                    !!!cp ('t217');                    !!!cp ('t217');
5447                    ## ISSUE: Can this state be reached?                    ## ISSUE: Can this state be reached?
                   !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);  
5448                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
5449                  }                  }
5450                                    
# Line 4395  sub _tree_construction_main ($) { Line 5464  sub _tree_construction_main ($) {
5464    
5465                if ($token->{tag_name} eq 'col') {                if ($token->{tag_name} eq 'col') {
5466                  ## Clear back to table context                  ## Clear back to table context
5467                  while ($self->{open_elements}->[-1]->[1] ne 'table' and                  while (not ($self->{open_elements}->[-1]->[1]
5468                         $self->{open_elements}->[-1]->[1] ne 'html') {                                  & TABLE_SCOPING_EL)) {
5469                    !!!cp ('t219');                    !!!cp ('t219');
5470                    ## ISSUE: Can this state be reached?                    ## ISSUE: Can this state be reached?
                   !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);  
5471                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
5472                  }                  }
5473                                    
5474                  !!!insert-element ('colgroup');                  !!!insert-element ('colgroup',, $token);
5475                  $self->{insertion_mode} = IN_COLUMN_GROUP_IM;                  $self->{insertion_mode} = IN_COLUMN_GROUP_IM;
5476                  ## reprocess                  ## reprocess
5477                  redo B;                  !!!ack-later;
5478                    next B;
5479                } elsif ({                } elsif ({
5480                          caption => 1,                          caption => 1,
5481                          colgroup => 1,                          colgroup => 1,
5482                          tbody => 1, tfoot => 1, thead => 1,                          tbody => 1, tfoot => 1, thead => 1,
5483                         }->{$token->{tag_name}}) {                         }->{$token->{tag_name}}) {
5484                  ## Clear back to table context                  ## Clear back to table context
5485                  while ($self->{open_elements}->[-1]->[1] ne 'table' and                  while (not ($self->{open_elements}->[-1]->[1]
5486                         $self->{open_elements}->[-1]->[1] ne 'html') {                                  & TABLE_SCOPING_EL)) {
5487                    !!!cp ('t220');                    !!!cp ('t220');
5488                    ## ISSUE: Can this state be reached?                    ## ISSUE: Can this state be reached?
                   !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);  
5489                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
5490                  }                  }
5491                                    
5492                  push @$active_formatting_elements, ['#marker', '']                  push @$active_formatting_elements, ['#marker', '']
5493                      if $token->{tag_name} eq 'caption';                      if $token->{tag_name} eq 'caption';
5494                                    
5495                  !!!insert-element ($token->{tag_name}, $token->{attributes});                  !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
5496                  $self->{insertion_mode} = {                  $self->{insertion_mode} = {
5497                                             caption => IN_CAPTION_IM,                                             caption => IN_CAPTION_IM,
5498                                             colgroup => IN_COLUMN_GROUP_IM,                                             colgroup => IN_COLUMN_GROUP_IM,
# Line 4433  sub _tree_construction_main ($) { Line 5501  sub _tree_construction_main ($) {
5501                                             thead => IN_TABLE_BODY_IM,                                             thead => IN_TABLE_BODY_IM,
5502                                            }->{$token->{tag_name}};                                            }->{$token->{tag_name}};
5503                  !!!next-token;                  !!!next-token;
5504                  redo B;                  !!!nack ('t220.1');
5505                    next B;
5506                } else {                } else {
5507                  die "$0: in table: <>: $token->{tag_name}";                  die "$0: in table: <>: $token->{tag_name}";
5508                }                }
5509              } elsif ($token->{tag_name} eq 'table') {              } elsif ($token->{tag_name} eq 'table') {
5510                !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);                !!!parse-error (type => 'not closed',
5511                                  text => $self->{open_elements}->[-1]->[0]
5512                                      ->manakai_local_name,
5513                                  token => $token);
5514    
5515                ## As if </table>                ## As if </table>
5516                ## have a table element in table scope                ## have a table element in table scope
5517                my $i;                my $i;
5518                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5519                  my $node = $self->{open_elements}->[$_];                  my $node = $self->{open_elements}->[$_];
5520                  if ($node->[1] eq 'table') {                  if ($node->[1] & TABLE_EL) {
5521                    !!!cp ('t221');                    !!!cp ('t221');
5522                    $i = $_;                    $i = $_;
5523                    last INSCOPE;                    last INSCOPE;
5524                  } elsif ({                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           #table => 1,  
                           html => 1,  
                          }->{$node->[1]}) {  
5525                    !!!cp ('t222');                    !!!cp ('t222');
5526                    last INSCOPE;                    last INSCOPE;
5527                  }                  }
# Line 4460  sub _tree_construction_main ($) { Line 5529  sub _tree_construction_main ($) {
5529                unless (defined $i) {                unless (defined $i) {
5530                  !!!cp ('t223');                  !!!cp ('t223');
5531  ## TODO: The following is wrong, maybe.  ## TODO: The following is wrong, maybe.
5532                  !!!parse-error (type => 'unmatched end tag:table');                  !!!parse-error (type => 'unmatched end tag', text => 'table',
5533                                    token => $token);
5534                  ## Ignore tokens </table><table>                  ## Ignore tokens </table><table>
5535                    !!!nack ('t223.1');
5536                  !!!next-token;                  !!!next-token;
5537                  redo B;                  next B;
5538                }                }
5539                                
5540    ## TODO: Followings are removed from the latest spec.
5541                ## generate implied end tags                ## generate implied end tags
5542                while ({                while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
                       dd => 1, dt => 1, li => 1, p => 1,  
                      }->{$self->{open_elements}->[-1]->[1]}) {  
5543                  !!!cp ('t224');                  !!!cp ('t224');
5544                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
5545                }                }
5546    
5547                if ($self->{open_elements}->[-1]->[1] ne 'table') {                unless ($self->{open_elements}->[-1]->[1] & TABLE_EL) {
5548                  !!!cp ('t225');                  !!!cp ('t225');
5549  ## ISSUE: Can this case be reached?                  ## NOTE: |<table><tr><table>|
5550                  !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);                  !!!parse-error (type => 'not closed',
5551                                    text => $self->{open_elements}->[-1]->[0]
5552                                        ->manakai_local_name,
5553                                    token => $token);
5554                } else {                } else {
5555                  !!!cp ('t226');                  !!!cp ('t226');
5556                }                }
5557    
5558                splice @{$self->{open_elements}}, $i;                splice @{$self->{open_elements}}, $i;
5559                  pop @{$open_tables};
5560    
5561                $self->_reset_insertion_mode;                $self->_reset_insertion_mode;
5562    
5563                ## reprocess            ## reprocess
5564                redo B;            !!!ack-later;
5565              next B;
5566            } elsif ($token->{tag_name} eq 'style') {
5567              if (not $open_tables->[-1]->[1]) { # tainted
5568                !!!cp ('t227.8');
5569                ## NOTE: This is a "as if in head" code clone.
5570                $parse_rcdata->(CDATA_CONTENT_MODEL);
5571                next B;
5572              } else {
5573                !!!cp ('t227.7');
5574                #
5575              }
5576            } elsif ($token->{tag_name} eq 'script') {
5577              if (not $open_tables->[-1]->[1]) { # tainted
5578                !!!cp ('t227.6');
5579                ## NOTE: This is a "as if in head" code clone.
5580                $script_start_tag->();
5581                next B;
5582              } else {
5583                !!!cp ('t227.5');
5584                #
5585              }
5586            } elsif ($token->{tag_name} eq 'input') {
5587              if (not $open_tables->[-1]->[1]) { # tainted
5588                if ($token->{attributes}->{type}) { ## TODO: case
5589                  my $type = lc $token->{attributes}->{type}->{value};
5590                  if ($type eq 'hidden') {
5591                    !!!cp ('t227.3');
5592                    !!!parse-error (type => 'in table',
5593                                    text => $token->{tag_name}, token => $token);
5594    
5595                    !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
5596    
5597                    ## TODO: form element pointer
5598    
5599                    pop @{$self->{open_elements}};
5600    
5601                    !!!next-token;
5602                    !!!ack ('t227.2.1');
5603                    next B;
5604                  } else {
5605                    !!!cp ('t227.2');
5606                    #
5607                  }
5608                } else {
5609                  !!!cp ('t227.1');
5610                  #
5611                }
5612              } else {
5613                !!!cp ('t227.4');
5614                #
5615              }
5616          } else {          } else {
5617            !!!cp ('t227');            !!!cp ('t227');
           !!!parse-error (type => 'in table:'.$token->{tag_name});  
   
           $insert = $insert_to_foster;  
5618            #            #
5619          }          }
5620    
5621            !!!parse-error (type => 'in table', text => $token->{tag_name},
5622                            token => $token);
5623    
5624            $insert = $insert_to_foster;
5625            #
5626        } elsif ($token->{type} == END_TAG_TOKEN) {        } elsif ($token->{type} == END_TAG_TOKEN) {
5627              if ($token->{tag_name} eq 'tr' and              if ($token->{tag_name} eq 'tr' and
5628                  $self->{insertion_mode} == IN_ROW_IM) {                  $self->{insertion_mode} == IN_ROW_IM) {
# Line 4502  sub _tree_construction_main ($) { Line 5630  sub _tree_construction_main ($) {
5630                my $i;                my $i;
5631                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5632                  my $node = $self->{open_elements}->[$_];                  my $node = $self->{open_elements}->[$_];
5633                  if ($node->[1] eq $token->{tag_name}) {                  if ($node->[1] & TABLE_ROW_EL) {
5634                    !!!cp ('t228');                    !!!cp ('t228');
5635                    $i = $_;                    $i = $_;
5636                    last INSCOPE;                    last INSCOPE;
5637                  } elsif ({                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           table => 1, html => 1,  
                          }->{$node->[1]}) {  
5638                    !!!cp ('t229');                    !!!cp ('t229');
5639                    last INSCOPE;                    last INSCOPE;
5640                  }                  }
5641                } # INSCOPE                } # INSCOPE
5642                unless (defined $i) {                unless (defined $i) {
5643                  !!!cp ('t230');                  !!!cp ('t230');
5644                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                  !!!parse-error (type => 'unmatched end tag',
5645                                    text => $token->{tag_name}, token => $token);
5646                  ## Ignore the token                  ## Ignore the token
5647                    !!!nack ('t230.1');
5648                  !!!next-token;                  !!!next-token;
5649                  redo B;                  next B;
5650                } else {                } else {
5651                  !!!cp ('t232');                  !!!cp ('t232');
5652                }                }
5653    
5654                ## Clear back to table row context                ## Clear back to table row context
5655                while (not {                while (not ($self->{open_elements}->[-1]->[1]
5656                  tr => 1, html => 1,                                & TABLE_ROW_SCOPING_EL)) {
               }->{$self->{open_elements}->[-1]->[1]}) {  
5657                  !!!cp ('t231');                  !!!cp ('t231');
5658  ## ISSUE: Can this state be reached?  ## ISSUE: Can this state be reached?
                 !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);  
5659                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
5660                }                }
5661    
5662                pop @{$self->{open_elements}}; # tr                pop @{$self->{open_elements}}; # tr
5663                $self->{insertion_mode} = IN_TABLE_BODY_IM;                $self->{insertion_mode} = IN_TABLE_BODY_IM;
5664                !!!next-token;                !!!next-token;
5665                redo B;                !!!nack ('t231.1');
5666                  next B;
5667              } elsif ($token->{tag_name} eq 'table') {              } elsif ($token->{tag_name} eq 'table') {
5668                if ($self->{insertion_mode} == IN_ROW_IM) {                if ($self->{insertion_mode} == IN_ROW_IM) {
5669                  ## As if </tr>                  ## As if </tr>
# Line 4544  sub _tree_construction_main ($) { Line 5671  sub _tree_construction_main ($) {
5671                  my $i;                  my $i;
5672                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5673                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
5674                    if ($node->[1] eq 'tr') {                    if ($node->[1] & TABLE_ROW_EL) {
5675                      !!!cp ('t233');                      !!!cp ('t233');
5676                      $i = $_;                      $i = $_;
5677                      last INSCOPE;                      last INSCOPE;
5678                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
5679                      !!!cp ('t234');                      !!!cp ('t234');
5680                      last INSCOPE;                      last INSCOPE;
5681                    }                    }
# Line 4558  sub _tree_construction_main ($) { Line 5683  sub _tree_construction_main ($) {
5683                  unless (defined $i) {                  unless (defined $i) {
5684                    !!!cp ('t235');                    !!!cp ('t235');
5685  ## TODO: The following is wrong.  ## TODO: The following is wrong.
5686                    !!!parse-error (type => 'unmatched end tag:'.$token->{type});                    !!!parse-error (type => 'unmatched end tag',
5687                                      text => $token->{type}, token => $token);
5688                    ## Ignore the token                    ## Ignore the token
5689                      !!!nack ('t236.1');
5690                    !!!next-token;                    !!!next-token;
5691                    redo B;                    next B;
5692                  }                  }
5693                                    
5694                  ## Clear back to table row context                  ## Clear back to table row context
5695                  while (not {                  while (not ($self->{open_elements}->[-1]->[1]
5696                    tr => 1, html => 1,                                  & TABLE_ROW_SCOPING_EL)) {
                 }->{$self->{open_elements}->[-1]->[1]}) {  
5697                    !!!cp ('t236');                    !!!cp ('t236');
5698  ## ISSUE: Can this state be reached?  ## ISSUE: Can this state be reached?
                   !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);  
5699                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
5700                  }                  }
5701                                    
# Line 4584  sub _tree_construction_main ($) { Line 5709  sub _tree_construction_main ($) {
5709                  my $i;                  my $i;
5710                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5711                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
5712                    if ({                    if ($node->[1] & TABLE_ROW_GROUP_EL) {
                        tbody => 1, thead => 1, tfoot => 1,  
                       }->{$node->[1]}) {  
5713                      !!!cp ('t237');                      !!!cp ('t237');
5714                      $i = $_;                      $i = $_;
5715                      last INSCOPE;                      last INSCOPE;
5716                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
5717                      !!!cp ('t238');                      !!!cp ('t238');
5718                      last INSCOPE;                      last INSCOPE;
5719                    }                    }
5720                  } # INSCOPE                  } # INSCOPE
5721                  unless (defined $i) {                  unless (defined $i) {
5722                    !!!cp ('t239');                    !!!cp ('t239');
5723                    !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                    !!!parse-error (type => 'unmatched end tag',
5724                                      text => $token->{tag_name}, token => $token);
5725                    ## Ignore the token                    ## Ignore the token
5726                      !!!nack ('t239.1');
5727                    !!!next-token;                    !!!next-token;
5728                    redo B;                    next B;
5729                  }                  }
5730                                    
5731                  ## Clear back to table body context                  ## Clear back to table body context
5732                  while (not {                  while (not ($self->{open_elements}->[-1]->[1]
5733                    tbody => 1, tfoot => 1, thead => 1, html => 1,                                  & TABLE_ROWS_SCOPING_EL)) {
                 }->{$self->{open_elements}->[-1]->[1]}) {  
5734                    !!!cp ('t240');                    !!!cp ('t240');
                   !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);  
5735                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
5736                  }                  }
5737                                    
# Line 4626  sub _tree_construction_main ($) { Line 5747  sub _tree_construction_main ($) {
5747                  ## reprocess in the "in table" insertion mode...                  ## reprocess in the "in table" insertion mode...
5748                }                }
5749    
5750                  ## NOTE: </table> in the "in table" insertion mode.
5751                  ## When you edit the code fragment below, please ensure that
5752                  ## the code for <table> in the "in table" insertion mode
5753                  ## is synced with it.
5754    
5755                ## have a table element in table scope                ## have a table element in table scope
5756                my $i;                my $i;
5757                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5758                  my $node = $self->{open_elements}->[$_];                  my $node = $self->{open_elements}->[$_];
5759                  if ($node->[1] eq $token->{tag_name}) {                  if ($node->[1] & TABLE_EL) {
5760                    !!!cp ('t241');                    !!!cp ('t241');
5761                    $i = $_;                    $i = $_;
5762                    last INSCOPE;                    last INSCOPE;
5763                  } elsif ({                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           table => 1, html => 1,  
                          }->{$node->[1]}) {  
5764                    !!!cp ('t242');                    !!!cp ('t242');
5765                    last INSCOPE;                    last INSCOPE;
5766                  }                  }
5767                } # INSCOPE                } # INSCOPE
5768                unless (defined $i) {                unless (defined $i) {
5769                  !!!cp ('t243');                  !!!cp ('t243');
5770                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                  !!!parse-error (type => 'unmatched end tag',
5771                                    text => $token->{tag_name}, token => $token);
5772                  ## Ignore the token                  ## Ignore the token
5773                    !!!nack ('t243.1');
5774                  !!!next-token;                  !!!next-token;
5775                  redo B;                  next B;
               }  
   
               ## generate implied end tags  
               while ({  
                       dd => 1, dt => 1, li => 1, p => 1,  
                      }->{$self->{open_elements}->[-1]->[1]}) {  
                 !!!cp ('t244');  
 ## ISSUE: Can this case be reached?  
                 pop @{$self->{open_elements}};  
               }  
                 
               if ($self->{open_elements}->[-1]->[1] ne 'table') {  
                 !!!cp ('t245');  
                 !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);  
               } else {  
                 !!!cp ('t246');  
5776                }                }
5777                                    
5778                splice @{$self->{open_elements}}, $i;                splice @{$self->{open_elements}}, $i;
5779                  pop @{$open_tables};
5780                                
5781                $self->_reset_insertion_mode;                $self->_reset_insertion_mode;
5782                                
5783                !!!next-token;                !!!next-token;
5784                redo B;                next B;
5785              } elsif ({              } elsif ({
5786                        tbody => 1, tfoot => 1, thead => 1,                        tbody => 1, tfoot => 1, thead => 1,
5787                       }->{$token->{tag_name}} and                       }->{$token->{tag_name}} and
# Line 4680  sub _tree_construction_main ($) { Line 5791  sub _tree_construction_main ($) {
5791                  my $i;                  my $i;
5792                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5793                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
5794                    if ($node->[1] eq $token->{tag_name}) {                    if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
5795                      !!!cp ('t247');                      !!!cp ('t247');
5796                      $i = $_;                      $i = $_;
5797                      last INSCOPE;                      last INSCOPE;
5798                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
5799                      !!!cp ('t248');                      !!!cp ('t248');
5800                      last INSCOPE;                      last INSCOPE;
5801                    }                    }
5802                  } # INSCOPE                  } # INSCOPE
5803                    unless (defined $i) {                    unless (defined $i) {
5804                      !!!cp ('t249');                      !!!cp ('t249');
5805                      !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                      !!!parse-error (type => 'unmatched end tag',
5806                                        text => $token->{tag_name}, token => $token);
5807                      ## Ignore the token                      ## Ignore the token
5808                        !!!nack ('t249.1');
5809                      !!!next-token;                      !!!next-token;
5810                      redo B;                      next B;
5811                    }                    }
5812                                    
5813                  ## As if </tr>                  ## As if </tr>
# Line 4704  sub _tree_construction_main ($) { Line 5815  sub _tree_construction_main ($) {
5815                  my $i;                  my $i;
5816                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5817                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
5818                    if ($node->[1] eq 'tr') {                    if ($node->[1] & TABLE_ROW_EL) {
5819                      !!!cp ('t250');                      !!!cp ('t250');
5820                      $i = $_;                      $i = $_;
5821                      last INSCOPE;                      last INSCOPE;
5822                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
5823                      !!!cp ('t251');                      !!!cp ('t251');
5824                      last INSCOPE;                      last INSCOPE;
5825                    }                    }
5826                  } # INSCOPE                  } # INSCOPE
5827                    unless (defined $i) {                    unless (defined $i) {
5828                      !!!cp ('t252');                      !!!cp ('t252');
5829                      !!!parse-error (type => 'unmatched end tag:tr');                      !!!parse-error (type => 'unmatched end tag',
5830                                        text => 'tr', token => $token);
5831                      ## Ignore the token                      ## Ignore the token
5832                        !!!nack ('t252.1');
5833                      !!!next-token;                      !!!next-token;
5834                      redo B;                      next B;
5835                    }                    }
5836                                    
5837                  ## Clear back to table row context                  ## Clear back to table row context
5838                  while (not {                  while (not ($self->{open_elements}->[-1]->[1]
5839                    tr => 1, html => 1,                                  & TABLE_ROW_SCOPING_EL)) {
                 }->{$self->{open_elements}->[-1]->[1]}) {  
5840                    !!!cp ('t253');                    !!!cp ('t253');
5841  ## ISSUE: Can this case be reached?  ## ISSUE: Can this case be reached?
                   !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);  
5842                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
5843                  }                  }
5844                                    
# Line 4742  sub _tree_construction_main ($) { Line 5851  sub _tree_construction_main ($) {
5851                my $i;                my $i;
5852                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5853                  my $node = $self->{open_elements}->[$_];                  my $node = $self->{open_elements}->[$_];
5854                  if ($node->[1] eq $token->{tag_name}) {                  if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
5855                    !!!cp ('t254');                    !!!cp ('t254');
5856                    $i = $_;                    $i = $_;
5857                    last INSCOPE;                    last INSCOPE;
5858                  } elsif ({                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           table => 1, html => 1,  
                          }->{$node->[1]}) {  
5859                    !!!cp ('t255');                    !!!cp ('t255');
5860                    last INSCOPE;                    last INSCOPE;
5861                  }                  }
5862                } # INSCOPE                } # INSCOPE
5863                unless (defined $i) {                unless (defined $i) {
5864                  !!!cp ('t256');                  !!!cp ('t256');
5865                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                  !!!parse-error (type => 'unmatched end tag',
5866                                    text => $token->{tag_name}, token => $token);
5867                  ## Ignore the token                  ## Ignore the token
5868                    !!!nack ('t256.1');
5869                  !!!next-token;                  !!!next-token;
5870                  redo B;                  next B;
5871                }                }
5872    
5873                ## Clear back to table body context                ## Clear back to table body context
5874                while (not {                while (not ($self->{open_elements}->[-1]->[1]
5875                  tbody => 1, tfoot => 1, thead => 1, html => 1,                                & TABLE_ROWS_SCOPING_EL)) {
               }->{$self->{open_elements}->[-1]->[1]}) {  
5876                  !!!cp ('t257');                  !!!cp ('t257');
5877  ## ISSUE: Can this case be reached?  ## ISSUE: Can this case be reached?
                 !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);  
5878                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
5879                }                }
5880    
5881                pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
5882                $self->{insertion_mode} = IN_TABLE_IM;                $self->{insertion_mode} = IN_TABLE_IM;
5883                  !!!nack ('t257.1');
5884                !!!next-token;                !!!next-token;
5885                redo B;                next B;
5886              } elsif ({              } elsif ({
5887                        body => 1, caption => 1, col => 1, colgroup => 1,                        body => 1, caption => 1, col => 1, colgroup => 1,
5888                        html => 1, td => 1, th => 1,                        html => 1, td => 1, th => 1,
5889                        tr => 1, # $self->{insertion_mode} == IN_ROW_IM                        tr => 1, # $self->{insertion_mode} == IN_ROW_IM
5890                        tbody => 1, tfoot => 1, thead => 1, # $self->{insertion_mode} == IN_TABLE_IM                        tbody => 1, tfoot => 1, thead => 1, # $self->{insertion_mode} == IN_TABLE_IM
5891                       }->{$token->{tag_name}}) {                       }->{$token->{tag_name}}) {
5892                !!!cp ('t258');            !!!cp ('t258');
5893                !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            !!!parse-error (type => 'unmatched end tag',
5894                ## Ignore the token                            text => $token->{tag_name}, token => $token);
5895                !!!next-token;            ## Ignore the token
5896                redo B;            !!!nack ('t258.1');
5897               !!!next-token;
5898              next B;
5899          } else {          } else {
5900            !!!cp ('t259');            !!!cp ('t259');
5901            !!!parse-error (type => 'in table:/'.$token->{tag_name});            !!!parse-error (type => 'in table:/',
5902                              text => $token->{tag_name}, token => $token);
5903    
5904            $insert = $insert_to_foster;            $insert = $insert_to_foster;
5905            #            #
5906          }          }
5907          } elsif ($token->{type} == END_OF_FILE_TOKEN) {
5908            unless ($self->{open_elements}->[-1]->[1] & HTML_EL and
5909                    @{$self->{open_elements}} == 1) { # redundant, maybe
5910              !!!parse-error (type => 'in body:#eof', token => $token);
5911              !!!cp ('t259.1');
5912              #
5913            } else {
5914              !!!cp ('t259.2');
5915              #
5916            }
5917    
5918            ## Stop parsing
5919            last B;
5920        } else {        } else {
5921          die "$0: $token->{type}: Unknown token type";          die "$0: $token->{type}: Unknown token type";
5922        }        }
# Line 4803  sub _tree_construction_main ($) { Line 5927  sub _tree_construction_main ($) {
5927                unless (length $token->{data}) {                unless (length $token->{data}) {
5928                  !!!cp ('t260');                  !!!cp ('t260');
5929                  !!!next-token;                  !!!next-token;
5930                  redo B;                  next B;
5931                }                }
5932              }              }
5933                            
# Line 4812  sub _tree_construction_main ($) { Line 5936  sub _tree_construction_main ($) {
5936            } elsif ($token->{type} == START_TAG_TOKEN) {            } elsif ($token->{type} == START_TAG_TOKEN) {
5937              if ($token->{tag_name} eq 'col') {              if ($token->{tag_name} eq 'col') {
5938                !!!cp ('t262');                !!!cp ('t262');
5939                !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
5940                pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
5941                  !!!ack ('t262.1');
5942                !!!next-token;                !!!next-token;
5943                redo B;                next B;
5944              } else {              } else {
5945                !!!cp ('t263');                !!!cp ('t263');
5946                #                #
5947              }              }
5948            } elsif ($token->{type} == END_TAG_TOKEN) {            } elsif ($token->{type} == END_TAG_TOKEN) {
5949              if ($token->{tag_name} eq 'colgroup') {              if ($token->{tag_name} eq 'colgroup') {
5950                if ($self->{open_elements}->[-1]->[1] eq 'html') {                if ($self->{open_elements}->[-1]->[1] & HTML_EL) {
5951                  !!!cp ('t264');                  !!!cp ('t264');
5952                  !!!parse-error (type => 'unmatched end tag:colgroup');                  !!!parse-error (type => 'unmatched end tag',
5953                                    text => 'colgroup', token => $token);
5954                  ## Ignore the token                  ## Ignore the token
5955                  !!!next-token;                  !!!next-token;
5956                  redo B;                  next B;
5957                } else {                } else {
5958                  !!!cp ('t265');                  !!!cp ('t265');
5959                  pop @{$self->{open_elements}}; # colgroup                  pop @{$self->{open_elements}}; # colgroup
5960                  $self->{insertion_mode} = IN_TABLE_IM;                  $self->{insertion_mode} = IN_TABLE_IM;
5961                  !!!next-token;                  !!!next-token;
5962                  redo B;                              next B;            
5963                }                }
5964              } elsif ($token->{tag_name} eq 'col') {              } elsif ($token->{tag_name} eq 'col') {
5965                !!!cp ('t266');                !!!cp ('t266');
5966                !!!parse-error (type => 'unmatched end tag:col');                !!!parse-error (type => 'unmatched end tag',
5967                                  text => 'col', token => $token);
5968                ## Ignore the token                ## Ignore the token
5969                !!!next-token;                !!!next-token;
5970                redo B;                next B;
5971              } else {              } else {
5972                !!!cp ('t267');                !!!cp ('t267');
5973                #                #
5974              }              }
5975            } else {        } elsif ($token->{type} == END_OF_FILE_TOKEN) {
5976              die "$0: $token->{type}: Unknown token type";          if ($self->{open_elements}->[-1]->[1] & HTML_EL and
5977            }              @{$self->{open_elements}} == 1) { # redundant, maybe
5978              !!!cp ('t270.2');
5979              ## Stop parsing.
5980              last B;
5981            } else {
5982              ## NOTE: As if </colgroup>.
5983              !!!cp ('t270.1');
5984              pop @{$self->{open_elements}}; # colgroup
5985              $self->{insertion_mode} = IN_TABLE_IM;
5986              ## Reprocess.
5987              next B;
5988            }
5989          } else {
5990            die "$0: $token->{type}: Unknown token type";
5991          }
5992    
5993            ## As if </colgroup>            ## As if </colgroup>
5994            if ($self->{open_elements}->[-1]->[1] eq 'html') {            if ($self->{open_elements}->[-1]->[1] & HTML_EL) {
5995              !!!cp ('t269');              !!!cp ('t269');
5996              !!!parse-error (type => 'unmatched end tag:colgroup');  ## TODO: Wrong error type?
5997                !!!parse-error (type => 'unmatched end tag',
5998                                text => 'colgroup', token => $token);
5999              ## Ignore the token              ## Ignore the token
6000                !!!nack ('t269.1');
6001              !!!next-token;              !!!next-token;
6002              redo B;              next B;
6003            } else {            } else {
6004              !!!cp ('t270');              !!!cp ('t270');
6005              pop @{$self->{open_elements}}; # colgroup              pop @{$self->{open_elements}}; # colgroup
6006              $self->{insertion_mode} = IN_TABLE_IM;              $self->{insertion_mode} = IN_TABLE_IM;
6007                !!!ack-later;
6008              ## reprocess              ## reprocess
6009              redo B;              next B;
6010            }            }
6011      } elsif ($self->{insertion_mode} == IN_SELECT_IM) {      } elsif ($self->{insertion_mode} & SELECT_IMS) {
6012        if ($token->{type} == CHARACTER_TOKEN) {        if ($token->{type} == CHARACTER_TOKEN) {
6013          !!!cp ('t271');          !!!cp ('t271');
6014          $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});          $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});
6015          !!!next-token;          !!!next-token;
6016          redo B;          next B;
6017        } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
6018              if ($token->{tag_name} eq 'option') {          if ($token->{tag_name} eq 'option') {
6019                if ($self->{open_elements}->[-1]->[1] eq 'option') {            if ($self->{open_elements}->[-1]->[1] & OPTION_EL) {
6020                  !!!cp ('t272');              !!!cp ('t272');
6021                  ## As if </option>              ## As if </option>
6022                  pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
6023                } else {            } else {
6024                  !!!cp ('t273');              !!!cp ('t273');
6025                }            }
6026    
6027                !!!insert-element ($token->{tag_name}, $token->{attributes});            !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
6028                !!!next-token;            !!!nack ('t273.1');
6029                redo B;            !!!next-token;
6030              } elsif ($token->{tag_name} eq 'optgroup') {            next B;
6031                if ($self->{open_elements}->[-1]->[1] eq 'option') {          } elsif ($token->{tag_name} eq 'optgroup') {
6032                  !!!cp ('t274');            if ($self->{open_elements}->[-1]->[1] & OPTION_EL) {
6033                  ## As if </option>              !!!cp ('t274');
6034                  pop @{$self->{open_elements}};              ## As if </option>
6035                } else {              pop @{$self->{open_elements}};
6036                  !!!cp ('t275');            } else {
6037                }              !!!cp ('t275');
6038              }
6039    
6040                if ($self->{open_elements}->[-1]->[1] eq 'optgroup') {            if ($self->{open_elements}->[-1]->[1] & OPTGROUP_EL) {
6041                  !!!cp ('t276');              !!!cp ('t276');
6042                  ## As if </optgroup>              ## As if </optgroup>
6043                  pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
6044                } else {            } else {
6045                  !!!cp ('t277');              !!!cp ('t277');
6046                }            }
6047    
6048                !!!insert-element ($token->{tag_name}, $token->{attributes});            !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
6049                !!!next-token;            !!!nack ('t277.1');
6050                redo B;            !!!next-token;
6051              } elsif ($token->{tag_name} eq 'select') {            next B;
6052  ## TODO: The type below is not good - <select> is replaced by </select>          } elsif ({
6053                !!!parse-error (type => 'not closed:select');                     select => 1, input => 1, textarea => 1,
6054                ## As if </select> instead                   }->{$token->{tag_name}} or
6055                ## have an element in table scope                   ($self->{insertion_mode} == IN_SELECT_IN_TABLE_IM and
6056                my $i;                    {
6057                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                     caption => 1, table => 1,
6058                  my $node = $self->{open_elements}->[$_];                     tbody => 1, tfoot => 1, thead => 1,
6059                  if ($node->[1] eq $token->{tag_name}) {                     tr => 1, td => 1, th => 1,
6060                    !!!cp ('t278');                    }->{$token->{tag_name}})) {
6061                    $i = $_;            ## TODO: The type below is not good - <select> is replaced by </select>
6062                    last INSCOPE;            !!!parse-error (type => 'not closed', text => 'select',
6063                  } elsif ({                            token => $token);
6064                            table => 1, html => 1,            ## NOTE: As if the token were </select> (<select> case) or
6065                           }->{$node->[1]}) {            ## as if there were </select> (otherwise).
6066                    !!!cp ('t279');            ## have an element in table scope
6067                    last INSCOPE;            my $i;
6068                  }            INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
6069                } # INSCOPE              my $node = $self->{open_elements}->[$_];
6070                unless (defined $i) {              if ($node->[1] & SELECT_EL) {
6071                  !!!cp ('t280');                !!!cp ('t278');
6072                  !!!parse-error (type => 'unmatched end tag:select');                $i = $_;
6073                  ## Ignore the token                last INSCOPE;
6074                  !!!next-token;              } elsif ($node->[1] & TABLE_SCOPING_EL) {
6075                  redo B;                !!!cp ('t279');
6076                }                last INSCOPE;
6077                }
6078              } # INSCOPE
6079              unless (defined $i) {
6080                !!!cp ('t280');
6081                !!!parse-error (type => 'unmatched end tag',
6082                                text => 'select', token => $token);
6083                ## Ignore the token
6084                !!!nack ('t280.1');
6085                !!!next-token;
6086                next B;
6087              }
6088                                
6089                !!!cp ('t281');            !!!cp ('t281');
6090                splice @{$self->{open_elements}}, $i;            splice @{$self->{open_elements}}, $i;
6091    
6092                $self->_reset_insertion_mode;            $self->_reset_insertion_mode;
6093    
6094                !!!next-token;            if ($token->{tag_name} eq 'select') {
6095                redo B;              !!!nack ('t281.2');
6096                !!!next-token;
6097                next B;
6098              } else {
6099                !!!cp ('t281.1');
6100                !!!ack-later;
6101                ## Reprocess the token.
6102                next B;
6103              }
6104          } else {          } else {
6105            !!!cp ('t282');            !!!cp ('t282');
6106            !!!parse-error (type => 'in select:'.$token->{tag_name});            !!!parse-error (type => 'in select',
6107                              text => $token->{tag_name}, token => $token);
6108            ## Ignore the token            ## Ignore the token
6109              !!!nack ('t282.1');
6110            !!!next-token;            !!!next-token;
6111            redo B;            next B;
6112          }          }
6113        } elsif ($token->{type} == END_TAG_TOKEN) {        } elsif ($token->{type} == END_TAG_TOKEN) {
6114              if ($token->{tag_name} eq 'optgroup') {          if ($token->{tag_name} eq 'optgroup') {
6115                if ($self->{open_elements}->[-1]->[1] eq 'option' and            if ($self->{open_elements}->[-1]->[1] & OPTION_EL and
6116                    $self->{open_elements}->[-2]->[1] eq 'optgroup') {                $self->{open_elements}->[-2]->[1] & OPTGROUP_EL) {
6117                  !!!cp ('t283');              !!!cp ('t283');
6118                  ## As if </option>              ## As if </option>
6119                  splice @{$self->{open_elements}}, -2;              splice @{$self->{open_elements}}, -2;
6120                } elsif ($self->{open_elements}->[-1]->[1] eq 'optgroup') {            } elsif ($self->{open_elements}->[-1]->[1] & OPTGROUP_EL) {
6121                  !!!cp ('t284');              !!!cp ('t284');
6122                  pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
6123                } else {            } else {
6124                  !!!cp ('t285');              !!!cp ('t285');
6125                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});              !!!parse-error (type => 'unmatched end tag',
6126                  ## Ignore the token                              text => $token->{tag_name}, token => $token);
6127                }              ## Ignore the token
6128                !!!next-token;            }
6129                redo B;            !!!nack ('t285.1');
6130              } elsif ($token->{tag_name} eq 'option') {            !!!next-token;
6131                if ($self->{open_elements}->[-1]->[1] eq 'option') {            next B;
6132                  !!!cp ('t286');          } elsif ($token->{tag_name} eq 'option') {
6133                  pop @{$self->{open_elements}};            if ($self->{open_elements}->[-1]->[1] & OPTION_EL) {
6134                } else {              !!!cp ('t286');
6135                  !!!cp ('t287');              pop @{$self->{open_elements}};
6136                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            } else {
6137                  ## Ignore the token              !!!cp ('t287');
6138                }              !!!parse-error (type => 'unmatched end tag',
6139                !!!next-token;                              text => $token->{tag_name}, token => $token);
6140                redo B;              ## Ignore the token
6141              } elsif ($token->{tag_name} eq 'select') {            }
6142                ## have an element in table scope            !!!nack ('t287.1');
6143                my $i;            !!!next-token;
6144                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {            next B;
6145                  my $node = $self->{open_elements}->[$_];          } elsif ($token->{tag_name} eq 'select') {
6146                  if ($node->[1] eq $token->{tag_name}) {            ## have an element in table scope
6147                    !!!cp ('t288');            my $i;
6148                    $i = $_;            INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
6149                    last INSCOPE;              my $node = $self->{open_elements}->[$_];
6150                  } elsif ({              if ($node->[1] & SELECT_EL) {
6151                            table => 1, html => 1,                !!!cp ('t288');
6152                           }->{$node->[1]}) {                $i = $_;
6153                    !!!cp ('t289');                last INSCOPE;
6154                    last INSCOPE;              } elsif ($node->[1] & TABLE_SCOPING_EL) {
6155                  }                !!!cp ('t289');
6156                } # INSCOPE                last INSCOPE;
6157                unless (defined $i) {              }
6158                  !!!cp ('t290');            } # INSCOPE
6159                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            unless (defined $i) {
6160                  ## Ignore the token              !!!cp ('t290');
6161                  !!!next-token;              !!!parse-error (type => 'unmatched end tag',
6162                  redo B;                              text => $token->{tag_name}, token => $token);
6163                }              ## Ignore the token
6164                !!!nack ('t290.1');
6165                !!!next-token;
6166                next B;
6167              }
6168                                
6169                !!!cp ('t291');            !!!cp ('t291');
6170                splice @{$self->{open_elements}}, $i;            splice @{$self->{open_elements}}, $i;
6171    
6172                $self->_reset_insertion_mode;            $self->_reset_insertion_mode;
6173    
6174                !!!next-token;            !!!nack ('t291.1');
6175                redo B;            !!!next-token;
6176              } elsif ({            next B;
6177                        caption => 1, table => 1, tbody => 1,          } elsif ($self->{insertion_mode} == IN_SELECT_IN_TABLE_IM and
6178                        tfoot => 1, thead => 1, tr => 1, td => 1, th => 1,                   {
6179                       }->{$token->{tag_name}}) {                    caption => 1, table => 1, tbody => 1,
6180                      tfoot => 1, thead => 1, tr => 1, td => 1, th => 1,
6181                     }->{$token->{tag_name}}) {
6182  ## TODO: The following is wrong?  ## TODO: The following is wrong?
6183                !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            !!!parse-error (type => 'unmatched end tag',
6184                              text => $token->{tag_name}, token => $token);
6185                                
6186                ## have an element in table scope            ## have an element in table scope
6187                my $i;            my $i;
6188                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {            INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
6189                  my $node = $self->{open_elements}->[$_];              my $node = $self->{open_elements}->[$_];
6190                  if ($node->[1] eq $token->{tag_name}) {              if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
6191                    !!!cp ('t292');                !!!cp ('t292');
6192                    $i = $_;                $i = $_;
6193                    last INSCOPE;                last INSCOPE;
6194                  } elsif ({              } elsif ($node->[1] & TABLE_SCOPING_EL) {
6195                            table => 1, html => 1,                !!!cp ('t293');
6196                           }->{$node->[1]}) {                last INSCOPE;
6197                    !!!cp ('t293');              }
6198                    last INSCOPE;            } # INSCOPE
6199                  }            unless (defined $i) {
6200                } # INSCOPE              !!!cp ('t294');
6201                unless (defined $i) {              ## Ignore the token
6202                  !!!cp ('t294');              !!!nack ('t294.1');
6203                  ## Ignore the token              !!!next-token;
6204                  !!!next-token;              next B;
6205                  redo B;            }
               }  
6206                                
6207                ## As if </select>            ## As if </select>
6208                ## have an element in table scope            ## have an element in table scope
6209                undef $i;            undef $i;
6210                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {            INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
6211                  my $node = $self->{open_elements}->[$_];              my $node = $self->{open_elements}->[$_];
6212                  if ($node->[1] eq 'select') {              if ($node->[1] & SELECT_EL) {
6213                    !!!cp ('t295');                !!!cp ('t295');
6214                    $i = $_;                $i = $_;
6215                    last INSCOPE;                last INSCOPE;
6216                  } elsif ({              } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           table => 1, html => 1,  
                          }->{$node->[1]}) {  
6217  ## ISSUE: Can this state be reached?  ## ISSUE: Can this state be reached?
6218                    !!!cp ('t296');                !!!cp ('t296');
6219                    last INSCOPE;                last INSCOPE;
6220                  }              }
6221                } # INSCOPE            } # INSCOPE
6222                unless (defined $i) {            unless (defined $i) {
6223                  !!!cp ('t297');              !!!cp ('t297');
6224  ## TODO: The following error type is correct?  ## TODO: The following error type is correct?
6225                  !!!parse-error (type => 'unmatched end tag:select');              !!!parse-error (type => 'unmatched end tag',
6226                  ## Ignore the </select> token                              text => 'select', token => $token);
6227                  !!!next-token; ## TODO: ok?              ## Ignore the </select> token
6228                  redo B;              !!!nack ('t297.1');
6229                }              !!!next-token; ## TODO: ok?
6230                next B;
6231              }
6232                                
6233                !!!cp ('t298');            !!!cp ('t298');
6234                splice @{$self->{open_elements}}, $i;            splice @{$self->{open_elements}}, $i;
6235    
6236                $self->_reset_insertion_mode;            $self->_reset_insertion_mode;
6237    
6238                ## reprocess            !!!ack-later;
6239                redo B;            ## reprocess
6240              next B;
6241          } else {          } else {
6242            !!!cp ('t299');            !!!cp ('t299');
6243            !!!parse-error (type => 'in select:/'.$token->{tag_name});            !!!parse-error (type => 'in select:/',
6244                              text => $token->{tag_name}, token => $token);
6245            ## Ignore the token            ## Ignore the token
6246              !!!nack ('t299.3');
6247            !!!next-token;            !!!next-token;
6248            redo B;            next B;
6249          }          }
6250          } elsif ($token->{type} == END_OF_FILE_TOKEN) {
6251            unless ($self->{open_elements}->[-1]->[1] & HTML_EL and
6252                    @{$self->{open_elements}} == 1) { # redundant, maybe
6253              !!!cp ('t299.1');
6254              !!!parse-error (type => 'in body:#eof', token => $token);
6255            } else {
6256              !!!cp ('t299.2');
6257            }
6258    
6259            ## Stop parsing.
6260            last B;
6261        } else {        } else {
6262          die "$0: $token->{type}: Unknown token type";          die "$0: $token->{type}: Unknown token type";
6263        }        }
# Line 5086  sub _tree_construction_main ($) { Line 6273  sub _tree_construction_main ($) {
6273            unless (length $token->{data}) {            unless (length $token->{data}) {
6274              !!!cp ('t300');              !!!cp ('t300');
6275              !!!next-token;              !!!next-token;
6276              redo B;              next B;
6277            }            }
6278          }          }
6279                    
6280          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {
6281            !!!cp ('t301');            !!!cp ('t301');
6282            !!!parse-error (type => 'after html:#character');            !!!parse-error (type => 'after html:#text', token => $token);
6283    
6284            ## Reprocess in the "after body" insertion mode.            ## Reprocess in the "after body" insertion mode.
6285          } else {          } else {
# Line 5100  sub _tree_construction_main ($) { Line 6287  sub _tree_construction_main ($) {
6287          }          }
6288                    
6289          ## "after body" insertion mode          ## "after body" insertion mode
6290          !!!parse-error (type => 'after body:#character');          !!!parse-error (type => 'after body:#text', token => $token);
6291    
6292          $self->{insertion_mode} = IN_BODY_IM;          $self->{insertion_mode} = IN_BODY_IM;
6293          ## reprocess          ## reprocess
6294          redo B;          next B;
6295        } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
6296          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {
6297            !!!cp ('t303');            !!!cp ('t303');
6298            !!!parse-error (type => 'after html:'.$token->{tag_name});            !!!parse-error (type => 'after html',
6299                              text => $token->{tag_name}, token => $token);
6300                        
6301            ## Reprocess in the "after body" insertion mode.            ## Reprocess in the "after body" insertion mode.
6302          } else {          } else {
# Line 5116  sub _tree_construction_main ($) { Line 6304  sub _tree_construction_main ($) {
6304          }          }
6305    
6306          ## "after body" insertion mode          ## "after body" insertion mode
6307          !!!parse-error (type => 'after body:'.$token->{tag_name});          !!!parse-error (type => 'after body',
6308                            text => $token->{tag_name}, token => $token);
6309    
6310          $self->{insertion_mode} = IN_BODY_IM;          $self->{insertion_mode} = IN_BODY_IM;
6311            !!!ack-later;
6312          ## reprocess          ## reprocess
6313          redo B;          next B;
6314        } elsif ($token->{type} == END_TAG_TOKEN) {        } elsif ($token->{type} == END_TAG_TOKEN) {
6315          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {
6316            !!!cp ('t305');            !!!cp ('t305');
6317            !!!parse-error (type => 'after html:/'.$token->{tag_name});            !!!parse-error (type => 'after html:/',
6318                              text => $token->{tag_name}, token => $token);
6319                        
6320            $self->{insertion_mode} = AFTER_BODY_IM;            $self->{insertion_mode} = AFTER_BODY_IM;
6321            ## Reprocess in the "after body" insertion mode.            ## Reprocess in the "after body" insertion mode.
# Line 5136  sub _tree_construction_main ($) { Line 6327  sub _tree_construction_main ($) {
6327          if ($token->{tag_name} eq 'html') {          if ($token->{tag_name} eq 'html') {
6328            if (defined $self->{inner_html_node}) {            if (defined $self->{inner_html_node}) {
6329              !!!cp ('t307');              !!!cp ('t307');
6330              !!!parse-error (type => 'unmatched end tag:html');              !!!parse-error (type => 'unmatched end tag',
6331                                text => 'html', token => $token);
6332              ## Ignore the token              ## Ignore the token
6333              !!!next-token;              !!!next-token;
6334              redo B;              next B;
6335            } else {            } else {
6336              !!!cp ('t308');              !!!cp ('t308');
6337              $self->{insertion_mode} = AFTER_HTML_BODY_IM;              $self->{insertion_mode} = AFTER_HTML_BODY_IM;
6338              !!!next-token;              !!!next-token;
6339              redo B;              next B;
6340            }            }
6341          } else {          } else {
6342            !!!cp ('t309');            !!!cp ('t309');
6343            !!!parse-error (type => 'after body:/'.$token->{tag_name});            !!!parse-error (type => 'after body:/',
6344                              text => $token->{tag_name}, token => $token);
6345    
6346            $self->{insertion_mode} = IN_BODY_IM;            $self->{insertion_mode} = IN_BODY_IM;
6347            ## reprocess            ## reprocess
6348            redo B;            next B;
6349          }          }
6350          } elsif ($token->{type} == END_OF_FILE_TOKEN) {
6351            !!!cp ('t309.2');
6352            ## Stop parsing
6353            last B;
6354        } else {        } else {
6355          die "$0: $token->{type}: Unknown token type";          die "$0: $token->{type}: Unknown token type";
6356        }        }
# Line 5165  sub _tree_construction_main ($) { Line 6362  sub _tree_construction_main ($) {
6362            unless (length $token->{data}) {            unless (length $token->{data}) {
6363              !!!cp ('t310');              !!!cp ('t310');
6364              !!!next-token;              !!!next-token;
6365              redo B;              next B;
6366            }            }
6367          }          }
6368                    
6369          if ($token->{data} =~ s/^[^\x09\x0A\x0B\x0C\x20]+//) {          if ($token->{data} =~ s/^[^\x09\x0A\x0B\x0C\x20]+//) {
6370            if ($self->{insertion_mode} == IN_FRAMESET_IM) {            if ($self->{insertion_mode} == IN_FRAMESET_IM) {
6371              !!!cp ('t311');              !!!cp ('t311');
6372              !!!parse-error (type => 'in frameset:#character');              !!!parse-error (type => 'in frameset:#text', token => $token);
6373            } elsif ($self->{insertion_mode} == AFTER_FRAMESET_IM) {            } elsif ($self->{insertion_mode} == AFTER_FRAMESET_IM) {
6374              !!!cp ('t312');              !!!cp ('t312');
6375              !!!parse-error (type => 'after frameset:#character');              !!!parse-error (type => 'after frameset:#text', token => $token);
6376            } else { # "after html frameset"            } else { # "after after frameset"
6377              !!!cp ('t313');              !!!cp ('t313');
6378              !!!parse-error (type => 'after html:#character');              !!!parse-error (type => 'after html:#text', token => $token);
   
             $self->{insertion_mode} = AFTER_FRAMESET_IM;  
             ## Reprocess in the "after frameset" insertion mode.  
             !!!parse-error (type => 'after frameset:#character');  
6379            }            }
6380                        
6381            ## Ignore the token.            ## Ignore the token.
# Line 5193  sub _tree_construction_main ($) { Line 6386  sub _tree_construction_main ($) {
6386              !!!cp ('t315');              !!!cp ('t315');
6387              !!!next-token;              !!!next-token;
6388            }            }
6389            redo B;            next B;
6390          }          }
6391                    
6392          die qq[$0: Character "$token->{data}"];          die qq[$0: Character "$token->{data}"];
6393        } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
         if ($self->{insertion_mode} == AFTER_HTML_FRAMESET_IM) {  
           !!!cp ('t316');  
           !!!parse-error (type => 'after html:'.$token->{tag_name});  
   
           $self->{insertion_mode} = AFTER_FRAMESET_IM;  
           ## Process in the "after frameset" insertion mode.  
         } else {  
           !!!cp ('t317');  
         }  
   
6394          if ($token->{tag_name} eq 'frameset' and          if ($token->{tag_name} eq 'frameset' and
6395              $self->{insertion_mode} == IN_FRAMESET_IM) {              $self->{insertion_mode} == IN_FRAMESET_IM) {
6396            !!!cp ('t318');            !!!cp ('t318');
6397            !!!insert-element ($token->{tag_name}, $token->{attributes});            !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
6398              !!!nack ('t318.1');
6399            !!!next-token;            !!!next-token;
6400            redo B;            next B;
6401          } elsif ($token->{tag_name} eq 'frame' and          } elsif ($token->{tag_name} eq 'frame' and
6402                   $self->{insertion_mode} == IN_FRAMESET_IM) {                   $self->{insertion_mode} == IN_FRAMESET_IM) {
6403            !!!cp ('t319');            !!!cp ('t319');
6404            !!!insert-element ($token->{tag_name}, $token->{attributes});            !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
6405            pop @{$self->{open_elements}};            pop @{$self->{open_elements}};
6406              !!!ack ('t319.1');
6407            !!!next-token;            !!!next-token;
6408            redo B;            next B;
6409          } elsif ($token->{tag_name} eq 'noframes') {          } elsif ($token->{tag_name} eq 'noframes') {
6410            !!!cp ('t320');            !!!cp ('t320');
6411            ## NOTE: As if in body.            ## NOTE: As if in head.
6412            $parse_rcdata->(CDATA_CONTENT_MODEL, $insert_to_current);            $parse_rcdata->(CDATA_CONTENT_MODEL);
6413            redo B;            next B;
6414    
6415              ## NOTE: |<!DOCTYPE HTML><frameset></frameset></html><noframes></noframes>|
6416              ## has no parse error.
6417          } else {          } else {
6418            if ($self->{insertion_mode} == IN_FRAMESET_IM) {            if ($self->{insertion_mode} == IN_FRAMESET_IM) {
6419              !!!cp ('t321');              !!!cp ('t321');
6420              !!!parse-error (type => 'in frameset:'.$token->{tag_name});              !!!parse-error (type => 'in frameset',
6421            } else {                              text => $token->{tag_name}, token => $token);
6422              } elsif ($self->{insertion_mode} == AFTER_FRAMESET_IM) {
6423              !!!cp ('t322');              !!!cp ('t322');
6424              !!!parse-error (type => 'after frameset:'.$token->{tag_name});              !!!parse-error (type => 'after frameset',
6425                                text => $token->{tag_name}, token => $token);
6426              } else { # "after after frameset"
6427                !!!cp ('t322.2');
6428                !!!parse-error (type => 'after after frameset',
6429                                text => $token->{tag_name}, token => $token);
6430            }            }
6431            ## Ignore the token            ## Ignore the token
6432              !!!nack ('t322.1');
6433            !!!next-token;            !!!next-token;
6434            redo B;            next B;
6435          }          }
6436        } elsif ($token->{type} == END_TAG_TOKEN) {        } elsif ($token->{type} == END_TAG_TOKEN) {
         if ($self->{insertion_mode} == AFTER_HTML_FRAMESET_IM) {  
           !!!cp ('t323');  
           !!!parse-error (type => 'after html:/'.$token->{tag_name});  
   
           $self->{insertion_mode} = AFTER_FRAMESET_IM;  
           ## Process in the "after frameset" insertion mode.  
         } else {  
           !!!cp ('t324');  
         }  
   
6437          if ($token->{tag_name} eq 'frameset' and          if ($token->{tag_name} eq 'frameset' and
6438              $self->{insertion_mode} == IN_FRAMESET_IM) {              $self->{insertion_mode} == IN_FRAMESET_IM) {
6439            if ($self->{open_elements}->[-1]->[1] eq 'html' and            if ($self->{open_elements}->[-1]->[1] & HTML_EL and
6440                @{$self->{open_elements}} == 1) {                @{$self->{open_elements}} == 1) {
6441              !!!cp ('t325');              !!!cp ('t325');
6442              !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});              !!!parse-error (type => 'unmatched end tag',
6443                                text => $token->{tag_name}, token => $token);
6444              ## Ignore the token              ## Ignore the token
6445              !!!next-token;              !!!next-token;
6446            } else {            } else {
# Line 5264  sub _tree_construction_main ($) { Line 6450  sub _tree_construction_main ($) {
6450            }            }
6451    
6452            if (not defined $self->{inner_html_node} and            if (not defined $self->{inner_html_node} and
6453                $self->{open_elements}->[-1]->[1] ne 'frameset') {                not ($self->{open_elements}->[-1]->[1] & FRAMESET_EL)) {
6454              !!!cp ('t327');              !!!cp ('t327');
6455              $self->{insertion_mode} = AFTER_FRAMESET_IM;              $self->{insertion_mode} = AFTER_FRAMESET_IM;
6456            } else {            } else {
6457              !!!cp ('t328');              !!!cp ('t328');
6458            }            }
6459            redo B;            next B;
6460          } elsif ($token->{tag_name} eq 'html' and          } elsif ($token->{tag_name} eq 'html' and
6461                   $self->{insertion_mode} == AFTER_FRAMESET_IM) {                   $self->{insertion_mode} == AFTER_FRAMESET_IM) {
6462            !!!cp ('t329');            !!!cp ('t329');
6463            $self->{insertion_mode} = AFTER_HTML_FRAMESET_IM;            $self->{insertion_mode} = AFTER_HTML_FRAMESET_IM;
6464            !!!next-token;            !!!next-token;
6465            redo B;            next B;
6466          } else {          } else {
6467            if ($self->{insertion_mode} == IN_FRAMESET_IM) {            if ($self->{insertion_mode} == IN_FRAMESET_IM) {
6468              !!!cp ('t330');              !!!cp ('t330');
6469              !!!parse-error (type => 'in frameset:/'.$token->{tag_name});              !!!parse-error (type => 'in frameset:/',
6470            } else {                              text => $token->{tag_name}, token => $token);
6471              } elsif ($self->{insertion_mode} == AFTER_FRAMESET_IM) {
6472                !!!cp ('t330.1');
6473                !!!parse-error (type => 'after frameset:/',
6474                                text => $token->{tag_name}, token => $token);
6475              } else { # "after after html"
6476              !!!cp ('t331');              !!!cp ('t331');
6477              !!!parse-error (type => 'after frameset:/'.$token->{tag_name});              !!!parse-error (type => 'after after frameset:/',
6478                                text => $token->{tag_name}, token => $token);
6479            }            }
6480            ## Ignore the token            ## Ignore the token
6481            !!!next-token;            !!!next-token;
6482            redo B;            next B;
6483            }
6484          } elsif ($token->{type} == END_OF_FILE_TOKEN) {
6485            unless ($self->{open_elements}->[-1]->[1] & HTML_EL and
6486                    @{$self->{open_elements}} == 1) { # redundant, maybe
6487              !!!cp ('t331.1');
6488              !!!parse-error (type => 'in body:#eof', token => $token);
6489            } else {
6490              !!!cp ('t331.2');
6491          }          }
6492            
6493            ## Stop parsing
6494            last B;
6495        } else {        } else {
6496          die "$0: $token->{type}: Unknown token type";          die "$0: $token->{type}: Unknown token type";
6497        }        }
# Line 5303  sub _tree_construction_main ($) { Line 6506  sub _tree_construction_main ($) {
6506        if ($token->{tag_name} eq 'script') {        if ($token->{tag_name} eq 'script') {
6507          !!!cp ('t332');          !!!cp ('t332');
6508          ## NOTE: This is an "as if in head" code clone          ## NOTE: This is an "as if in head" code clone
6509          $script_start_tag->($insert);          $script_start_tag->();
6510          redo B;          next B;
6511        } elsif ($token->{tag_name} eq 'style') {        } elsif ($token->{tag_name} eq 'style') {
6512          !!!cp ('t333');          !!!cp ('t333');
6513          ## NOTE: This is an "as if in head" code clone          ## NOTE: This is an "as if in head" code clone
6514          $parse_rcdata->(CDATA_CONTENT_MODEL, $insert);          $parse_rcdata->(CDATA_CONTENT_MODEL);
6515          redo B;          next B;
6516        } elsif ({        } elsif ({
6517                  base => 1, link => 1,                  base => 1, link => 1,
6518                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
6519          !!!cp ('t334');          !!!cp ('t334');
6520          ## NOTE: This is an "as if in head" code clone, only "-t" differs          ## NOTE: This is an "as if in head" code clone, only "-t" differs
6521          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6522          pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.          pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.
6523            !!!ack ('t334.1');
6524          !!!next-token;          !!!next-token;
6525          redo B;          next B;
6526        } elsif ($token->{tag_name} eq 'meta') {        } elsif ($token->{tag_name} eq 'meta') {
6527          ## NOTE: This is an "as if in head" code clone, only "-t" differs          ## NOTE: This is an "as if in head" code clone, only "-t" differs
6528          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6529          my $meta_el = pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.          my $meta_el = pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.
6530    
6531          unless ($self->{confident}) {          unless ($self->{confident}) {
6532            if ($token->{attributes}->{charset}) { ## TODO: And if supported            if ($token->{attributes}->{charset}) {
6533              !!!cp ('t335');              !!!cp ('t335');
6534                ## NOTE: Whether the encoding is supported or not is handled
6535                ## in the {change_encoding} callback.
6536              $self->{change_encoding}              $self->{change_encoding}
6537                  ->($self, $token->{attributes}->{charset}->{value});                  ->($self, $token->{attributes}->{charset}->{value}, $token);
6538                            
6539              $meta_el->[0]->get_attribute_node_ns (undef, 'charset')              $meta_el->[0]->get_attribute_node_ns (undef, 'charset')
6540                  ->set_user_data (manakai_has_reference =>                  ->set_user_data (manakai_has_reference =>
6541                                       $token->{attributes}->{charset}                                       $token->{attributes}->{charset}
6542                                           ->{has_reference});                                           ->{has_reference});
6543            } elsif ($token->{attributes}->{content}) {            } elsif ($token->{attributes}->{content}) {
             ## ISSUE: Algorithm name in the spec was incorrect so that not linked to the definition.  
6544              if ($token->{attributes}->{content}->{value}              if ($token->{attributes}->{content}->{value}
6545                  =~ /\A[^;]*;[\x09-\x0D\x20]*[Cc][Hh][Aa][Rr][Ss][Ee][Tt]                  =~ /[Cc][Hh][Aa][Rr][Ss][Ee][Tt]
6546                      [\x09-\x0D\x20]*=                      [\x09-\x0D\x20]*=
6547                      [\x09-\x0D\x20]*(?>"([^"]*)"|'([^']*)'|                      [\x09-\x0D\x20]*(?>"([^"]*)"|'([^']*)'|
6548                      ([^"'\x09-\x0D\x20][^\x09-\x0D\x20]*))/x) {                      ([^"'\x09-\x0D\x20][^\x09-\x0D\x20\x3B]*))/x) {
6549                !!!cp ('t336');                !!!cp ('t336');
6550                  ## NOTE: Whether the encoding is supported or not is handled
6551                  ## in the {change_encoding} callback.
6552                $self->{change_encoding}                $self->{change_encoding}
6553                    ->($self, defined $1 ? $1 : defined $2 ? $2 : $3);                    ->($self, defined $1 ? $1 : defined $2 ? $2 : $3, $token);
6554                $meta_el->[0]->get_attribute_node_ns (undef, 'content')                $meta_el->[0]->get_attribute_node_ns (undef, 'content')
6555                    ->set_user_data (manakai_has_reference =>                    ->set_user_data (manakai_has_reference =>
6556                                         $token->{attributes}->{content}                                         $token->{attributes}->{content}
# Line 5367  sub _tree_construction_main ($) { Line 6574  sub _tree_construction_main ($) {
6574            }            }
6575          }          }
6576    
6577            !!!ack ('t338.1');
6578          !!!next-token;          !!!next-token;
6579          redo B;          next B;
6580        } elsif ($token->{tag_name} eq 'title') {        } elsif ($token->{tag_name} eq 'title') {
6581          !!!cp ('t341');          !!!cp ('t341');
         !!!parse-error (type => 'in body:title');  
6582          ## NOTE: This is an "as if in head" code clone          ## NOTE: This is an "as if in head" code clone
6583          $parse_rcdata->(RCDATA_CONTENT_MODEL, sub {          $parse_rcdata->(RCDATA_CONTENT_MODEL);
6584            if (defined $self->{head_element}) {          next B;
             !!!cp ('t339');  
             $self->{head_element}->append_child ($_[0]);  
           } else {  
             !!!cp ('t340');  
             $insert->($_[0]);  
           }  
         });  
         redo B;  
6585        } elsif ($token->{tag_name} eq 'body') {        } elsif ($token->{tag_name} eq 'body') {
6586          !!!parse-error (type => 'in body:body');          !!!parse-error (type => 'in body', text => 'body', token => $token);
6587                                
6588          if (@{$self->{open_elements}} == 1 or          if (@{$self->{open_elements}} == 1 or
6589              $self->{open_elements}->[1]->[1] ne 'body') {              not ($self->{open_elements}->[1]->[1] & BODY_EL)) {
6590            !!!cp ('t342');            !!!cp ('t342');
6591            ## Ignore the token            ## Ignore the token
6592          } else {          } else {
# Line 5401  sub _tree_construction_main ($) { Line 6600  sub _tree_construction_main ($) {
6600              }              }
6601            }            }
6602          }          }
6603            !!!nack ('t343.1');
6604          !!!next-token;          !!!next-token;
6605          redo B;          next B;
6606        } elsif ({        } elsif ({
6607                  address => 1, blockquote => 1, center => 1, dir => 1,                  address => 1, blockquote => 1, center => 1, dir => 1,
6608                  div => 1, dl => 1, fieldset => 1,                  div => 1, dl => 1, fieldset => 1,
6609                  h1 => 1, h2 => 1, h3 => 1, h4 => 1, h5 => 1, h6 => 1,                  h1 => 1, h2 => 1, h3 => 1, h4 => 1, h5 => 1, h6 => 1,
6610                  listing => 1, menu => 1, ol => 1, p => 1, ul => 1,                  menu => 1, ol => 1, p => 1, ul => 1,
6611                  pre => 1,                  pre => 1, listing => 1,
6612                    form => 1,
6613                    table => 1,
6614                    hr => 1,
6615                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
6616            if ($token->{tag_name} eq 'form' and defined $self->{form_element}) {
6617              !!!cp ('t350');
6618              !!!parse-error (type => 'in form:form', token => $token);
6619              ## Ignore the token
6620              !!!nack ('t350.1');
6621              !!!next-token;
6622              next B;
6623            }
6624    
6625          ## has a p element in scope          ## has a p element in scope
6626          INSCOPE: for (reverse @{$self->{open_elements}}) {          INSCOPE: for (reverse @{$self->{open_elements}}) {
6627            if ($_->[1] eq 'p') {            if ($_->[1] & P_EL) {
6628              !!!cp ('t344');              !!!cp ('t344');
6629              !!!back-token;              !!!back-token; # <form>
6630              $token = {type => END_TAG_TOKEN, tag_name => 'p'};              $token = {type => END_TAG_TOKEN, tag_name => 'p',
6631              redo B;                        line => $token->{line}, column => $token->{column}};
6632            } elsif ({              next B;
6633                      table => 1, caption => 1, td => 1, th => 1,            } elsif ($_->[1] & SCOPING_EL) {
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$_->[1]}) {  
6634              !!!cp ('t345');              !!!cp ('t345');
6635              last INSCOPE;              last INSCOPE;
6636            }            }
6637          } # INSCOPE          } # INSCOPE
6638                        
6639          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6640          if ($token->{tag_name} eq 'pre') {          if ($token->{tag_name} eq 'pre' or $token->{tag_name} eq 'listing') {
6641              !!!nack ('t346.1');
6642            !!!next-token;            !!!next-token;
6643            if ($token->{type} == CHARACTER_TOKEN) {            if ($token->{type} == CHARACTER_TOKEN) {
6644              $token->{data} =~ s/^\x0A//;              $token->{data} =~ s/^\x0A//;
# Line 5440  sub _tree_construction_main ($) { Line 6651  sub _tree_construction_main ($) {
6651            } else {            } else {
6652              !!!cp ('t348');              !!!cp ('t348');
6653            }            }
6654          } else {          } elsif ($token->{tag_name} eq 'form') {
6655            !!!cp ('t347');            !!!cp ('t347.1');
6656              $self->{form_element} = $self->{open_elements}->[-1]->[0];
6657    
6658              !!!nack ('t347.2');
6659            !!!next-token;            !!!next-token;
6660          }          } elsif ($token->{tag_name} eq 'table') {
6661          redo B;            !!!cp ('t382');
6662        } elsif ($token->{tag_name} eq 'form') {            push @{$open_tables}, [$self->{open_elements}->[-1]->[0]];
6663          if (defined $self->{form_element}) {            
6664            !!!cp ('t350');            $self->{insertion_mode} = IN_TABLE_IM;
6665            !!!parse-error (type => 'in form:form');  
6666            ## Ignore the token            !!!nack ('t382.1');
6667              !!!next-token;
6668            } elsif ($token->{tag_name} eq 'hr') {
6669              !!!cp ('t386');
6670              pop @{$self->{open_elements}};
6671            
6672              !!!nack ('t386.1');
6673            !!!next-token;            !!!next-token;
           redo B;  
6674          } else {          } else {
6675            ## has a p element in scope            !!!nack ('t347.1');
           INSCOPE: for (reverse @{$self->{open_elements}}) {  
             if ($_->[1] eq 'p') {  
               !!!cp ('t351');  
               !!!back-token;  
               $token = {type => END_TAG_TOKEN, tag_name => 'p'};  
               redo B;  
             } elsif ({  
                       table => 1, caption => 1, td => 1, th => 1,  
                       button => 1, marquee => 1, object => 1, html => 1,  
                      }->{$_->[1]}) {  
               !!!cp ('t352');  
               last INSCOPE;  
             }  
           } # INSCOPE  
               
           !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
           $self->{form_element} = $self->{open_elements}->[-1]->[0];  
6676            !!!next-token;            !!!next-token;
           redo B;  
6677          }          }
6678        } elsif ($token->{tag_name} eq 'li') {          next B;
6679          } elsif ({li => 1, dt => 1, dd => 1}->{$token->{tag_name}}) {
6680          ## has a p element in scope          ## has a p element in scope
6681          INSCOPE: for (reverse @{$self->{open_elements}}) {          INSCOPE: for (reverse @{$self->{open_elements}}) {
6682            if ($_->[1] eq 'p') {            if ($_->[1] & P_EL) {
6683              !!!cp ('t353');              !!!cp ('t353');
6684              !!!back-token;              !!!back-token; # <x>
6685              $token = {type => END_TAG_TOKEN, tag_name => 'p'};              $token = {type => END_TAG_TOKEN, tag_name => 'p',
6686              redo B;                        line => $token->{line}, column => $token->{column}};
6687            } elsif ({              next B;
6688                      table => 1, caption => 1, td => 1, th => 1,            } elsif ($_->[1] & SCOPING_EL) {
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$_->[1]}) {  
6689              !!!cp ('t354');              !!!cp ('t354');
6690              last INSCOPE;              last INSCOPE;
6691            }            }
# Line 5494  sub _tree_construction_main ($) { Line 6694  sub _tree_construction_main ($) {
6694          ## Step 1          ## Step 1
6695          my $i = -1;          my $i = -1;
6696          my $node = $self->{open_elements}->[$i];          my $node = $self->{open_elements}->[$i];
6697            my $li_or_dtdd = {li => {li => 1},
6698                              dt => {dt => 1, dd => 1},
6699                              dd => {dt => 1, dd => 1}}->{$token->{tag_name}};
6700          LI: {          LI: {
6701            ## Step 2            ## Step 2
6702            if ($node->[1] eq 'li') {            if ($li_or_dtdd->{$node->[0]->manakai_local_name}) {
6703              if ($i != -1) {              if ($i != -1) {
6704                !!!cp ('t355');                !!!cp ('t355');
6705                !!!parse-error (type => 'end tag missing:'.                !!!parse-error (type => 'not closed',
6706                                $self->{open_elements}->[-1]->[1]);                                text => $self->{open_elements}->[-1]->[0]
6707                                      ->manakai_local_name,
6708                                  token => $token);
6709              } else {              } else {
6710                !!!cp ('t356');                !!!cp ('t356');
6711              }              }
# Line 5511  sub _tree_construction_main ($) { Line 6716  sub _tree_construction_main ($) {
6716            }            }
6717                        
6718            ## Step 3            ## Step 3
6719            if (not $formatting_category->{$node->[1]} and            if (not ($node->[1] & FORMATTING_EL) and
6720                #not $phrasing_category->{$node->[1]} and                #not $phrasing_category->{$node->[1]} and
6721                ($special_category->{$node->[1]} or                ($node->[1] & SPECIAL_EL or
6722                 $scoping_category->{$node->[1]}) and                 $node->[1] & SCOPING_EL) and
6723                $node->[1] ne 'address' and $node->[1] ne 'div') {                not ($node->[1] & ADDRESS_EL) and
6724                  not ($node->[1] & DIV_EL)) {
6725              !!!cp ('t358');              !!!cp ('t358');
6726              last LI;              last LI;
6727            }            }
# Line 5527  sub _tree_construction_main ($) { Line 6733  sub _tree_construction_main ($) {
6733            redo LI;            redo LI;
6734          } # LI          } # LI
6735                        
6736          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6737            !!!nack ('t359.1');
6738          !!!next-token;          !!!next-token;
6739          redo B;          next B;
       } elsif ($token->{tag_name} eq 'dd' or $token->{tag_name} eq 'dt') {  
         ## has a p element in scope  
         INSCOPE: for (reverse @{$self->{open_elements}}) {  
           if ($_->[1] eq 'p') {  
             !!!cp ('t360');  
             !!!back-token;  
             $token = {type => END_TAG_TOKEN, tag_name => 'p'};  
             redo B;  
           } elsif ({  
                     table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$_->[1]}) {  
             !!!cp ('t361');  
             last INSCOPE;  
           }  
         } # INSCOPE  
             
         ## Step 1  
         my $i = -1;  
         my $node = $self->{open_elements}->[$i];  
         LI: {  
           ## Step 2  
           if ($node->[1] eq 'dt' or $node->[1] eq 'dd') {  
             if ($i != -1) {  
               !!!cp ('t362');  
               !!!parse-error (type => 'end tag missing:'.  
                               $self->{open_elements}->[-1]->[1]);  
             } else {  
               !!!cp ('t363');  
             }  
             splice @{$self->{open_elements}}, $i;  
             last LI;  
           } else {  
             !!!cp ('t364');  
           }  
             
           ## Step 3  
           if (not $formatting_category->{$node->[1]} and  
               #not $phrasing_category->{$node->[1]} and  
               ($special_category->{$node->[1]} or  
                $scoping_category->{$node->[1]}) and  
               $node->[1] ne 'address' and $node->[1] ne 'div') {  
             !!!cp ('t365');  
             last LI;  
           }  
             
           !!!cp ('t366');  
           ## Step 4  
           $i--;  
           $node = $self->{open_elements}->[$i];  
           redo LI;  
         } # LI  
             
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
         !!!next-token;  
         redo B;  
6740        } elsif ($token->{tag_name} eq 'plaintext') {        } elsif ($token->{tag_name} eq 'plaintext') {
6741          ## has a p element in scope          ## has a p element in scope
6742          INSCOPE: for (reverse @{$self->{open_elements}}) {          INSCOPE: for (reverse @{$self->{open_elements}}) {
6743            if ($_->[1] eq 'p') {            if ($_->[1] & P_EL) {
6744              !!!cp ('t367');              !!!cp ('t367');
6745              !!!back-token;              !!!back-token; # <plaintext>
6746              $token = {type => END_TAG_TOKEN, tag_name => 'p'};              $token = {type => END_TAG_TOKEN, tag_name => 'p',
6747              redo B;                        line => $token->{line}, column => $token->{column}};
6748            } elsif ({              next B;
6749                      table => 1, caption => 1, td => 1, th => 1,            } elsif ($_->[1] & SCOPING_EL) {
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$_->[1]}) {  
6750              !!!cp ('t368');              !!!cp ('t368');
6751              last INSCOPE;              last INSCOPE;
6752            }            }
6753          } # INSCOPE          } # INSCOPE
6754                        
6755          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6756                        
6757          $self->{content_model} = PLAINTEXT_CONTENT_MODEL;          $self->{content_model} = PLAINTEXT_CONTENT_MODEL;
6758                        
6759            !!!nack ('t368.1');
6760          !!!next-token;          !!!next-token;
6761          redo B;          next B;
6762        } elsif ($token->{tag_name} eq 'a') {        } elsif ($token->{tag_name} eq 'a') {
6763          AFE: for my $i (reverse 0..$#$active_formatting_elements) {          AFE: for my $i (reverse 0..$#$active_formatting_elements) {
6764            my $node = $active_formatting_elements->[$i];            my $node = $active_formatting_elements->[$i];
6765            if ($node->[1] eq 'a') {            if ($node->[1] & A_EL) {
6766              !!!cp ('t371');              !!!cp ('t371');
6767              !!!parse-error (type => 'in a:a');              !!!parse-error (type => 'in a:a', token => $token);
6768                            
6769              !!!back-token;              !!!back-token; # <a>
6770              $token = {type => END_TAG_TOKEN, tag_name => 'a'};              $token = {type => END_TAG_TOKEN, tag_name => 'a',
6771              $formatting_end_tag->($token->{tag_name});                        line => $token->{line}, column => $token->{column}};
6772                $formatting_end_tag->($token);
6773                            
6774              AFE2: for (reverse 0..$#$active_formatting_elements) {              AFE2: for (reverse 0..$#$active_formatting_elements) {
6775                if ($active_formatting_elements->[$_]->[0] eq $node->[0]) {                if ($active_formatting_elements->[$_]->[0] eq $node->[0]) {
# Line 5643  sub _tree_construction_main ($) { Line 6794  sub _tree_construction_main ($) {
6794                        
6795          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
6796    
6797          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6798          push @$active_formatting_elements, $self->{open_elements}->[-1];          push @$active_formatting_elements, $self->{open_elements}->[-1];
6799    
6800            !!!nack ('t374.1');
6801          !!!next-token;          !!!next-token;
6802          redo B;          next B;
       } elsif ({  
                 b => 1, big => 1, em => 1, font => 1, i => 1,  
                 s => 1, small => 1, strile => 1,  
                 strong => 1, tt => 1, u => 1,  
                }->{$token->{tag_name}}) {  
         !!!cp ('t375');  
         $reconstruct_active_formatting_elements->($insert_to_current);  
           
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
         push @$active_formatting_elements, $self->{open_elements}->[-1];  
           
         !!!next-token;  
         redo B;  
6803        } elsif ($token->{tag_name} eq 'nobr') {        } elsif ($token->{tag_name} eq 'nobr') {
6804          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
6805    
6806          ## has a |nobr| element in scope          ## has a |nobr| element in scope
6807          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
6808            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
6809            if ($node->[1] eq 'nobr') {            if ($node->[1] & NOBR_EL) {
6810              !!!cp ('t376');              !!!cp ('t376');
6811              !!!parse-error (type => 'in nobr:nobr');              !!!parse-error (type => 'in nobr:nobr', token => $token);
6812              !!!back-token;              !!!back-token; # <nobr>
6813              $token = {type => END_TAG_TOKEN, tag_name => 'nobr'};              $token = {type => END_TAG_TOKEN, tag_name => 'nobr',
6814              redo B;                        line => $token->{line}, column => $token->{column}};
6815            } elsif ({              next B;
6816                      table => 1, caption => 1, td => 1, th => 1,            } elsif ($node->[1] & SCOPING_EL) {
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
6817              !!!cp ('t377');              !!!cp ('t377');
6818              last INSCOPE;              last INSCOPE;
6819            }            }
6820          } # INSCOPE          } # INSCOPE
6821                    
6822          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6823          push @$active_formatting_elements, $self->{open_elements}->[-1];          push @$active_formatting_elements, $self->{open_elements}->[-1];
6824                    
6825            !!!nack ('t377.1');
6826          !!!next-token;          !!!next-token;
6827          redo B;          next B;
6828        } elsif ($token->{tag_name} eq 'button') {        } elsif ($token->{tag_name} eq 'button') {
6829          ## has a button element in scope          ## has a button element in scope
6830          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
6831            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
6832            if ($node->[1] eq 'button') {            if ($node->[1] & BUTTON_EL) {
6833              !!!cp ('t378');              !!!cp ('t378');
6834              !!!parse-error (type => 'in button:button');              !!!parse-error (type => 'in button:button', token => $token);
6835              !!!back-token;              !!!back-token; # <button>
6836              $token = {type => END_TAG_TOKEN, tag_name => 'button'};              $token = {type => END_TAG_TOKEN, tag_name => 'button',
6837              redo B;                        line => $token->{line}, column => $token->{column}};
6838            } elsif ({              next B;
6839                      table => 1, caption => 1, td => 1, th => 1,            } elsif ($node->[1] & SCOPING_EL) {
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
6840              !!!cp ('t379');              !!!cp ('t379');
6841              last INSCOPE;              last INSCOPE;
6842            }            }
# Line 5708  sub _tree_construction_main ($) { Line 6844  sub _tree_construction_main ($) {
6844                        
6845          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
6846                        
6847          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6848    
6849          ## TODO: associate with $self->{form_element} if defined          ## TODO: associate with $self->{form_element} if defined
6850    
6851          push @$active_formatting_elements, ['#marker', ''];          push @$active_formatting_elements, ['#marker', ''];
6852    
6853            !!!nack ('t379.1');
6854          !!!next-token;          !!!next-token;
6855          redo B;          next B;
       } elsif ($token->{tag_name} eq 'marquee' or  
                $token->{tag_name} eq 'object') {  
         !!!cp ('t380');  
         $reconstruct_active_formatting_elements->($insert_to_current);  
           
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
         push @$active_formatting_elements, ['#marker', ''];  
           
         !!!next-token;  
         redo B;  
       } elsif ($token->{tag_name} eq 'xmp') {  
         !!!cp ('t381');  
         $reconstruct_active_formatting_elements->($insert_to_current);  
         $parse_rcdata->(CDATA_CONTENT_MODEL, $insert);  
         redo B;  
       } elsif ($token->{tag_name} eq 'table') {  
         ## has a p element in scope  
         INSCOPE: for (reverse @{$self->{open_elements}}) {  
           if ($_->[1] eq 'p') {  
             !!!cp ('t382');  
             !!!back-token;  
             $token = {type => END_TAG_TOKEN, tag_name => 'p'};  
             redo B;  
           } elsif ({  
                     table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$_->[1]}) {  
             !!!cp ('t383');  
             last INSCOPE;  
           }  
         } # INSCOPE  
             
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
             
         $self->{insertion_mode} = IN_TABLE_IM;  
             
         !!!next-token;  
         redo B;  
6856        } elsif ({        } elsif ({
6857                  area => 1, basefont => 1, bgsound => 1, br => 1,                  xmp => 1,
6858                  embed => 1, img => 1, param => 1, spacer => 1, wbr => 1,                  iframe => 1,
6859                  image => 1,                  noembed => 1,
6860                    noframes => 1, ## NOTE: This is an "as if in head" code clone.
6861                    noscript => 0, ## TODO: 1 if scripting is enabled
6862                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
6863          if ($token->{tag_name} eq 'image') {          if ($token->{tag_name} eq 'xmp') {
6864            !!!cp ('t384');            !!!cp ('t381');
6865            !!!parse-error (type => 'image');            $reconstruct_active_formatting_elements->($insert_to_current);
           $token->{tag_name} = 'img';  
6866          } else {          } else {
6867            !!!cp ('t385');            !!!cp ('t399');
6868          }          }
6869            ## NOTE: There is an "as if in body" code clone.
6870          ## NOTE: There is an "as if <br>" code clone.          $parse_rcdata->(CDATA_CONTENT_MODEL);
6871          $reconstruct_active_formatting_elements->($insert_to_current);          next B;
           
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
         pop @{$self->{open_elements}};  
           
         !!!next-token;  
         redo B;  
       } elsif ($token->{tag_name} eq 'hr') {  
         ## has a p element in scope  
         INSCOPE: for (reverse @{$self->{open_elements}}) {  
           if ($_->[1] eq 'p') {  
             !!!cp ('t386');  
             !!!back-token;  
             $token = {type => END_TAG_TOKEN, tag_name => 'p'};  
             redo B;  
           } elsif ({  
                     table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$_->[1]}) {  
             !!!cp ('t387');  
             last INSCOPE;  
           }  
         } # INSCOPE  
             
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
         pop @{$self->{open_elements}};  
             
         !!!next-token;  
         redo B;  
       } elsif ($token->{tag_name} eq 'input') {  
         !!!cp ('t388');  
         $reconstruct_active_formatting_elements->($insert_to_current);  
           
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
         ## TODO: associate with $self->{form_element} if defined  
         pop @{$self->{open_elements}};  
           
         !!!next-token;  
         redo B;  
6872        } elsif ($token->{tag_name} eq 'isindex') {        } elsif ($token->{tag_name} eq 'isindex') {
6873          !!!parse-error (type => 'isindex');          !!!parse-error (type => 'isindex', token => $token);
6874                    
6875          if (defined $self->{form_element}) {          if (defined $self->{form_element}) {
6876            !!!cp ('t389');            !!!cp ('t389');
6877            ## Ignore the token            ## Ignore the token
6878              !!!nack ('t389'); ## NOTE: Not acknowledged.
6879            !!!next-token;            !!!next-token;
6880            redo B;            next B;
6881          } else {          } else {
6882              !!!ack ('t391.1');
6883    
6884            my $at = $token->{attributes};            my $at = $token->{attributes};
6885            my $form_attrs;            my $form_attrs;
6886            $form_attrs->{action} = $at->{action} if $at->{action};            $form_attrs->{action} = $at->{action} if $at->{action};
# Line 5825  sub _tree_construction_main ($) { Line 6890  sub _tree_construction_main ($) {
6890            delete $at->{prompt};            delete $at->{prompt};
6891            my @tokens = (            my @tokens = (
6892                          {type => START_TAG_TOKEN, tag_name => 'form',                          {type => START_TAG_TOKEN, tag_name => 'form',
6893                           attributes => $form_attrs},                           attributes => $form_attrs,
6894                          {type => START_TAG_TOKEN, tag_name => 'hr'},                           line => $token->{line}, column => $token->{column}},
6895                          {type => START_TAG_TOKEN, tag_name => 'p'},                          {type => START_TAG_TOKEN, tag_name => 'hr',
6896                          {type => START_TAG_TOKEN, tag_name => 'label'},                           line => $token->{line}, column => $token->{column}},
6897                            {type => START_TAG_TOKEN, tag_name => 'p',
6898                             line => $token->{line}, column => $token->{column}},
6899                            {type => START_TAG_TOKEN, tag_name => 'label',
6900                             line => $token->{line}, column => $token->{column}},
6901                         );                         );
6902            if ($prompt_attr) {            if ($prompt_attr) {
6903              !!!cp ('t390');              !!!cp ('t390');
6904              push @tokens, {type => CHARACTER_TOKEN, data => $prompt_attr->{value}};              push @tokens, {type => CHARACTER_TOKEN, data => $prompt_attr->{value},
6905                               #line => $token->{line}, column => $token->{column},
6906                              };
6907            } else {            } else {
6908              !!!cp ('t391');              !!!cp ('t391');
6909              push @tokens, {type => CHARACTER_TOKEN,              push @tokens, {type => CHARACTER_TOKEN,
6910                             data => 'This is a searchable index. Insert your search keywords here: '}; # SHOULD                             data => 'This is a searchable index. Insert your search keywords here: ',
6911                               #line => $token->{line}, column => $token->{column},
6912                              }; # SHOULD
6913              ## TODO: make this configurable              ## TODO: make this configurable
6914            }            }
6915            push @tokens,            push @tokens,
6916                          {type => START_TAG_TOKEN, tag_name => 'input', attributes => $at},                          {type => START_TAG_TOKEN, tag_name => 'input', attributes => $at,
6917                             line => $token->{line}, column => $token->{column}},
6918                          #{type => CHARACTER_TOKEN, data => ''}, # SHOULD                          #{type => CHARACTER_TOKEN, data => ''}, # SHOULD
6919                          {type => END_TAG_TOKEN, tag_name => 'label'},                          {type => END_TAG_TOKEN, tag_name => 'label',
6920                          {type => END_TAG_TOKEN, tag_name => 'p'},                           line => $token->{line}, column => $token->{column}},
6921                          {type => START_TAG_TOKEN, tag_name => 'hr'},                          {type => END_TAG_TOKEN, tag_name => 'p',
6922                          {type => END_TAG_TOKEN, tag_name => 'form'};                           line => $token->{line}, column => $token->{column}},
6923            $token = shift @tokens;                          {type => START_TAG_TOKEN, tag_name => 'hr',
6924                             line => $token->{line}, column => $token->{column}},
6925                            {type => END_TAG_TOKEN, tag_name => 'form',
6926                             line => $token->{line}, column => $token->{column}};
6927            !!!back-token (@tokens);            !!!back-token (@tokens);
6928            redo B;            !!!next-token;
6929              next B;
6930          }          }
6931        } elsif ($token->{tag_name} eq 'textarea') {        } elsif ($token->{tag_name} eq 'textarea') {
6932          my $tag_name = $token->{tag_name};          my $tag_name = $token->{tag_name};
6933          my $el;          my $el;
6934          !!!create-element ($el, $token->{tag_name}, $token->{attributes});          !!!create-element ($el, $HTML_NS, $token->{tag_name}, $token->{attributes}, $token);
6935                    
6936          ## TODO: $self->{form_element} if defined          ## TODO: $self->{form_element} if defined
6937          $self->{content_model} = RCDATA_CONTENT_MODEL;          $self->{content_model} = RCDATA_CONTENT_MODEL;
# Line 5862  sub _tree_construction_main ($) { Line 6940  sub _tree_construction_main ($) {
6940          $insert->($el);          $insert->($el);
6941                    
6942          my $text = '';          my $text = '';
6943            !!!nack ('t392.1');
6944          !!!next-token;          !!!next-token;
6945          if ($token->{type} == CHARACTER_TOKEN) {          if ($token->{type} == CHARACTER_TOKEN) {
6946            $token->{data} =~ s/^\x0A//;            $token->{data} =~ s/^\x0A//;
# Line 5892  sub _tree_construction_main ($) { Line 6971  sub _tree_construction_main ($) {
6971            ## Ignore the token            ## Ignore the token
6972          } else {          } else {
6973            !!!cp ('t398');            !!!cp ('t398');
6974            !!!parse-error (type => 'in RCDATA:#'.$token->{type});            !!!parse-error (type => 'in RCDATA:#eof', token => $token);
6975          }          }
6976          !!!next-token;          !!!next-token;
6977            next B;
6978          } elsif ($token->{tag_name} eq 'rt' or
6979                   $token->{tag_name} eq 'rp') {
6980            ## has a |ruby| element in scope
6981            INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
6982              my $node = $self->{open_elements}->[$_];
6983              if ($node->[1] & RUBY_EL) {
6984                !!!cp ('t398.1');
6985                ## generate implied end tags
6986                while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
6987                  !!!cp ('t398.2');
6988                  pop @{$self->{open_elements}};
6989                }
6990                unless ($self->{open_elements}->[-1]->[1] & RUBY_EL) {
6991                  !!!cp ('t398.3');
6992                  !!!parse-error (type => 'not closed',
6993                                  text => $self->{open_elements}->[-1]->[0]
6994                                      ->manakai_local_name,
6995                                  token => $token);
6996                  pop @{$self->{open_elements}}
6997                      while not $self->{open_elements}->[-1]->[1] & RUBY_EL;
6998                }
6999                last INSCOPE;
7000              } elsif ($node->[1] & SCOPING_EL) {
7001                !!!cp ('t398.4');
7002                last INSCOPE;
7003              }
7004            } # INSCOPE
7005    
7006            !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
7007    
7008            !!!nack ('t398.5');
7009            !!!next-token;
7010          redo B;          redo B;
7011        } elsif ({        } elsif ($token->{tag_name} eq 'math' or
7012                  iframe => 1,                 $token->{tag_name} eq 'svg') {
                 noembed => 1,  
                 noframes => 1,  
                 noscript => 0, ## TODO: 1 if scripting is enabled  
                }->{$token->{tag_name}}) {  
         !!!cp ('t399');  
         ## NOTE: There is an "as if in body" code clone.  
         $parse_rcdata->(CDATA_CONTENT_MODEL, $insert);  
         redo B;  
       } elsif ($token->{tag_name} eq 'select') {  
         !!!cp ('t400');  
7013          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
           
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
7014    
7015          ## TODO: associate with $self->{form_element} if defined          ## "Adjust MathML attributes" ('math' only) - done in insert-element-f
7016    
7017            ## "adjust SVG attributes" ('svg' only) - done in insert-element-f
7018    
7019            ## "adjust foreign attributes" - done in insert-element-f
7020            
7021            !!!insert-element-f ($token->{tag_name} eq 'math' ? $MML_NS : $SVG_NS, $token->{tag_name}, $token->{attributes}, $token);
7022                    
7023          $self->{insertion_mode} = IN_SELECT_IM;          if ($self->{self_closing}) {
7024              pop @{$self->{open_elements}};
7025              !!!ack ('t398.1');
7026            } else {
7027              !!!cp ('t398.2');
7028              $self->{insertion_mode} |= IN_FOREIGN_CONTENT_IM;
7029              ## NOTE: |<body><math><mi><svg>| -> "in foreign content" insertion
7030              ## mode, "in body" (not "in foreign content") secondary insertion
7031              ## mode, maybe.
7032            }
7033    
7034          !!!next-token;          !!!next-token;
7035          redo B;          next B;
7036        } elsif ({        } elsif ({
7037                  caption => 1, col => 1, colgroup => 1, frame => 1,                  caption => 1, col => 1, colgroup => 1, frame => 1,
7038                  frameset => 1, head => 1, option => 1, optgroup => 1,                  frameset => 1, head => 1, option => 1, optgroup => 1,
# Line 5924  sub _tree_construction_main ($) { Line 7040  sub _tree_construction_main ($) {
7040                  thead => 1, tr => 1,                  thead => 1, tr => 1,
7041                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
7042          !!!cp ('t401');          !!!cp ('t401');
7043          !!!parse-error (type => 'in body:'.$token->{tag_name});          !!!parse-error (type => 'in body',
7044                            text => $token->{tag_name}, token => $token);
7045          ## Ignore the token          ## Ignore the token
7046            !!!nack ('t401.1'); ## NOTE: |<col/>| or |<frame/>| here is an error.
7047          !!!next-token;          !!!next-token;
7048          redo B;          next B;
7049                    
7050          ## ISSUE: An issue on HTML5 new elements in the spec.          ## ISSUE: An issue on HTML5 new elements in the spec.
7051        } else {        } else {
7052          !!!cp ('t402');          if ($token->{tag_name} eq 'image') {
7053              !!!cp ('t384');
7054              !!!parse-error (type => 'image', token => $token);
7055              $token->{tag_name} = 'img';
7056            } else {
7057              !!!cp ('t385');
7058            }
7059    
7060            ## NOTE: There is an "as if <br>" code clone.
7061          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
7062                    
7063          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
7064    
7065            if ({
7066                 applet => 1, marquee => 1, object => 1,
7067                }->{$token->{tag_name}}) {
7068              !!!cp ('t380');
7069              push @$active_formatting_elements, ['#marker', ''];
7070              !!!nack ('t380.1');
7071            } elsif ({
7072                      b => 1, big => 1, em => 1, font => 1, i => 1,
7073                      s => 1, small => 1, strile => 1,
7074                      strong => 1, tt => 1, u => 1,
7075                     }->{$token->{tag_name}}) {
7076              !!!cp ('t375');
7077              push @$active_formatting_elements, $self->{open_elements}->[-1];
7078              !!!nack ('t375.1');
7079            } elsif ($token->{tag_name} eq 'input') {
7080              !!!cp ('t388');
7081              ## TODO: associate with $self->{form_element} if defined
7082              pop @{$self->{open_elements}};
7083              !!!ack ('t388.2');
7084            } elsif ({
7085                      area => 1, basefont => 1, bgsound => 1, br => 1,
7086                      embed => 1, img => 1, param => 1, spacer => 1, wbr => 1,
7087                      #image => 1,
7088                     }->{$token->{tag_name}}) {
7089              !!!cp ('t388.1');
7090              pop @{$self->{open_elements}};
7091              !!!ack ('t388.3');
7092            } elsif ($token->{tag_name} eq 'select') {
7093              ## TODO: associate with $self->{form_element} if defined
7094            
7095              if ($self->{insertion_mode} & TABLE_IMS or
7096                  $self->{insertion_mode} & BODY_TABLE_IMS or
7097                  $self->{insertion_mode} == IN_COLUMN_GROUP_IM) {
7098                !!!cp ('t400.1');
7099                $self->{insertion_mode} = IN_SELECT_IN_TABLE_IM;
7100              } else {
7101                !!!cp ('t400.2');
7102                $self->{insertion_mode} = IN_SELECT_IM;
7103              }
7104              !!!nack ('t400.3');
7105            } else {
7106              !!!nack ('t402');
7107            }
7108                    
7109          !!!next-token;          !!!next-token;
7110          redo B;          next B;
7111        }        }
7112      } elsif ($token->{type} == END_TAG_TOKEN) {      } elsif ($token->{type} == END_TAG_TOKEN) {
7113        if ($token->{tag_name} eq 'body') {        if ($token->{tag_name} eq 'body') {
7114          if (@{$self->{open_elements}} > 1 and          ## has a |body| element in scope
7115              $self->{open_elements}->[1]->[1] eq 'body') {          my $i;
7116            for (@{$self->{open_elements}}) {          INSCOPE: {
7117              unless ({            for (reverse @{$self->{open_elements}}) {
7118                         dd => 1, dt => 1, li => 1, p => 1, td => 1,              if ($_->[1] & BODY_EL) {
7119                         th => 1, tr => 1, body => 1, html => 1,                !!!cp ('t405');
7120                       tbody => 1, tfoot => 1, thead => 1,                $i = $_;
7121                      }->{$_->[1]}) {                last INSCOPE;
7122                !!!cp ('t403');              } elsif ($_->[1] & SCOPING_EL) {
7123                !!!parse-error (type => 'not closed:'.$_->[1]);                !!!cp ('t405.1');
7124              } else {                last;
               !!!cp ('t404');  
7125              }              }
7126            }            }
7127    
7128            $self->{insertion_mode} = AFTER_BODY_IM;            !!!parse-error (type => 'start tag not allowed',
7129            !!!next-token;                            text => $token->{tag_name}, token => $token);
7130            redo B;            ## NOTE: Ignore the token.
         } else {  
           !!!cp ('t405');  
           !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});  
           ## Ignore the token  
7131            !!!next-token;            !!!next-token;
7132            redo B;            next B;
7133            } # INSCOPE
7134    
7135            for (@{$self->{open_elements}}) {
7136              unless ($_->[1] & ALL_END_TAG_OPTIONAL_EL) {
7137                !!!cp ('t403');
7138                !!!parse-error (type => 'not closed',
7139                                text => $_->[0]->manakai_local_name,
7140                                token => $token);
7141                last;
7142              } else {
7143                !!!cp ('t404');
7144              }
7145          }          }
7146    
7147            $self->{insertion_mode} = AFTER_BODY_IM;
7148            !!!next-token;
7149            next B;
7150        } elsif ($token->{tag_name} eq 'html') {        } elsif ($token->{tag_name} eq 'html') {
7151          if (@{$self->{open_elements}} > 1 and $self->{open_elements}->[1]->[1] eq 'body') {          ## TODO: Update this code.  It seems that the code below is not
7152            ## up-to-date, though it has same effect as speced.
7153            if (@{$self->{open_elements}} > 1 and
7154                $self->{open_elements}->[1]->[1] & BODY_EL) {
7155            ## ISSUE: There is an issue in the spec.            ## ISSUE: There is an issue in the spec.
7156            if ($self->{open_elements}->[-1]->[1] ne 'body') {            unless ($self->{open_elements}->[-1]->[1] & BODY_EL) {
7157              !!!cp ('t406');              !!!cp ('t406');
7158              !!!parse-error (type => 'not closed:'.$self->{open_elements}->[1]->[1]);              !!!parse-error (type => 'not closed',
7159                                text => $self->{open_elements}->[1]->[0]
7160                                    ->manakai_local_name,
7161                                token => $token);
7162            } else {            } else {
7163              !!!cp ('t407');              !!!cp ('t407');
7164            }            }
7165            $self->{insertion_mode} = AFTER_BODY_IM;            $self->{insertion_mode} = AFTER_BODY_IM;
7166            ## reprocess            ## reprocess
7167            redo B;            next B;
7168          } else {          } else {
7169            !!!cp ('t408');            !!!cp ('t408');
7170            !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            !!!parse-error (type => 'unmatched end tag',
7171                              text => $token->{tag_name}, token => $token);
7172            ## Ignore the token            ## Ignore the token
7173            !!!next-token;            !!!next-token;
7174            redo B;            next B;
7175          }          }
7176        } elsif ({        } elsif ({
7177                  address => 1, blockquote => 1, center => 1, dir => 1,                  address => 1, blockquote => 1, center => 1, dir => 1,
7178                  div => 1, dl => 1, fieldset => 1, listing => 1,                  div => 1, dl => 1, fieldset => 1, listing => 1,
7179                  menu => 1, ol => 1, pre => 1, ul => 1,                  menu => 1, ol => 1, pre => 1, ul => 1,
7180                  dd => 1, dt => 1, li => 1,                  dd => 1, dt => 1, li => 1,
7181                  button => 1, marquee => 1, object => 1,                  applet => 1, button => 1, marquee => 1, object => 1,
7182                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
7183          ## has an element in scope          ## has an element in scope
7184          my $i;          my $i;
7185          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
7186            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
7187            if ($node->[1] eq $token->{tag_name}) {            if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
7188              !!!cp ('t410');              !!!cp ('t410');
7189              $i = $_;              $i = $_;
7190              last INSCOPE;              last INSCOPE;
7191            } elsif ({            } elsif ($node->[1] & SCOPING_EL) {
                     table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
7192              !!!cp ('t411');              !!!cp ('t411');
7193              last INSCOPE;              last INSCOPE;
7194            }            }
# Line 6011  sub _tree_construction_main ($) { Line 7196  sub _tree_construction_main ($) {
7196    
7197          unless (defined $i) { # has an element in scope          unless (defined $i) { # has an element in scope
7198            !!!cp ('t413');            !!!cp ('t413');
7199            !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            !!!parse-error (type => 'unmatched end tag',
7200                              text => $token->{tag_name}, token => $token);
7201              ## NOTE: Ignore the token.
7202          } else {          } else {
7203            ## Step 1. generate implied end tags            ## Step 1. generate implied end tags
7204            while ({            while ({
7205                      ## END_TAG_OPTIONAL_EL
7206                    dd => ($token->{tag_name} ne 'dd'),                    dd => ($token->{tag_name} ne 'dd'),
7207                    dt => ($token->{tag_name} ne 'dt'),                    dt => ($token->{tag_name} ne 'dt'),
7208                    li => ($token->{tag_name} ne 'li'),                    li => ($token->{tag_name} ne 'li'),
7209                    p => 1,                    p => 1,
7210                   }->{$self->{open_elements}->[-1]->[1]}) {                    rt => 1,
7211                      rp => 1,
7212                     }->{$self->{open_elements}->[-1]->[0]->manakai_local_name}) {
7213              !!!cp ('t409');              !!!cp ('t409');
7214              pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
7215            }            }
7216    
7217            ## Step 2.            ## Step 2.
7218            if ($self->{open_elements}->[-1]->[1] ne $token->{tag_name}) {            if ($self->{open_elements}->[-1]->[0]->manakai_local_name
7219                      ne $token->{tag_name}) {
7220              !!!cp ('t412');              !!!cp ('t412');
7221              !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);              !!!parse-error (type => 'not closed',
7222                                text => $self->{open_elements}->[-1]->[0]
7223                                    ->manakai_local_name,
7224                                token => $token);
7225            } else {            } else {
7226              !!!cp ('t414');              !!!cp ('t414');
7227            }            }
# Line 6038  sub _tree_construction_main ($) { Line 7232  sub _tree_construction_main ($) {
7232            ## Step 4.            ## Step 4.
7233            $clear_up_to_marker->()            $clear_up_to_marker->()
7234                if {                if {
7235                  button => 1, marquee => 1, object => 1,                  applet => 1, button => 1, marquee => 1, object => 1,
7236                }->{$token->{tag_name}};                }->{$token->{tag_name}};
7237          }          }
7238          !!!next-token;          !!!next-token;
7239          redo B;          next B;
7240        } elsif ($token->{tag_name} eq 'form') {        } elsif ($token->{tag_name} eq 'form') {
7241          undef $self->{form_element};          undef $self->{form_element};
7242    
# Line 6050  sub _tree_construction_main ($) { Line 7244  sub _tree_construction_main ($) {
7244          my $i;          my $i;
7245          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
7246            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
7247            if ($node->[1] eq $token->{tag_name}) {            if ($node->[1] & FORM_EL) {
7248              !!!cp ('t418');              !!!cp ('t418');
7249              $i = $_;              $i = $_;
7250              last INSCOPE;              last INSCOPE;
7251            } elsif ({            } elsif ($node->[1] & SCOPING_EL) {
                     table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
7252              !!!cp ('t419');              !!!cp ('t419');
7253              last INSCOPE;              last INSCOPE;
7254            }            }
# Line 6065  sub _tree_construction_main ($) { Line 7256  sub _tree_construction_main ($) {
7256    
7257          unless (defined $i) { # has an element in scope          unless (defined $i) { # has an element in scope
7258            !!!cp ('t421');            !!!cp ('t421');
7259            !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            !!!parse-error (type => 'unmatched end tag',
7260                              text => $token->{tag_name}, token => $token);
7261              ## NOTE: Ignore the token.
7262          } else {          } else {
7263            ## Step 1. generate implied end tags            ## Step 1. generate implied end tags
7264            while ({            while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
                   dd => 1, dt => 1, li => 1, p => 1,  
                  }->{$self->{open_elements}->[-1]->[1]}) {  
7265              !!!cp ('t417');              !!!cp ('t417');
7266              pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
7267            }            }
7268                        
7269            ## Step 2.            ## Step 2.
7270            if ($self->{open_elements}->[-1]->[1] ne $token->{tag_name}) {            if ($self->{open_elements}->[-1]->[0]->manakai_local_name
7271                      ne $token->{tag_name}) {
7272              !!!cp ('t417.1');              !!!cp ('t417.1');
7273              !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);              !!!parse-error (type => 'not closed',
7274                                text => $self->{open_elements}->[-1]->[0]
7275                                    ->manakai_local_name,
7276                                token => $token);
7277            } else {            } else {
7278              !!!cp ('t420');              !!!cp ('t420');
7279            }              }  
# Line 6088  sub _tree_construction_main ($) { Line 7283  sub _tree_construction_main ($) {
7283          }          }
7284    
7285          !!!next-token;          !!!next-token;
7286          redo B;          next B;
7287        } elsif ({        } elsif ({
7288                  h1 => 1, h2 => 1, h3 => 1, h4 => 1, h5 => 1, h6 => 1,                  h1 => 1, h2 => 1, h3 => 1, h4 => 1, h5 => 1, h6 => 1,
7289                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
# Line 6096  sub _tree_construction_main ($) { Line 7291  sub _tree_construction_main ($) {
7291          my $i;          my $i;
7292          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
7293            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
7294            if ({            if ($node->[1] & HEADING_EL) {
                h1 => 1, h2 => 1, h3 => 1, h4 => 1, h5 => 1, h6 => 1,  
               }->{$node->[1]}) {  
7295              !!!cp ('t423');              !!!cp ('t423');
7296              $i = $_;              $i = $_;
7297              last INSCOPE;              last INSCOPE;
7298            } elsif ({            } elsif ($node->[1] & SCOPING_EL) {
                     table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
7299              !!!cp ('t424');              !!!cp ('t424');
7300              last INSCOPE;              last INSCOPE;
7301            }            }
# Line 6113  sub _tree_construction_main ($) { Line 7303  sub _tree_construction_main ($) {
7303    
7304          unless (defined $i) { # has an element in scope          unless (defined $i) { # has an element in scope
7305            !!!cp ('t425.1');            !!!cp ('t425.1');
7306            !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            !!!parse-error (type => 'unmatched end tag',
7307                              text => $token->{tag_name}, token => $token);
7308              ## NOTE: Ignore the token.
7309          } else {          } else {
7310            ## Step 1. generate implied end tags            ## Step 1. generate implied end tags
7311            while ({            while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
                   dd => 1, dt => 1, li => 1, p => 1,  
                  }->{$self->{open_elements}->[-1]->[1]}) {  
7312              !!!cp ('t422');              !!!cp ('t422');
7313              pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
7314            }            }
7315                        
7316            ## Step 2.            ## Step 2.
7317            if ($self->{open_elements}->[-1]->[1] ne $token->{tag_name}) {            if ($self->{open_elements}->[-1]->[0]->manakai_local_name
7318                      ne $token->{tag_name}) {
7319              !!!cp ('t425');              !!!cp ('t425');
7320              !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});              !!!parse-error (type => 'unmatched end tag',
7321                                text => $token->{tag_name}, token => $token);
7322            } else {            } else {
7323              !!!cp ('t426');              !!!cp ('t426');
7324            }            }
# Line 6136  sub _tree_construction_main ($) { Line 7328  sub _tree_construction_main ($) {
7328          }          }
7329                    
7330          !!!next-token;          !!!next-token;
7331          redo B;          next B;
7332        } elsif ($token->{tag_name} eq 'p') {        } elsif ($token->{tag_name} eq 'p') {
7333          ## has an element in scope          ## has an element in scope
7334          my $i;          my $i;
7335          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
7336            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
7337            if ($node->[1] eq $token->{tag_name}) {            if ($node->[1] & P_EL) {
7338              !!!cp ('t410.1');              !!!cp ('t410.1');
7339              $i = $_;              $i = $_;
7340              last INSCOPE;              last INSCOPE;
7341            } elsif ({            } elsif ($node->[1] & SCOPING_EL) {
                     table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
7342              !!!cp ('t411.1');              !!!cp ('t411.1');
7343              last INSCOPE;              last INSCOPE;
7344            }            }
7345          } # INSCOPE          } # INSCOPE
7346    
7347          if (defined $i) {          if (defined $i) {
7348            if ($self->{open_elements}->[-1]->[1] ne $token->{tag_name}) {            if ($self->{open_elements}->[-1]->[0]->manakai_local_name
7349                      ne $token->{tag_name}) {
7350              !!!cp ('t412.1');              !!!cp ('t412.1');
7351              !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);              !!!parse-error (type => 'not closed',
7352                                text => $self->{open_elements}->[-1]->[0]
7353                                    ->manakai_local_name,
7354                                token => $token);
7355            } else {            } else {
7356              !!!cp ('t414.1');              !!!cp ('t414.1');
7357            }            }
# Line 6166  sub _tree_construction_main ($) { Line 7359  sub _tree_construction_main ($) {
7359            splice @{$self->{open_elements}}, $i;            splice @{$self->{open_elements}}, $i;
7360          } else {          } else {
7361            !!!cp ('t413.1');            !!!cp ('t413.1');
7362            !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            !!!parse-error (type => 'unmatched end tag',
7363                              text => $token->{tag_name}, token => $token);
7364    
7365            !!!cp ('t415.1');            !!!cp ('t415.1');
7366            ## As if <p>, then reprocess the current token            ## As if <p>, then reprocess the current token
7367            my $el;            my $el;
7368            !!!create-element ($el, 'p');            !!!create-element ($el, $HTML_NS, 'p',, $token);
7369            $insert->($el);            $insert->($el);
7370            ## NOTE: Not inserted into |$self->{open_elements}|.            ## NOTE: Not inserted into |$self->{open_elements}|.
7371          }          }
7372    
7373          !!!next-token;          !!!next-token;
7374          redo B;          next B;
7375        } elsif ({        } elsif ({
7376                  a => 1,                  a => 1,
7377                  b => 1, big => 1, em => 1, font => 1, i => 1,                  b => 1, big => 1, em => 1, font => 1, i => 1,
# Line 6185  sub _tree_construction_main ($) { Line 7379  sub _tree_construction_main ($) {
7379                  strong => 1, tt => 1, u => 1,                  strong => 1, tt => 1, u => 1,
7380                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
7381          !!!cp ('t427');          !!!cp ('t427');
7382          $formatting_end_tag->($token->{tag_name});          $formatting_end_tag->($token);
7383          redo B;          next B;
7384        } elsif ($token->{tag_name} eq 'br') {        } elsif ($token->{tag_name} eq 'br') {
7385          !!!cp ('t428');          !!!cp ('t428');
7386          !!!parse-error (type => 'unmatched end tag:br');          !!!parse-error (type => 'unmatched end tag',
7387                            text => 'br', token => $token);
7388    
7389          ## As if <br>          ## As if <br>
7390          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
7391                    
7392          my $el;          my $el;
7393          !!!create-element ($el, 'br');          !!!create-element ($el, $HTML_NS, 'br',, $token);
7394          $insert->($el);          $insert->($el);
7395                    
7396          ## Ignore the token.          ## Ignore the token.
7397          !!!next-token;          !!!next-token;
7398          redo B;          next B;
7399        } elsif ({        } elsif ({
7400                  caption => 1, col => 1, colgroup => 1, frame => 1,                  caption => 1, col => 1, colgroup => 1, frame => 1,
7401                  frameset => 1, head => 1, option => 1, optgroup => 1,                  frameset => 1, head => 1, option => 1, optgroup => 1,
# Line 6214  sub _tree_construction_main ($) { Line 7409  sub _tree_construction_main ($) {
7409                  noscript => 0, ## TODO: if scripting is enabled                  noscript => 0, ## TODO: if scripting is enabled
7410                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
7411          !!!cp ('t429');          !!!cp ('t429');
7412          !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});          !!!parse-error (type => 'unmatched end tag',
7413                            text => $token->{tag_name}, token => $token);
7414          ## Ignore the token          ## Ignore the token
7415          !!!next-token;          !!!next-token;
7416          redo B;          next B;
7417                    
7418          ## ISSUE: Issue on HTML5 new elements in spec          ## ISSUE: Issue on HTML5 new elements in spec
7419                    
# Line 6228  sub _tree_construction_main ($) { Line 7424  sub _tree_construction_main ($) {
7424    
7425          ## Step 2          ## Step 2
7426          S2: {          S2: {
7427            if ($node->[1] eq $token->{tag_name}) {            if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
7428              ## Step 1              ## Step 1
7429              ## generate implied end tags              ## generate implied end tags
7430              while ({              while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
                     dd => 1, dt => 1, li => 1, p => 1,  
                    }->{$self->{open_elements}->[-1]->[1]}) {  
7431                !!!cp ('t430');                !!!cp ('t430');
7432                ## ISSUE: Can this case be reached?                ## NOTE: |<ruby><rt></ruby>|.
7433                  ## ISSUE: <ruby><rt></rt> will also take this code path,
7434                  ## which seems wrong.
7435                pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
7436                  $node_i++;
7437              }              }
7438                    
7439              ## Step 2              ## Step 2
7440              if ($token->{tag_name} ne $self->{open_elements}->[-1]->[1]) {              if ($self->{open_elements}->[-1]->[0]->manakai_local_name
7441                        ne $token->{tag_name}) {
7442                !!!cp ('t431');                !!!cp ('t431');
7443                ## NOTE: <x><y></x>                ## NOTE: <x><y></x>
7444                !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);                !!!parse-error (type => 'not closed',
7445                                  text => $self->{open_elements}->[-1]->[0]
7446                                      ->manakai_local_name,
7447                                  token => $token);
7448              } else {              } else {
7449                !!!cp ('t432');                !!!cp ('t432');
7450              }              }
7451                            
7452              ## Step 3              ## Step 3
7453              splice @{$self->{open_elements}}, $node_i;              splice @{$self->{open_elements}}, $node_i if $node_i < 0;
7454    
7455              !!!next-token;              !!!next-token;
7456              last S2;              last S2;
7457            } else {            } else {
7458              ## Step 3              ## Step 3
7459              if (not $formatting_category->{$node->[1]} and              if (not ($node->[1] & FORMATTING_EL) and
7460                  #not $phrasing_category->{$node->[1]} and                  #not $phrasing_category->{$node->[1]} and
7461                  ($special_category->{$node->[1]} or                  ($node->[1] & SPECIAL_EL or
7462                   $scoping_category->{$node->[1]})) {                   $node->[1] & SCOPING_EL)) {
7463                !!!cp ('t433');                !!!cp ('t433');
7464                !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                !!!parse-error (type => 'unmatched end tag',
7465                                  text => $token->{tag_name}, token => $token);
7466                ## Ignore the token                ## Ignore the token
7467                !!!next-token;                !!!next-token;
7468                last S2;                last S2;
# Line 6276  sub _tree_construction_main ($) { Line 7478  sub _tree_construction_main ($) {
7478            ## Step 5;            ## Step 5;
7479            redo S2;            redo S2;
7480          } # S2          } # S2
7481          redo B;          next B;
7482        }        }
7483      }      }
7484      redo B;      next B;
7485      } continue { # B
7486        if ($self->{insertion_mode} & IN_FOREIGN_CONTENT_IM) {
7487          ## NOTE: The code below is executed in cases where it does not have
7488          ## to be, but it it is harmless even in those cases.
7489          ## has an element in scope
7490          INSCOPE: {
7491            for (reverse 0..$#{$self->{open_elements}}) {
7492              my $node = $self->{open_elements}->[$_];
7493              if ($node->[1] & FOREIGN_EL) {
7494                last INSCOPE;
7495              } elsif ($node->[1] & SCOPING_EL) {
7496                last;
7497              }
7498            }
7499            
7500            ## NOTE: No foreign element in scope.
7501            $self->{insertion_mode} &= ~ IN_FOREIGN_CONTENT_IM;
7502          } # INSCOPE
7503        }
7504    } # B    } # B
7505    
7506    ## Stop parsing # MUST    ## Stop parsing # MUST
# Line 6287  sub _tree_construction_main ($) { Line 7508  sub _tree_construction_main ($) {
7508    ## TODO: script stuffs    ## TODO: script stuffs
7509  } # _tree_construct_main  } # _tree_construct_main
7510    
7511  sub set_inner_html ($$$) {  sub set_inner_html ($$$;$) {
7512    my $class = shift;    my $class = shift;
7513    my $node = shift;    my $node = shift;
7514    my $s = \$_[0];    my $s = \$_[0];
7515    my $onerror = $_[1];    my $onerror = $_[1];
7516      my $get_wrapper = $_[2] || sub ($) { return $_[0] };
7517    
7518    ## ISSUE: Should {confident} be true?    ## ISSUE: Should {confident} be true?
7519    
# Line 6310  sub set_inner_html ($$$) { Line 7532  sub set_inner_html ($$$) {
7532      }      }
7533    
7534      ## Step 3, 4, 5 # MUST      ## Step 3, 4, 5 # MUST
7535      $class->parse_string ($$s => $node, $onerror);      $class->parse_char_string ($$s => $node, $onerror, $get_wrapper);
7536    } elsif ($nt == 1) {    } elsif ($nt == 1) {
7537      ## TODO: If non-html element      ## TODO: If non-html element
7538    
7539      ## NOTE: Most of this code is copied from |parse_string|      ## NOTE: Most of this code is copied from |parse_string|
7540    
7541    ## TODO: Support for $get_wrapper
7542    
7543      ## Step 1 # MUST      ## Step 1 # MUST
7544      my $this_doc = $node->owner_document;      my $this_doc = $node->owner_document;
7545      my $doc = $this_doc->implementation->create_document;      my $doc = $this_doc->implementation->create_document;
# Line 6325  sub set_inner_html ($$$) { Line 7549  sub set_inner_html ($$$) {
7549    
7550      ## Step 8 # MUST      ## Step 8 # MUST
7551      my $i = 0;      my $i = 0;
7552      my $line = 1;      $p->{line_prev} = $p->{line} = 1;
7553      my $column = 0;      $p->{column_prev} = $p->{column} = 0;
7554      $p->{set_next_char} = sub {      $p->{set_next_char} = sub {
7555        my $self = shift;        my $self = shift;
7556    
# Line 6335  sub set_inner_html ($$$) { Line 7559  sub set_inner_html ($$$) {
7559    
7560        $self->{next_char} = -1 and return if $i >= length $$s;        $self->{next_char} = -1 and return if $i >= length $$s;
7561        $self->{next_char} = ord substr $$s, $i++, 1;        $self->{next_char} = ord substr $$s, $i++, 1;
7562        $column++;  
7563          ($p->{line_prev}, $p->{column_prev}) = ($p->{line}, $p->{column});
7564          $p->{column}++;
7565    
7566        if ($self->{next_char} == 0x000A) { # LF        if ($self->{next_char} == 0x000A) { # LF
7567          $line++;          $p->{line}++;
7568          $column = 0;          $p->{column} = 0;
7569          !!!cp ('i1');          !!!cp ('i1');
7570        } elsif ($self->{next_char} == 0x000D) { # CR        } elsif ($self->{next_char} == 0x000D) { # CR
7571          $i++ if substr ($$s, $i, 1) eq "\x0A";          $i++ if substr ($$s, $i, 1) eq "\x0A";
7572          $self->{next_char} = 0x000A; # LF # MUST          $self->{next_char} = 0x000A; # LF # MUST
7573          $line++;          $p->{line}++;
7574          $column = 0;          $p->{column} = 0;
7575          !!!cp ('i2');          !!!cp ('i2');
7576        } elsif ($self->{next_char} > 0x10FFFF) {        } elsif ($self->{next_char} > 0x10FFFF) {
7577          $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST          $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST
# Line 6354  sub set_inner_html ($$$) { Line 7580  sub set_inner_html ($$$) {
7580          !!!cp ('i4');          !!!cp ('i4');
7581          !!!parse-error (type => 'NULL');          !!!parse-error (type => 'NULL');
7582          $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST          $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST
7583          } elsif ($self->{next_char} <= 0x0008 or
7584                   (0x000E <= $self->{next_char} and
7585                    $self->{next_char} <= 0x001F) or
7586                   (0x007F <= $self->{next_char} and
7587                    $self->{next_char} <= 0x009F) or
7588                   (0xD800 <= $self->{next_char} and
7589                    $self->{next_char} <= 0xDFFF) or
7590                   (0xFDD0 <= $self->{next_char} and
7591                    $self->{next_char} <= 0xFDDF) or
7592                   {
7593                    0xFFFE => 1, 0xFFFF => 1, 0x1FFFE => 1, 0x1FFFF => 1,
7594                    0x2FFFE => 1, 0x2FFFF => 1, 0x3FFFE => 1, 0x3FFFF => 1,
7595                    0x4FFFE => 1, 0x4FFFF => 1, 0x5FFFE => 1, 0x5FFFF => 1,
7596                    0x6FFFE => 1, 0x6FFFF => 1, 0x7FFFE => 1, 0x7FFFF => 1,
7597                    0x8FFFE => 1, 0x8FFFF => 1, 0x9FFFE => 1, 0x9FFFF => 1,
7598                    0xAFFFE => 1, 0xAFFFF => 1, 0xBFFFE => 1, 0xBFFFF => 1,
7599                    0xCFFFE => 1, 0xCFFFF => 1, 0xDFFFE => 1, 0xDFFFF => 1,
7600                    0xEFFFE => 1, 0xEFFFF => 1, 0xFFFFE => 1, 0xFFFFF => 1,
7601                    0x10FFFE => 1, 0x10FFFF => 1,
7602                   }->{$self->{next_char}}) {
7603            !!!cp ('i4.1');
7604            if ($self->{next_char} < 0x10000) {
7605              !!!parse-error (type => 'control char',
7606                              text => (sprintf 'U+%04X', $self->{next_char}));
7607            } else {
7608              !!!parse-error (type => 'control char',
7609                              text => (sprintf 'U-%08X', $self->{next_char}));
7610            }
7611        }        }
7612      };      };
7613      $p->{prev_char} = [-1, -1, -1];      $p->{prev_char} = [-1, -1, -1];
# Line 6361  sub set_inner_html ($$$) { Line 7615  sub set_inner_html ($$$) {
7615            
7616      my $ponerror = $onerror || sub {      my $ponerror = $onerror || sub {
7617        my (%opt) = @_;        my (%opt) = @_;
7618        warn "Parse error ($opt{type}) at line $opt{line} column $opt{column}\n";        my $line = $opt{line};
7619          my $column = $opt{column};
7620          if (defined $opt{token} and defined $opt{token}->{line}) {
7621            $line = $opt{token}->{line};
7622            $column = $opt{token}->{column};
7623          }
7624          warn "Parse error ($opt{type}) at line $line column $column\n";
7625      };      };
7626      $p->{parse_error} = sub {      $p->{parse_error} = sub {
7627        $ponerror->(@_, line => $line, column => $column);        $ponerror->(line => $p->{line}, column => $p->{column}, @_);
7628      };      };
7629            
7630      $p->_initialize_tokenizer;      $p->_initialize_tokenizer;
# Line 6388  sub set_inner_html ($$$) { Line 7648  sub set_inner_html ($$$) {
7648          unless defined $p->{content_model};          unless defined $p->{content_model};
7649          ## ISSUE: What is "the name of the element"? local name?          ## ISSUE: What is "the name of the element"? local name?
7650    
7651      $p->{inner_html_node} = [$node, $node_ln];      $p->{inner_html_node} = [$node, $el_category->{$node_ln}];
7652          ## TODO: Foreign element OK?
7653    
7654      ## Step 3      ## Step 3
7655      my $root = $doc->create_element_ns      my $root = $doc->create_element_ns
# Line 6398  sub set_inner_html ($$$) { Line 7659  sub set_inner_html ($$$) {
7659      $doc->append_child ($root);      $doc->append_child ($root);
7660    
7661      ## Step 5 # MUST      ## Step 5 # MUST
7662      push @{$p->{open_elements}}, [$root, 'html'];      push @{$p->{open_elements}}, [$root, $el_category->{html}];
7663    
7664      undef $p->{head_element};      undef $p->{head_element};
7665    
# Line 6444  sub set_inner_html ($$$) { Line 7705  sub set_inner_html ($$$) {
7705      ## ISSUE: mutation events?      ## ISSUE: mutation events?
7706    
7707      $p->_terminate_tree_constructor;      $p->_terminate_tree_constructor;
7708    
7709        delete $p->{parse_error}; # delete loop
7710    } else {    } else {
7711      die "$0: |set_inner_html| is not defined for node of type $nt";      die "$0: |set_inner_html| is not defined for node of type $nt";
7712    }    }

Legend:
Removed from v.1.93  
changed lines
  Added in v.1.164

admin@suikawiki.org
ViewVC Help
Powered by ViewVC 1.1.24