/[suikacvs]/markup/html/whatpm/Whatpm/HTML.pm.src
Suika

Diff of /markup/html/whatpm/Whatpm/HTML.pm.src

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 1.99 by wakaba, Sun Mar 9 03:46:43 2008 UTC revision 1.240 by wakaba, Sun Sep 6 10:21:14 2009 UTC
# Line 3  use strict; Line 3  use strict;
3  our $VERSION=do{my @r=(q$Revision$=~/\d+/g);sprintf "%d."."%02d" x $#r,@r};  our $VERSION=do{my @r=(q$Revision$=~/\d+/g);sprintf "%d."."%02d" x $#r,@r};
4  use Error qw(:try);  use Error qw(:try);
5    
6    use Whatpm::HTML::Tokenizer;
7    
8    ## NOTE: This module don't check all HTML5 parse errors; character
9    ## encoding related parse errors are expected to be handled by relevant
10    ## modules.
11    ## Parse errors for control characters that are not allowed in HTML5
12    ## documents, for surrogate code points, and for noncharacter code
13    ## points, as well as U+FFFD substitions for characters whose code points
14    ## is higher than U+10FFFF may be detected by combining the parser with
15    ## the checker implemented by Whatpm::Charset::UnicodeChecker (for its
16    ## usage example, see |t/HTML-tree.t| in the Whatpm package or the
17    ## WebHACC::Language::HTML module in the WebHACC package).
18    
19  ## ISSUE:  ## ISSUE:
20  ## var doc = implementation.createDocument (null, null, null);  ## var doc = implementation.createDocument (null, null, null);
21  ## doc.write ('');  ## doc.write ('');
22  ## alert (doc.compatMode);  ## alert (doc.compatMode);
23    
24  ## TODO: Control charcters and noncharacters are not allowed (HTML5 revision 1263)  require IO::Handle;
25  ## TODO: 1252 parse error (revision 1264)  
26  ## TODO: 8859-11 = 874 (revision 1271)  ## Namespace URLs
27    
28  my $permitted_slash_tag_name = {  my $HTML_NS = q<http://www.w3.org/1999/xhtml>;
29    base => 1,  my $MML_NS = q<http://www.w3.org/1998/Math/MathML>;
30    link => 1,  my $SVG_NS = q<http://www.w3.org/2000/svg>;
31    meta => 1,  my $XLINK_NS = q<http://www.w3.org/1999/xlink>;
32    hr => 1,  my $XML_NS = q<http://www.w3.org/XML/1998/namespace>;
33    br => 1,  my $XMLNS_NS = q<http://www.w3.org/2000/xmlns/>;
34    img => 1,  
35    embed => 1,  ## Element categories
36    param => 1,  
37    area => 1,  ## Bits 12-15
38    col => 1,  sub SPECIAL_EL () { 0b1_000000000000000 }
39    input => 1,  sub SCOPING_EL () { 0b1_00000000000000 }
40    sub FORMATTING_EL () { 0b1_0000000000000 }
41    sub PHRASING_EL () { 0b1_000000000000 }
42    
43    ## Bits 10-11
44    #sub FOREIGN_EL () { 0b1_00000000000 } # see Whatpm::HTML::Tokenizer
45    sub FOREIGN_FLOW_CONTENT_EL () { 0b1_0000000000 }
46    
47    ## Bits 6-9
48    sub TABLE_SCOPING_EL () { 0b1_000000000 }
49    sub TABLE_ROWS_SCOPING_EL () { 0b1_00000000 }
50    sub TABLE_ROW_SCOPING_EL () { 0b1_0000000 }
51    sub TABLE_ROWS_EL () { 0b1_000000 }
52    
53    ## Bit 5
54    sub ADDRESS_DIV_P_EL () { 0b1_00000 }
55    
56    ## NOTE: Used in </body> and EOF algorithms.
57    ## Bit 4
58    sub ALL_END_TAG_OPTIONAL_EL () { 0b1_0000 }
59    
60    ## NOTE: Used in "generate implied end tags" algorithm.
61    ## NOTE: There is a code where a modified version of
62    ## END_TAG_OPTIONAL_EL is used in "generate implied end tags"
63    ## implementation (search for the algorithm name).
64    ## Bit 3
65    sub END_TAG_OPTIONAL_EL () { 0b1_000 }
66    
67    ## Bits 0-2
68    
69    sub MISC_SPECIAL_EL () { SPECIAL_EL | 0b000 }
70    sub FORM_EL () { SPECIAL_EL | 0b001 }
71    sub FRAMESET_EL () { SPECIAL_EL | 0b010 }
72    sub HEADING_EL () { SPECIAL_EL | 0b011 }
73    sub SELECT_EL () { SPECIAL_EL | 0b100 }
74    sub SCRIPT_EL () { SPECIAL_EL | 0b101 }
75    
76    sub ADDRESS_DIV_EL () { SPECIAL_EL | ADDRESS_DIV_P_EL | 0b001 }
77    sub BODY_EL () { SPECIAL_EL | ALL_END_TAG_OPTIONAL_EL | 0b001 }
78    
79    sub DTDD_EL () {
80      SPECIAL_EL |
81      END_TAG_OPTIONAL_EL |
82      ALL_END_TAG_OPTIONAL_EL |
83      0b010
84    }
85    sub LI_EL () {
86      SPECIAL_EL |
87      END_TAG_OPTIONAL_EL |
88      ALL_END_TAG_OPTIONAL_EL |
89      0b100
90    }
91    sub P_EL () {
92      SPECIAL_EL |
93      ADDRESS_DIV_P_EL |
94      END_TAG_OPTIONAL_EL |
95      ALL_END_TAG_OPTIONAL_EL |
96      0b001
97    }
98    
99    sub TABLE_ROW_EL () {
100      SPECIAL_EL |
101      TABLE_ROWS_EL |
102      TABLE_ROW_SCOPING_EL |
103      ALL_END_TAG_OPTIONAL_EL |
104      0b001
105    }
106    sub TABLE_ROW_GROUP_EL () {
107      SPECIAL_EL |
108      TABLE_ROWS_EL |
109      TABLE_ROWS_SCOPING_EL |
110      ALL_END_TAG_OPTIONAL_EL |
111      0b001
112    }
113    
114    sub MISC_SCOPING_EL () { SCOPING_EL | 0b000 }
115    sub BUTTON_EL () { SCOPING_EL | 0b001 }
116    sub CAPTION_EL () { SCOPING_EL | 0b010 }
117    sub HTML_EL () {
118      SCOPING_EL |
119      TABLE_SCOPING_EL |
120      TABLE_ROWS_SCOPING_EL |
121      TABLE_ROW_SCOPING_EL |
122      ALL_END_TAG_OPTIONAL_EL |
123      0b001
124    }
125    sub TABLE_EL () {
126      SCOPING_EL |
127      TABLE_ROWS_EL |
128      TABLE_SCOPING_EL |
129      0b001
130    }
131    sub TABLE_CELL_EL () {
132      SCOPING_EL |
133      TABLE_ROW_SCOPING_EL |
134      ALL_END_TAG_OPTIONAL_EL |
135      0b001
136    }
137    
138    sub MISC_FORMATTING_EL () { FORMATTING_EL | 0b000 }
139    sub A_EL () { FORMATTING_EL | 0b001 }
140    sub NOBR_EL () { FORMATTING_EL | 0b010 }
141    
142    sub RUBY_EL () { PHRASING_EL | 0b001 }
143    
144    ## ISSUE: ALL_END_TAG_OPTIONAL_EL?
145    sub OPTGROUP_EL () { PHRASING_EL | END_TAG_OPTIONAL_EL | 0b001 }
146    sub OPTION_EL () { PHRASING_EL | END_TAG_OPTIONAL_EL | 0b010 }
147    sub RUBY_COMPONENT_EL () { PHRASING_EL | END_TAG_OPTIONAL_EL | 0b100 }
148    
149    sub MML_AXML_EL () { PHRASING_EL | FOREIGN_EL | 0b001 }
150    
151    my $el_category = {
152      a => A_EL,
153      address => ADDRESS_DIV_EL,
154      applet => MISC_SCOPING_EL,
155      area => MISC_SPECIAL_EL,
156      article => MISC_SPECIAL_EL,
157      aside => MISC_SPECIAL_EL,
158      b => FORMATTING_EL,
159      base => MISC_SPECIAL_EL,
160      basefont => MISC_SPECIAL_EL,
161      bgsound => MISC_SPECIAL_EL,
162      big => FORMATTING_EL,
163      blockquote => MISC_SPECIAL_EL,
164      body => BODY_EL,
165      br => MISC_SPECIAL_EL,
166      button => BUTTON_EL,
167      caption => CAPTION_EL,
168      center => MISC_SPECIAL_EL,
169      col => MISC_SPECIAL_EL,
170      colgroup => MISC_SPECIAL_EL,
171      command => MISC_SPECIAL_EL,
172      datagrid => MISC_SPECIAL_EL,
173      dd => DTDD_EL,
174      details => MISC_SPECIAL_EL,
175      dialog => MISC_SPECIAL_EL,
176      dir => MISC_SPECIAL_EL,
177      div => ADDRESS_DIV_EL,
178      dl => MISC_SPECIAL_EL,
179      dt => DTDD_EL,
180      em => FORMATTING_EL,
181      embed => MISC_SPECIAL_EL,
182      fieldset => MISC_SPECIAL_EL,
183      figure => MISC_SPECIAL_EL,
184      font => FORMATTING_EL,
185      footer => MISC_SPECIAL_EL,
186      form => FORM_EL,
187      frame => MISC_SPECIAL_EL,
188      frameset => FRAMESET_EL,
189      h1 => HEADING_EL,
190      h2 => HEADING_EL,
191      h3 => HEADING_EL,
192      h4 => HEADING_EL,
193      h5 => HEADING_EL,
194      h6 => HEADING_EL,
195      head => MISC_SPECIAL_EL,
196      header => MISC_SPECIAL_EL,
197      hgroup => MISC_SPECIAL_EL,
198      hr => MISC_SPECIAL_EL,
199      html => HTML_EL,
200      i => FORMATTING_EL,
201      iframe => MISC_SPECIAL_EL,
202      img => MISC_SPECIAL_EL,
203      #image => MISC_SPECIAL_EL, ## NOTE: Commented out in the spec.
204      input => MISC_SPECIAL_EL,
205      isindex => MISC_SPECIAL_EL,
206      ## XXX keygen? (Whether a void element is in Special or not does not
207      ## affect to the processing, however.)
208      li => LI_EL,
209      link => MISC_SPECIAL_EL,
210      listing => MISC_SPECIAL_EL,
211      marquee => MISC_SCOPING_EL,
212      menu => MISC_SPECIAL_EL,
213      meta => MISC_SPECIAL_EL,
214      nav => MISC_SPECIAL_EL,
215      nobr => NOBR_EL,
216      noembed => MISC_SPECIAL_EL,
217      noframes => MISC_SPECIAL_EL,
218      noscript => MISC_SPECIAL_EL,
219      object => MISC_SCOPING_EL,
220      ol => MISC_SPECIAL_EL,
221      optgroup => OPTGROUP_EL,
222      option => OPTION_EL,
223      p => P_EL,
224      param => MISC_SPECIAL_EL,
225      plaintext => MISC_SPECIAL_EL,
226      pre => MISC_SPECIAL_EL,
227      rp => RUBY_COMPONENT_EL,
228      rt => RUBY_COMPONENT_EL,
229      ruby => RUBY_EL,
230      s => FORMATTING_EL,
231      script => MISC_SPECIAL_EL,
232      select => SELECT_EL,
233      section => MISC_SPECIAL_EL,
234      small => FORMATTING_EL,
235      spacer => MISC_SPECIAL_EL,
236      strike => FORMATTING_EL,
237      strong => FORMATTING_EL,
238      style => MISC_SPECIAL_EL,
239      table => TABLE_EL,
240      tbody => TABLE_ROW_GROUP_EL,
241      td => TABLE_CELL_EL,
242      textarea => MISC_SPECIAL_EL,
243      tfoot => TABLE_ROW_GROUP_EL,
244      th => TABLE_CELL_EL,
245      thead => TABLE_ROW_GROUP_EL,
246      title => MISC_SPECIAL_EL,
247      tr => TABLE_ROW_EL,
248      tt => FORMATTING_EL,
249      u => FORMATTING_EL,
250      ul => MISC_SPECIAL_EL,
251      wbr => MISC_SPECIAL_EL,
252      xmp => MISC_SPECIAL_EL,
253  };  };
254    
255  my $c1_entity_char = {  my $el_category_f = {
256    0x80 => 0x20AC,    $MML_NS => {
257    0x81 => 0xFFFD,      'annotation-xml' => MML_AXML_EL,
258    0x82 => 0x201A,      mi => FOREIGN_EL | FOREIGN_FLOW_CONTENT_EL,
259    0x83 => 0x0192,      mo => FOREIGN_EL | FOREIGN_FLOW_CONTENT_EL,
260    0x84 => 0x201E,      mn => FOREIGN_EL | FOREIGN_FLOW_CONTENT_EL,
261    0x85 => 0x2026,      ms => FOREIGN_EL | FOREIGN_FLOW_CONTENT_EL,
262    0x86 => 0x2020,      mtext => FOREIGN_EL | FOREIGN_FLOW_CONTENT_EL,
263    0x87 => 0x2021,    },
264    0x88 => 0x02C6,    $SVG_NS => {
265    0x89 => 0x2030,      foreignObject => SCOPING_EL | FOREIGN_EL | FOREIGN_FLOW_CONTENT_EL,
266    0x8A => 0x0160,      desc => FOREIGN_EL | FOREIGN_FLOW_CONTENT_EL,
267    0x8B => 0x2039,      title => FOREIGN_EL | FOREIGN_FLOW_CONTENT_EL,
268    0x8C => 0x0152,    },
269    0x8D => 0xFFFD,    ## NOTE: In addition, FOREIGN_EL is set to non-HTML elements.
   0x8E => 0x017D,  
   0x8F => 0xFFFD,  
   0x90 => 0xFFFD,  
   0x91 => 0x2018,  
   0x92 => 0x2019,  
   0x93 => 0x201C,  
   0x94 => 0x201D,  
   0x95 => 0x2022,  
   0x96 => 0x2013,  
   0x97 => 0x2014,  
   0x98 => 0x02DC,  
   0x99 => 0x2122,  
   0x9A => 0x0161,  
   0x9B => 0x203A,  
   0x9C => 0x0153,  
   0x9D => 0xFFFD,  
   0x9E => 0x017E,  
   0x9F => 0x0178,  
 }; # $c1_entity_char  
   
 my $special_category = {  
   address => 1, area => 1, base => 1, basefont => 1, bgsound => 1,  
   blockquote => 1, body => 1, br => 1, center => 1, col => 1, colgroup => 1,  
   dd => 1, dir => 1, div => 1, dl => 1, dt => 1, embed => 1, fieldset => 1,  
   form => 1, frame => 1, frameset => 1, h1 => 1, h2 => 1, h3 => 1,  
   h4 => 1, h5 => 1, h6 => 1, head => 1, hr => 1, iframe => 1, image => 1,  
   img => 1, input => 1, isindex => 1, li => 1, link => 1, listing => 1,  
   menu => 1, meta => 1, noembed => 1, noframes => 1, noscript => 1,  
   ol => 1, optgroup => 1, option => 1, p => 1, param => 1, plaintext => 1,  
   pre => 1, script => 1, select => 1, spacer => 1, style => 1, tbody => 1,  
   textarea => 1, tfoot => 1, thead => 1, title => 1, tr => 1, ul => 1, wbr => 1,  
270  };  };
271  my $scoping_category = {  
272    button => 1, caption => 1, html => 1, marquee => 1, object => 1,  my $svg_attr_name = {
273    table => 1, td => 1, th => 1,    attributename => 'attributeName',
274      attributetype => 'attributeType',
275      basefrequency => 'baseFrequency',
276      baseprofile => 'baseProfile',
277      calcmode => 'calcMode',
278      clippathunits => 'clipPathUnits',
279      contentscripttype => 'contentScriptType',
280      contentstyletype => 'contentStyleType',
281      diffuseconstant => 'diffuseConstant',
282      edgemode => 'edgeMode',
283      externalresourcesrequired => 'externalResourcesRequired',
284      filterres => 'filterRes',
285      filterunits => 'filterUnits',
286      glyphref => 'glyphRef',
287      gradienttransform => 'gradientTransform',
288      gradientunits => 'gradientUnits',
289      kernelmatrix => 'kernelMatrix',
290      kernelunitlength => 'kernelUnitLength',
291      keypoints => 'keyPoints',
292      keysplines => 'keySplines',
293      keytimes => 'keyTimes',
294      lengthadjust => 'lengthAdjust',
295      limitingconeangle => 'limitingConeAngle',
296      markerheight => 'markerHeight',
297      markerunits => 'markerUnits',
298      markerwidth => 'markerWidth',
299      maskcontentunits => 'maskContentUnits',
300      maskunits => 'maskUnits',
301      numoctaves => 'numOctaves',
302      pathlength => 'pathLength',
303      patterncontentunits => 'patternContentUnits',
304      patterntransform => 'patternTransform',
305      patternunits => 'patternUnits',
306      pointsatx => 'pointsAtX',
307      pointsaty => 'pointsAtY',
308      pointsatz => 'pointsAtZ',
309      preservealpha => 'preserveAlpha',
310      preserveaspectratio => 'preserveAspectRatio',
311      primitiveunits => 'primitiveUnits',
312      refx => 'refX',
313      refy => 'refY',
314      repeatcount => 'repeatCount',
315      repeatdur => 'repeatDur',
316      requiredextensions => 'requiredExtensions',
317      requiredfeatures => 'requiredFeatures',
318      specularconstant => 'specularConstant',
319      specularexponent => 'specularExponent',
320      spreadmethod => 'spreadMethod',
321      startoffset => 'startOffset',
322      stddeviation => 'stdDeviation',
323      stitchtiles => 'stitchTiles',
324      surfacescale => 'surfaceScale',
325      systemlanguage => 'systemLanguage',
326      tablevalues => 'tableValues',
327      targetx => 'targetX',
328      targety => 'targetY',
329      textlength => 'textLength',
330      viewbox => 'viewBox',
331      viewtarget => 'viewTarget',
332      xchannelselector => 'xChannelSelector',
333      ychannelselector => 'yChannelSelector',
334      zoomandpan => 'zoomAndPan',
335  };  };
336  my $formatting_category = {  
337    a => 1, b => 1, big => 1, em => 1, font => 1, i => 1, nobr => 1,  my $foreign_attr_xname = {
338    s => 1, small => 1, strile => 1, strong => 1, tt => 1, u => 1,    'xlink:actuate' => [$XLINK_NS, ['xlink', 'actuate']],
339      'xlink:arcrole' => [$XLINK_NS, ['xlink', 'arcrole']],
340      'xlink:href' => [$XLINK_NS, ['xlink', 'href']],
341      'xlink:role' => [$XLINK_NS, ['xlink', 'role']],
342      'xlink:show' => [$XLINK_NS, ['xlink', 'show']],
343      'xlink:title' => [$XLINK_NS, ['xlink', 'title']],
344      'xlink:type' => [$XLINK_NS, ['xlink', 'type']],
345      'xml:base' => [$XML_NS, ['xml', 'base']],
346      'xml:lang' => [$XML_NS, ['xml', 'lang']],
347      'xml:space' => [$XML_NS, ['xml', 'space']],
348      'xmlns' => [$XMLNS_NS, [undef, 'xmlns']],
349      'xmlns:xlink' => [$XMLNS_NS, ['xmlns', 'xlink']],
350  };  };
351  # $phrasing_category: all other elements  
352    ## ISSUE: xmlns:xlink="non-xlink-ns" is not an error.
353    
354    ## TODO: Invoke the reset algorithm when a resettable element is
355    ## created (cf. HTML5 revision 2259).
356    
357  sub parse_byte_string ($$$$;$) {  sub parse_byte_string ($$$$;$) {
358      my $self = shift;
359      my $charset_name = shift;
360      open my $input, '<', ref $_[0] ? $_[0] : \($_[0]);
361      return $self->parse_byte_stream ($charset_name, $input, @_[1..$#_]);
362    } # parse_byte_string
363    
364    sub parse_byte_stream ($$$$;$$) {
365      # my ($self, $charset_name, $byte_stream, $doc, $onerror, $get_wrapper) = @_;
366    my $self = ref $_[0] ? shift : shift->new;    my $self = ref $_[0] ? shift : shift->new;
367    my $charset = shift;    my $charset_name = shift;
368    my $bytes_s = ref $_[0] ? $_[0] : \($_[0]);    my $byte_stream = $_[0];
   my $s;  
     
   if (defined $charset) {  
     require Encode; ## TODO: decode(utf8) don't delete BOM  
     $s = \ (Encode::decode ($charset, $$bytes_s));  
     $self->{input_encoding} = lc $charset; ## TODO: normalize name  
     $self->{confident} = 1;  
   } else {  
     ## TODO: Implement HTML5 detection algorithm  
     require Whatpm::Charset::UniversalCharDet;  
     $charset = Whatpm::Charset::UniversalCharDet->detect_byte_string  
         (substr ($$bytes_s, 0, 1024));  
     $charset ||= 'windows-1252';  
     $s = \ (Encode::decode ($charset, $$bytes_s));  
     $self->{input_encoding} = $charset;  
     $self->{confident} = 0;  
   }  
369    
370    $self->{change_encoding} = sub {    my $onerror = $_[2] || sub {
371      my $self = shift;      my (%opt) = @_;
372      my $charset = lc shift;      warn "Parse error ($opt{type})\n";
373      ## TODO: if $charset is supported    };
374      ## TODO: normalize charset name    $self->{parse_error} = $onerror; # updated later by parse_char_string
375    
376      ## "Change the encoding" algorithm:    my $get_wrapper = $_[3] || sub ($) {
377        return $_[0]; # $_[0] = byte stream handle, returned = arg to char handle
378      ## Step 1        };
379      if ($charset eq 'utf-16') { ## ISSUE: UTF-16BE -> UTF-8? UTF-16LE -> UTF-8?  
380        $charset = 'utf-8';    ## HTML5 encoding sniffing algorithm
381      require Message::Charset::Info;
382      my $charset;
383      my $buffer;
384      my ($char_stream, $e_status);
385    
386      SNIFFING: {
387        ## NOTE: By setting |allow_fallback| option true when the
388        ## |get_decode_handle| method is invoked, we ignore what the HTML5
389        ## spec requires, i.e. unsupported encoding should be ignored.
390          ## TODO: We should not do this unless the parser is invoked
391          ## in the conformance checking mode, in which this behavior
392          ## would be useful.
393    
394        ## Step 1
395        if (defined $charset_name) {
396          $charset = Message::Charset::Info->get_by_html_name ($charset_name);
397              ## TODO: Is this ok?  Transfer protocol's parameter should be
398              ## interpreted in its semantics?
399    
400          ($char_stream, $e_status) = $charset->get_decode_handle
401              ($byte_stream, allow_error_reporting => 1,
402               allow_fallback => 1);
403          if ($char_stream) {
404            $self->{confident} = 1;
405            last SNIFFING;
406          } else {
407            !!!parse-error (type => 'charset:not supported',
408                            layer => 'encode',
409                            line => 1, column => 1,
410                            value => $charset_name,
411                            level => $self->{level}->{uncertain});
412          }
413      }      }
414    
415      ## Step 2      ## Step 2
416      if (defined $self->{input_encoding} and      my $byte_buffer = '';
417          $self->{input_encoding} eq $charset) {      for (1..1024) {
418          my $char = $byte_stream->getc;
419          last unless defined $char;
420          $byte_buffer .= $char;
421        } ## TODO: timeout
422    
423        ## Step 3
424        if ($byte_buffer =~ /^\xFE\xFF/) {
425          $charset = Message::Charset::Info->get_by_html_name ('utf-16be');
426          ($char_stream, $e_status) = $charset->get_decode_handle
427              ($byte_stream, allow_error_reporting => 1,
428               allow_fallback => 1, byte_buffer => \$byte_buffer);
429        $self->{confident} = 1;        $self->{confident} = 1;
430        return;        last SNIFFING;
431        } elsif ($byte_buffer =~ /^\xFF\xFE/) {
432          $charset = Message::Charset::Info->get_by_html_name ('utf-16le');
433          ($char_stream, $e_status) = $charset->get_decode_handle
434              ($byte_stream, allow_error_reporting => 1,
435               allow_fallback => 1, byte_buffer => \$byte_buffer);
436          $self->{confident} = 1;
437          last SNIFFING;
438        } elsif ($byte_buffer =~ /^\xEF\xBB\xBF/) {
439          $charset = Message::Charset::Info->get_by_html_name ('utf-8');
440          ($char_stream, $e_status) = $charset->get_decode_handle
441              ($byte_stream, allow_error_reporting => 1,
442               allow_fallback => 1, byte_buffer => \$byte_buffer);
443          $self->{confident} = 1;
444          last SNIFFING;
445      }      }
446    
447      !!!parse-error (type => 'charset label detected:'.$self->{input_encoding}.      ## Step 4
448          ':'.$charset, level => 'w');      ## TODO: <meta charset>
449    
450      ## Step 3      ## Step 5
451      # if (can) {      ## TODO: from history
       ## change the encoding on the fly.  
       #$self->{confident} = 1;  
       #return;  
     # }  
452    
453      ## Step 4      ## Step 6
454      throw Whatpm::HTML::RestartParser (charset => $charset);      require Whatpm::Charset::UniversalCharDet;
455        $charset_name = Whatpm::Charset::UniversalCharDet->detect_byte_string
456            ($byte_buffer);
457        if (defined $charset_name) {
458          $charset = Message::Charset::Info->get_by_html_name ($charset_name);
459    
460          require Whatpm::Charset::DecodeHandle;
461          $buffer = Whatpm::Charset::DecodeHandle::ByteBuffer->new
462              ($byte_stream);
463          ($char_stream, $e_status) = $charset->get_decode_handle
464              ($buffer, allow_error_reporting => 1,
465               allow_fallback => 1, byte_buffer => \$byte_buffer);
466          if ($char_stream) {
467            $buffer->{buffer} = $byte_buffer;
468            !!!parse-error (type => 'sniffing:chardet',
469                            text => $charset_name,
470                            level => $self->{level}->{info},
471                            layer => 'encode',
472                            line => 1, column => 1);
473            $self->{confident} = 0;
474            last SNIFFING;
475          }
476        }
477    
478        ## Step 7: default
479        ## TODO: Make this configurable.
480        $charset = Message::Charset::Info->get_by_html_name ('windows-1252');
481            ## NOTE: We choose |windows-1252| here, since |utf-8| should be
482            ## detectable in the step 6.
483        require Whatpm::Charset::DecodeHandle;
484        $buffer = Whatpm::Charset::DecodeHandle::ByteBuffer->new
485            ($byte_stream);
486        ($char_stream, $e_status)
487            = $charset->get_decode_handle ($buffer,
488                                           allow_error_reporting => 1,
489                                           allow_fallback => 1,
490                                           byte_buffer => \$byte_buffer);
491        $buffer->{buffer} = $byte_buffer;
492        !!!parse-error (type => 'sniffing:default',
493                        text => 'windows-1252',
494                        level => $self->{level}->{info},
495                        line => 1, column => 1,
496                        layer => 'encode');
497        $self->{confident} = 0;
498      } # SNIFFING
499    
500      if ($e_status & Message::Charset::Info::FALLBACK_ENCODING_IMPL ()) {
501        $self->{input_encoding} = $charset->get_iana_name; ## TODO: Should we set actual charset decoder's encoding name?
502        !!!parse-error (type => 'chardecode:fallback',
503                        #text => $self->{input_encoding},
504                        level => $self->{level}->{uncertain},
505                        line => 1, column => 1,
506                        layer => 'encode');
507      } elsif (not ($e_status &
508                    Message::Charset::Info::ERROR_REPORTING_ENCODING_IMPL ())) {
509        $self->{input_encoding} = $charset->get_iana_name;
510        !!!parse-error (type => 'chardecode:no error',
511                        text => $self->{input_encoding},
512                        level => $self->{level}->{uncertain},
513                        line => 1, column => 1,
514                        layer => 'encode');
515      } else {
516        $self->{input_encoding} = $charset->get_iana_name;
517      }
518    
519      $self->{change_encoding} = sub {
520        my $self = shift;
521        $charset_name = shift;
522        my $token = shift;
523    
524        $charset = Message::Charset::Info->get_by_html_name ($charset_name);
525        ($char_stream, $e_status) = $charset->get_decode_handle
526            ($byte_stream, allow_error_reporting => 1, allow_fallback => 1,
527             byte_buffer => \ $buffer->{buffer});
528        
529        if ($char_stream) { # if supported
530          ## "Change the encoding" algorithm:
531          
532          ## Step 1
533          if (defined $self->{input_encoding} and
534              $self->{input_encoding} eq $charset_name) {
535            !!!parse-error (type => 'charset label:matching',
536                            text => $charset_name,
537                            level => $self->{level}->{info});
538            $self->{confident} = 1;
539            return;
540          }
541    
542          ## Step 2 (HTML5 revision 3205)
543          if (defined $self->{input_encoding} and
544              Message::Charset::Info->get_by_html_name ($self->{input_encoding})
545              ->{category} & Message::Charset::Info::CHARSET_CATEGORY_UTF16 ()) {
546            $self->{confident} = 1;
547            return;
548          }
549    
550          ## Step 3
551          if ($charset->{category} &
552              Message::Charset::Info::CHARSET_CATEGORY_UTF16 ()) {
553            $charset = Message::Charset::Info->get_by_html_name ('utf-8');
554            ($char_stream, $e_status) = $charset->get_decode_handle
555                ($byte_stream,
556                 byte_buffer => \ $buffer->{buffer});
557          }
558          $charset_name = $charset->get_iana_name;
559    
560          !!!parse-error (type => 'charset label detected',
561                          text => $self->{input_encoding},
562                          value => $charset_name,
563                          level => $self->{level}->{warn},
564                          token => $token);
565          
566          ## Step 4
567          # if (can) {
568            ## change the encoding on the fly.
569            #$self->{confident} = 1;
570            #return;
571          # }
572          
573          ## Step 5
574          throw Whatpm::HTML::RestartParser ();
575        }
576    }; # $self->{change_encoding}    }; # $self->{change_encoding}
577    
578    my @args = @_; shift @args; # $s    my $char_onerror = sub {
579        my (undef, $type, %opt) = @_;
580        !!!parse-error (layer => 'encode',
581                        line => $self->{line}, column => $self->{column} + 1,
582                        %opt, type => $type);
583        if ($opt{octets}) {
584          ${$opt{octets}} = "\x{FFFD}"; # relacement character
585        }
586      };
587    
588      my $wrapped_char_stream = $get_wrapper->($char_stream);
589      $wrapped_char_stream->onerror ($char_onerror);
590    
591      my @args = ($_[1], $_[2]); # $doc, $onerror - $get_wrapper = undef;
592    my $return;    my $return;
593    try {    try {
594      $return = $self->parse_char_string ($s, @args);        $return = $self->parse_char_stream ($wrapped_char_stream, @args);  
595    } catch Whatpm::HTML::RestartParser with {    } catch Whatpm::HTML::RestartParser with {
596      my $charset = shift->{charset};      ## NOTE: Invoked after {change_encoding}.
597      $s = \ (Encode::decode ($charset, $$bytes_s));      
598      $self->{input_encoding} = $charset; ## TODO: normalize      if ($e_status & Message::Charset::Info::FALLBACK_ENCODING_IMPL ()) {
599          $self->{input_encoding} = $charset->get_iana_name; ## TODO: Should we set actual charset decoder's encoding name?
600          !!!parse-error (type => 'chardecode:fallback',
601                          level => $self->{level}->{uncertain},
602                          #text => $self->{input_encoding},
603                          line => 1, column => 1,
604                          layer => 'encode');
605        } elsif (not ($e_status &
606                      Message::Charset::Info::ERROR_REPORTING_ENCODING_IMPL ())) {
607          $self->{input_encoding} = $charset->get_iana_name;
608          !!!parse-error (type => 'chardecode:no error',
609                          text => $self->{input_encoding},
610                          level => $self->{level}->{uncertain},
611                          line => 1, column => 1,
612                          layer => 'encode');
613        } else {
614          $self->{input_encoding} = $charset->get_iana_name;
615        }
616      $self->{confident} = 1;      $self->{confident} = 1;
617      $return = $self->parse_char_string ($s, @args);  
618        $wrapped_char_stream = $get_wrapper->($char_stream);
619        $wrapped_char_stream->onerror ($char_onerror);
620    
621        $return = $self->parse_char_stream ($wrapped_char_stream, @args);
622    };    };
623    return $return;    return $return;
624  } # parse_byte_string  } # parse_byte_stream
625    
626  ## NOTE: HTML5 spec says that the encoding layer MUST NOT strip BOM  ## NOTE: HTML5 spec says that the encoding layer MUST NOT strip BOM
627  ## and the HTML layer MUST ignore it.  However, we does strip BOM in  ## and the HTML layer MUST ignore it.  However, we does strip BOM in
# Line 162  sub parse_byte_string ($$$$;$) { Line 632  sub parse_byte_string ($$$$;$) {
632  ## such as |parse_byte_string| in this module, must ensure that it does  ## such as |parse_byte_string| in this module, must ensure that it does
633  ## strip the BOM and never strip any ZWNBSP.  ## strip the BOM and never strip any ZWNBSP.
634    
635  *parse_char_string = \&parse_string;  sub parse_char_string ($$$;$$) {
636      #my ($self, $s, $doc, $onerror, $get_wrapper) = @_;
637      my $self = shift;
638      my $s = ref $_[0] ? $_[0] : \($_[0]);
639      require Whatpm::Charset::DecodeHandle;
640      my $input = Whatpm::Charset::DecodeHandle::CharString->new ($s);
641      return $self->parse_char_stream ($input, @_[1..$#_]);
642    } # parse_char_string
643    *parse_string = \&parse_char_string; ## NOTE: Alias for backward compatibility.
644    
645  sub parse_string ($$$;$) {  sub parse_char_stream ($$$;$$) {
646    my $self = ref $_[0] ? shift : shift->new;    my $self = ref $_[0] ? shift : shift->new;
647    my $s = ref $_[0] ? $_[0] : \($_[0]);    my $input = $_[0];
648    $self->{document} = $_[1];    $self->{document} = $_[1];
649    @{$self->{document}->child_nodes} = ();    @{$self->{document}->child_nodes} = ();
650    
651    ## NOTE: |set_inner_html| copies most of this method's code    ## NOTE: |set_inner_html| copies most of this method's code
652    
653      ## Confidence: irrelevant.
654    $self->{confident} = 1 unless exists $self->{confident};    $self->{confident} = 1 unless exists $self->{confident};
655    
656    $self->{document}->input_encoding ($self->{input_encoding})    $self->{document}->input_encoding ($self->{input_encoding})
657        if defined $self->{input_encoding};        if defined $self->{input_encoding};
658    ## TODO: |{input_encoding}| is needless?
659    
660    my $i = 0;    $self->{line_prev} = $self->{line} = 1;
661    my $line = 1;    $self->{column_prev} = -1;
662    my $column = 0;    $self->{column} = 0;
663    $self->{set_next_char} = sub {    $self->{set_nc} = sub {
664      my $self = shift;      my $self = shift;
665    
666      pop @{$self->{prev_char}};      my $char = '';
667      unshift @{$self->{prev_char}}, $self->{next_char};      if (defined $self->{next_nc}) {
668          $char = $self->{next_nc};
669          delete $self->{next_nc};
670          $self->{nc} = ord $char;
671        } else {
672          $self->{char_buffer} = '';
673          $self->{char_buffer_pos} = 0;
674    
675          my $count = $input->manakai_read_until
676             ($self->{char_buffer}, qr/[^\x00\x0A\x0D]/, $self->{char_buffer_pos});
677          if ($count) {
678            $self->{line_prev} = $self->{line};
679            $self->{column_prev} = $self->{column};
680            $self->{column}++;
681            $self->{nc}
682                = ord substr ($self->{char_buffer}, $self->{char_buffer_pos}++, 1);
683            return;
684          }
685    
686      $self->{next_char} = -1 and return if $i >= length $$s;        if ($input->read ($char, 1)) {
687      $self->{next_char} = ord substr $$s, $i++, 1;          $self->{nc} = ord $char;
688      $column++;        } else {
689            $self->{nc} = -1;
690            return;
691          }
692        }
693    
694        ($self->{line_prev}, $self->{column_prev})
695            = ($self->{line}, $self->{column});
696        $self->{column}++;
697            
698      if ($self->{next_char} == 0x000A) { # LF      if ($self->{nc} == 0x000A) { # LF
699        $line++;        !!!cp ('j1');
700        $column = 0;        $self->{line}++;
701      } elsif ($self->{next_char} == 0x000D) { # CR        $self->{column} = 0;
702        $i++ if substr ($$s, $i, 1) eq "\x0A";      } elsif ($self->{nc} == 0x000D) { # CR
703        $self->{next_char} = 0x000A; # LF # MUST        !!!cp ('j2');
704        $line++;  ## TODO: support for abort/streaming
705        $column = 0;        my $next = '';
706      } elsif ($self->{next_char} > 0x10FFFF) {        if ($input->read ($next, 1) and $next ne "\x0A") {
707        $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST          $self->{next_nc} = $next;
708      } elsif ($self->{next_char} == 0x0000) { # NULL        }
709          $self->{nc} = 0x000A; # LF # MUST
710          $self->{line}++;
711          $self->{column} = 0;
712        } elsif ($self->{nc} == 0x0000) { # NULL
713          !!!cp ('j4');
714        !!!parse-error (type => 'NULL');        !!!parse-error (type => 'NULL');
715        $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST        $self->{nc} = 0xFFFD; # REPLACEMENT CHARACTER # MUST
716      }      }
717    };    };
718    $self->{prev_char} = [-1, -1, -1];  
719    $self->{next_char} = -1;    $self->{read_until} = sub {
720        #my ($scalar, $specials_range, $offset) = @_;
721        return 0 if defined $self->{next_nc};
722    
723        my $pattern = qr/[^$_[1]\x00\x0A\x0D]/;
724        my $offset = $_[2] || 0;
725    
726        if ($self->{char_buffer_pos} < length $self->{char_buffer}) {
727          pos ($self->{char_buffer}) = $self->{char_buffer_pos};
728          if ($self->{char_buffer} =~ /\G(?>$pattern)+/) {
729            substr ($_[0], $offset)
730                = substr ($self->{char_buffer}, $-[0], $+[0] - $-[0]);
731            my $count = $+[0] - $-[0];
732            if ($count) {
733              $self->{column} += $count;
734              $self->{char_buffer_pos} += $count;
735              $self->{line_prev} = $self->{line};
736              $self->{column_prev} = $self->{column} - 1;
737              $self->{nc} = -1;
738            }
739            return $count;
740          } else {
741            return 0;
742          }
743        } else {
744          my $count = $input->manakai_read_until ($_[0], $pattern, $_[2]);
745          if ($count) {
746            $self->{column} += $count;
747            $self->{line_prev} = $self->{line};
748            $self->{column_prev} = $self->{column} - 1;
749            $self->{nc} = -1;
750          }
751          return $count;
752        }
753      }; # $self->{read_until}
754    
755    my $onerror = $_[2] || sub {    my $onerror = $_[2] || sub {
756      my (%opt) = @_;      my (%opt) = @_;
757      warn "Parse error ($opt{type}) at line $opt{line} column $opt{column}\n";      my $line = $opt{token} ? $opt{token}->{line} : $opt{line};
758        my $column = $opt{token} ? $opt{token}->{column} : $opt{column};
759        warn "Parse error ($opt{type}) at line $line column $column\n";
760    };    };
761    $self->{parse_error} = sub {    $self->{parse_error} = sub {
762      $onerror->(@_, line => $line, column => $column);      $onerror->(line => $self->{line}, column => $self->{column}, @_);
763    };    };
764    
765      my $char_onerror = sub {
766        my (undef, $type, %opt) = @_;
767        !!!parse-error (layer => 'encode',
768                        line => $self->{line}, column => $self->{column} + 1,
769                        %opt, type => $type);
770      }; # $char_onerror
771    
772      if ($_[3]) {
773        $input = $_[3]->($input);
774        $input->onerror ($char_onerror);
775      } else {
776        $input->onerror ($char_onerror) unless defined $input->onerror;
777      }
778    
779    $self->_initialize_tokenizer;    $self->_initialize_tokenizer;
780    $self->_initialize_tree_constructor;    $self->_initialize_tree_constructor;
781    $self->_construct_tree;    $self->_construct_tree;
782    $self->_terminate_tree_constructor;    $self->_terminate_tree_constructor;
783    
784      delete $self->{parse_error}; # remove loop
785    
786    return $self->{document};    return $self->{document};
787  } # parse_string  } # parse_char_stream
788    
789  sub new ($) {  sub new ($) {
790    my $class = shift;    my $class = shift;
791    my $self = bless {}, $class;    my $self = bless {
792    $self->{set_next_char} = sub {      level => {must => 'm',
793      $self->{next_char} = -1;                should => 's',
794                  warn => 'w',
795                  info => 'i',
796                  uncertain => 'u'},
797      }, $class;
798      $self->{set_nc} = sub {
799        $self->{nc} = -1;
800    };    };
801    $self->{parse_error} = sub {    $self->{parse_error} = sub {
802      #      #
# Line 244  sub new ($) { Line 813  sub new ($) {
813    return $self;    return $self;
814  } # new  } # new
815    
816  sub CM_ENTITY () { 0b001 } # & markup in data  ## Insertion modes
 sub CM_LIMITED_MARKUP () { 0b010 } # < markup in data (limited)  
 sub CM_FULL_MARKUP () { 0b100 } # < markup in data (any)  
   
 sub PLAINTEXT_CONTENT_MODEL () { 0 }  
 sub CDATA_CONTENT_MODEL () { CM_LIMITED_MARKUP }  
 sub RCDATA_CONTENT_MODEL () { CM_ENTITY | CM_LIMITED_MARKUP }  
 sub PCDATA_CONTENT_MODEL () { CM_ENTITY | CM_FULL_MARKUP }  
   
 sub DATA_STATE () { 0 }  
 sub ENTITY_DATA_STATE () { 1 }  
 sub TAG_OPEN_STATE () { 2 }  
 sub CLOSE_TAG_OPEN_STATE () { 3 }  
 sub TAG_NAME_STATE () { 4 }  
 sub BEFORE_ATTRIBUTE_NAME_STATE () { 5 }  
 sub ATTRIBUTE_NAME_STATE () { 6 }  
 sub AFTER_ATTRIBUTE_NAME_STATE () { 7 }  
 sub BEFORE_ATTRIBUTE_VALUE_STATE () { 8 }  
 sub ATTRIBUTE_VALUE_DOUBLE_QUOTED_STATE () { 9 }  
 sub ATTRIBUTE_VALUE_SINGLE_QUOTED_STATE () { 10 }  
 sub ATTRIBUTE_VALUE_UNQUOTED_STATE () { 11 }  
 sub ENTITY_IN_ATTRIBUTE_VALUE_STATE () { 12 }  
 sub MARKUP_DECLARATION_OPEN_STATE () { 13 }  
 sub COMMENT_START_STATE () { 14 }  
 sub COMMENT_START_DASH_STATE () { 15 }  
 sub COMMENT_STATE () { 16 }  
 sub COMMENT_END_STATE () { 17 }  
 sub COMMENT_END_DASH_STATE () { 18 }  
 sub BOGUS_COMMENT_STATE () { 19 }  
 sub DOCTYPE_STATE () { 20 }  
 sub BEFORE_DOCTYPE_NAME_STATE () { 21 }  
 sub DOCTYPE_NAME_STATE () { 22 }  
 sub AFTER_DOCTYPE_NAME_STATE () { 23 }  
 sub BEFORE_DOCTYPE_PUBLIC_IDENTIFIER_STATE () { 24 }  
 sub DOCTYPE_PUBLIC_IDENTIFIER_DOUBLE_QUOTED_STATE () { 25 }  
 sub DOCTYPE_PUBLIC_IDENTIFIER_SINGLE_QUOTED_STATE () { 26 }  
 sub AFTER_DOCTYPE_PUBLIC_IDENTIFIER_STATE () { 27 }  
 sub BEFORE_DOCTYPE_SYSTEM_IDENTIFIER_STATE () { 28 }  
 sub DOCTYPE_SYSTEM_IDENTIFIER_DOUBLE_QUOTED_STATE () { 29 }  
 sub DOCTYPE_SYSTEM_IDENTIFIER_SINGLE_QUOTED_STATE () { 30 }  
 sub AFTER_DOCTYPE_SYSTEM_IDENTIFIER_STATE () { 31 }  
 sub BOGUS_DOCTYPE_STATE () { 32 }  
 sub AFTER_ATTRIBUTE_VALUE_QUOTED_STATE () { 33 }  
   
 sub DOCTYPE_TOKEN () { 1 }  
 sub COMMENT_TOKEN () { 2 }  
 sub START_TAG_TOKEN () { 3 }  
 sub END_TAG_TOKEN () { 4 }  
 sub END_OF_FILE_TOKEN () { 5 }  
 sub CHARACTER_TOKEN () { 6 }  
817    
818  sub AFTER_HTML_IMS () { 0b100 }  sub AFTER_HTML_IMS () { 0b100 }
819  sub HEAD_IMS ()       { 0b1000 }  sub HEAD_IMS ()       { 0b1000 }
# Line 303  sub TABLE_IMS ()      { 0b1000000 } Line 823  sub TABLE_IMS ()      { 0b1000000 }
823  sub ROW_IMS ()        { 0b10000000 }  sub ROW_IMS ()        { 0b10000000 }
824  sub BODY_AFTER_IMS () { 0b100000000 }  sub BODY_AFTER_IMS () { 0b100000000 }
825  sub FRAME_IMS ()      { 0b1000000000 }  sub FRAME_IMS ()      { 0b1000000000 }
826    sub SELECT_IMS ()     { 0b10000000000 }
827    #sub IN_FOREIGN_CONTENT_IM () { 0b100000000000 } # see Whatpm::HTML::Tokenizer
828        ## NOTE: "in foreign content" insertion mode is special; it is combined
829        ## with the secondary insertion mode.  In this parser, they are stored
830        ## together in the bit-or'ed form.
831    sub IN_CDATA_RCDATA_IM () { 0b1000000000000 }
832        ## NOTE: "in CDATA/RCDATA" insertion mode is also special; it is
833        ## combined with the original insertion mode.  In thie parser,
834        ## they are stored together in the bit-or'ed form.
835    
836    sub IM_MASK () { 0b11111111111 }
837    
838  ## NOTE: "initial" and "before html" insertion modes have no constants.  ## NOTE: "initial" and "before html" insertion modes have no constants.
839    
# Line 325  sub IN_TABLE_IM () { TABLE_IMS } Line 856  sub IN_TABLE_IM () { TABLE_IMS }
856  sub AFTER_BODY_IM () { BODY_AFTER_IMS }  sub AFTER_BODY_IM () { BODY_AFTER_IMS }
857  sub IN_FRAMESET_IM () { FRAME_IMS | 0b01 }  sub IN_FRAMESET_IM () { FRAME_IMS | 0b01 }
858  sub AFTER_FRAMESET_IM () { FRAME_IMS | 0b10 }  sub AFTER_FRAMESET_IM () { FRAME_IMS | 0b10 }
859  sub IN_SELECT_IM () { 0b01 }  sub IN_SELECT_IM () { SELECT_IMS | 0b01 }
860    sub IN_SELECT_IN_TABLE_IM () { SELECT_IMS | 0b10 }
861  sub IN_COLUMN_GROUP_IM () { 0b10 }  sub IN_COLUMN_GROUP_IM () { 0b10 }
862    
 ## Implementations MUST act as if state machine in the spec  
   
 sub _initialize_tokenizer ($) {  
   my $self = shift;  
   $self->{state} = DATA_STATE; # MUST  
   $self->{content_model} = PCDATA_CONTENT_MODEL; # be  
   undef $self->{current_token}; # start tag, end tag, comment, or DOCTYPE  
   undef $self->{current_attribute};  
   undef $self->{last_emitted_start_tag_name};  
   undef $self->{last_attribute_value_state};  
   $self->{char} = [];  
   # $self->{next_char}  
   !!!next-input-character;  
   $self->{token} = [];  
   # $self->{escape}  
 } # _initialize_tokenizer  
   
 ## A token has:  
 ##   ->{type} == DOCTYPE_TOKEN, START_TAG_TOKEN, END_TAG_TOKEN, COMMENT_TOKEN,  
 ##       CHARACTER_TOKEN, or END_OF_FILE_TOKEN  
 ##   ->{name} (DOCTYPE_TOKEN)  
 ##   ->{tag_name} (START_TAG_TOKEN, END_TAG_TOKEN)  
 ##   ->{public_identifier} (DOCTYPE_TOKEN)  
 ##   ->{system_identifier} (DOCTYPE_TOKEN)  
 ##   ->{quirks} == 1 or 0 (DOCTYPE_TOKEN): "force-quirks" flag  
 ##   ->{attributes} isa HASH (START_TAG_TOKEN, END_TAG_TOKEN)  
 ##        ->{name}  
 ##        ->{value}  
 ##        ->{has_reference} == 1 or 0  
 ##   ->{data} (COMMENT_TOKEN, CHARACTER_TOKEN)  
   
 ## Emitted token MUST immediately be handled by the tree construction state.  
   
 ## Before each step, UA MAY check to see if either one of the scripts in  
 ## "list of scripts that will execute as soon as possible" or the first  
 ## script in the "list of scripts that will execute asynchronously",  
 ## has completed loading.  If one has, then it MUST be executed  
 ## and removed from the list.  
   
 ## NOTE: HTML5 "Writing HTML documents" section, applied to  
 ## documents and not to user agents and conformance checkers,  
 ## contains some requirements that are not detected by the  
 ## parsing algorithm:  
 ## - Some requirements on character encoding declarations. ## TODO  
 ## - "Elements MUST NOT contain content that their content model disallows."  
 ##   ... Some are parse error, some are not (will be reported by c.c.).  
 ## - Polytheistic slash SHOULD NOT be used. (Applied only to atheists.) ## TODO  
 ## - Text (in elements, attributes, and comments) SHOULD NOT contain  
 ##   control characters other than space characters. ## TODO: (what is control character? C0, C1 and DEL?  Unicode control character?)  
   
 ## TODO: HTML5 poses authors two SHOULD-level requirements that cannot  
 ## be detected by the HTML5 parsing algorithm:  
 ## - Text,  
   
 sub _get_next_token ($) {  
   my $self = shift;  
   if (@{$self->{token}}) {  
     return shift @{$self->{token}};  
   }  
   
   A: {  
     if ($self->{state} == DATA_STATE) {  
       if ($self->{next_char} == 0x0026) { # &  
         if ($self->{content_model} & CM_ENTITY and # PCDATA | RCDATA  
             not $self->{escape}) {  
           !!!cp (1);  
           $self->{state} = ENTITY_DATA_STATE;  
           !!!next-input-character;  
           redo A;  
         } else {  
           !!!cp (2);  
           #  
         }  
       } elsif ($self->{next_char} == 0x002D) { # -  
         if ($self->{content_model} & CM_LIMITED_MARKUP) { # RCDATA | CDATA  
           unless ($self->{escape}) {  
             if ($self->{prev_char}->[0] == 0x002D and # -  
                 $self->{prev_char}->[1] == 0x0021 and # !  
                 $self->{prev_char}->[2] == 0x003C) { # <  
               !!!cp (3);  
               $self->{escape} = 1;  
             } else {  
               !!!cp (4);  
             }  
           } else {  
             !!!cp (5);  
           }  
         }  
           
         #  
       } elsif ($self->{next_char} == 0x003C) { # <  
         if ($self->{content_model} & CM_FULL_MARKUP or # PCDATA  
             (($self->{content_model} & CM_LIMITED_MARKUP) and # CDATA | RCDATA  
              not $self->{escape})) {  
           !!!cp (6);  
           $self->{state} = TAG_OPEN_STATE;  
           !!!next-input-character;  
           redo A;  
         } else {  
           !!!cp (7);  
           #  
         }  
       } elsif ($self->{next_char} == 0x003E) { # >  
         if ($self->{escape} and  
             ($self->{content_model} & CM_LIMITED_MARKUP)) { # RCDATA | CDATA  
           if ($self->{prev_char}->[0] == 0x002D and # -  
               $self->{prev_char}->[1] == 0x002D) { # -  
             !!!cp (8);  
             delete $self->{escape};  
           } else {  
             !!!cp (9);  
           }  
         } else {  
           !!!cp (10);  
         }  
           
         #  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (11);  
         !!!emit ({type => END_OF_FILE_TOKEN});  
         last A; ## TODO: ok?  
       } else {  
         !!!cp (12);  
       }  
       # Anything else  
       my $token = {type => CHARACTER_TOKEN,  
                    data => chr $self->{next_char}};  
       ## Stay in the data state  
       !!!next-input-character;  
   
       !!!emit ($token);  
   
       redo A;  
     } elsif ($self->{state} == ENTITY_DATA_STATE) {  
       ## (cannot happen in CDATA state)  
         
       my $token = $self->_tokenize_attempt_to_consume_an_entity (0, -1);  
   
       $self->{state} = DATA_STATE;  
       # next-input-character is already done  
   
       unless (defined $token) {  
         !!!cp (13);  
         !!!emit ({type => CHARACTER_TOKEN, data => '&'});  
       } else {  
         !!!cp (14);  
         !!!emit ($token);  
       }  
   
       redo A;  
     } elsif ($self->{state} == TAG_OPEN_STATE) {  
       if ($self->{content_model} & CM_LIMITED_MARKUP) { # RCDATA | CDATA  
         if ($self->{next_char} == 0x002F) { # /  
           !!!cp (15);  
           !!!next-input-character;  
           $self->{state} = CLOSE_TAG_OPEN_STATE;  
           redo A;  
         } else {  
           !!!cp (16);  
           ## reconsume  
           $self->{state} = DATA_STATE;  
   
           !!!emit ({type => CHARACTER_TOKEN, data => '<'});  
   
           redo A;  
         }  
       } elsif ($self->{content_model} & CM_FULL_MARKUP) { # PCDATA  
         if ($self->{next_char} == 0x0021) { # !  
           !!!cp (17);  
           $self->{state} = MARKUP_DECLARATION_OPEN_STATE;  
           !!!next-input-character;  
           redo A;  
         } elsif ($self->{next_char} == 0x002F) { # /  
           !!!cp (18);  
           $self->{state} = CLOSE_TAG_OPEN_STATE;  
           !!!next-input-character;  
           redo A;  
         } elsif (0x0041 <= $self->{next_char} and  
                  $self->{next_char} <= 0x005A) { # A..Z  
           !!!cp (19);  
           $self->{current_token}  
             = {type => START_TAG_TOKEN,  
                tag_name => chr ($self->{next_char} + 0x0020)};  
           $self->{state} = TAG_NAME_STATE;  
           !!!next-input-character;  
           redo A;  
         } elsif (0x0061 <= $self->{next_char} and  
                  $self->{next_char} <= 0x007A) { # a..z  
           !!!cp (20);  
           $self->{current_token} = {type => START_TAG_TOKEN,  
                             tag_name => chr ($self->{next_char})};  
           $self->{state} = TAG_NAME_STATE;  
           !!!next-input-character;  
           redo A;  
         } elsif ($self->{next_char} == 0x003E) { # >  
           !!!cp (21);  
           !!!parse-error (type => 'empty start tag');  
           $self->{state} = DATA_STATE;  
           !!!next-input-character;  
   
           !!!emit ({type => CHARACTER_TOKEN, data => '<>'});  
   
           redo A;  
         } elsif ($self->{next_char} == 0x003F) { # ?  
           !!!cp (22);  
           !!!parse-error (type => 'pio');  
           $self->{state} = BOGUS_COMMENT_STATE;  
           ## $self->{next_char} is intentionally left as is  
           redo A;  
         } else {  
           !!!cp (23);  
           !!!parse-error (type => 'bare stago');  
           $self->{state} = DATA_STATE;  
           ## reconsume  
   
           !!!emit ({type => CHARACTER_TOKEN, data => '<'});  
   
           redo A;  
         }  
       } else {  
         die "$0: $self->{content_model} in tag open";  
       }  
     } elsif ($self->{state} == CLOSE_TAG_OPEN_STATE) {  
       if ($self->{content_model} & CM_LIMITED_MARKUP) { # RCDATA | CDATA  
         if (defined $self->{last_emitted_start_tag_name}) {  
           ## NOTE: <http://krijnhoetmer.nl/irc-logs/whatwg/20070626#l-564>  
           my @next_char;  
           TAGNAME: for (my $i = 0; $i < length $self->{last_emitted_start_tag_name}; $i++) {  
             push @next_char, $self->{next_char};  
             my $c = ord substr ($self->{last_emitted_start_tag_name}, $i, 1);  
             my $C = 0x0061 <= $c && $c <= 0x007A ? $c - 0x0020 : $c;  
             if ($self->{next_char} == $c or $self->{next_char} == $C) {  
               !!!cp (24);  
               !!!next-input-character;  
               next TAGNAME;  
             } else {  
               !!!cp (25);  
               $self->{next_char} = shift @next_char; # reconsume  
               !!!back-next-input-character (@next_char);  
               $self->{state} = DATA_STATE;  
   
               !!!emit ({type => CHARACTER_TOKEN, data => '</'});  
     
               redo A;  
             }  
           }  
           push @next_char, $self->{next_char};  
         
           unless ($self->{next_char} == 0x0009 or # HT  
                   $self->{next_char} == 0x000A or # LF  
                   $self->{next_char} == 0x000B or # VT  
                   $self->{next_char} == 0x000C or # FF  
                   $self->{next_char} == 0x0020 or # SP  
                   $self->{next_char} == 0x003E or # >  
                   $self->{next_char} == 0x002F or # /  
                   $self->{next_char} == -1) {  
             !!!cp (26);  
             $self->{next_char} = shift @next_char; # reconsume  
             !!!back-next-input-character (@next_char);  
             $self->{state} = DATA_STATE;  
             !!!emit ({type => CHARACTER_TOKEN, data => '</'});  
             redo A;  
           } else {  
             !!!cp (27);  
             $self->{next_char} = shift @next_char;  
             !!!back-next-input-character (@next_char);  
             # and consume...  
           }  
         } else {  
           ## No start tag token has ever been emitted  
           !!!cp (28);  
           # next-input-character is already done  
           $self->{state} = DATA_STATE;  
           !!!emit ({type => CHARACTER_TOKEN, data => '</'});  
           redo A;  
         }  
       }  
         
       if (0x0041 <= $self->{next_char} and  
           $self->{next_char} <= 0x005A) { # A..Z  
         !!!cp (29);  
         $self->{current_token} = {type => END_TAG_TOKEN,  
                           tag_name => chr ($self->{next_char} + 0x0020)};  
         $self->{state} = TAG_NAME_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif (0x0061 <= $self->{next_char} and  
                $self->{next_char} <= 0x007A) { # a..z  
         !!!cp (30);  
         $self->{current_token} = {type => END_TAG_TOKEN,  
                           tag_name => chr ($self->{next_char})};  
         $self->{state} = TAG_NAME_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         !!!cp (31);  
         !!!parse-error (type => 'empty end tag');  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (32);  
         !!!parse-error (type => 'bare etago');  
         $self->{state} = DATA_STATE;  
         # reconsume  
   
         !!!emit ({type => CHARACTER_TOKEN, data => '</'});  
   
         redo A;  
       } else {  
         !!!cp (33);  
         !!!parse-error (type => 'bogus end tag');  
         $self->{state} = BOGUS_COMMENT_STATE;  
         ## $self->{next_char} is intentionally left as is  
         redo A;  
       }  
     } elsif ($self->{state} == TAG_NAME_STATE) {  
       if ($self->{next_char} == 0x0009 or # HT  
           $self->{next_char} == 0x000A or # LF  
           $self->{next_char} == 0x000B or # VT  
           $self->{next_char} == 0x000C or # FF  
           $self->{next_char} == 0x0020) { # SP  
         !!!cp (34);  
         $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         if ($self->{current_token}->{type} == START_TAG_TOKEN) {  
           !!!cp (35);  
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
           $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};  
         } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {  
           $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST  
           #if ($self->{current_token}->{attributes}) {  
           #  ## NOTE: This should never be reached.  
           #  !!! cp (36);  
           #  !!! parse-error (type => 'end tag attribute');  
           #} else {  
             !!!cp (37);  
           #}  
         } else {  
           die "$0: $self->{current_token}->{type}: Unknown token type";  
         }  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ($self->{current_token}); # start tag or end tag  
   
         redo A;  
       } elsif (0x0041 <= $self->{next_char} and  
                $self->{next_char} <= 0x005A) { # A..Z  
         !!!cp (38);  
         $self->{current_token}->{tag_name} .= chr ($self->{next_char} + 0x0020);  
           # start tag or end tag  
         ## Stay in this state  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!parse-error (type => 'unclosed tag');  
         if ($self->{current_token}->{type} == START_TAG_TOKEN) {  
           !!!cp (39);  
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
           $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};  
         } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {  
           $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST  
           #if ($self->{current_token}->{attributes}) {  
           #  ## NOTE: This state should never be reached.  
           #  !!! cp (40);  
           #  !!! parse-error (type => 'end tag attribute');  
           #} else {  
             !!!cp (41);  
           #}  
         } else {  
           die "$0: $self->{current_token}->{type}: Unknown token type";  
         }  
         $self->{state} = DATA_STATE;  
         # reconsume  
   
         !!!emit ($self->{current_token}); # start tag or end tag  
   
         redo A;  
       } elsif ($self->{next_char} == 0x002F) { # /  
         !!!next-input-character;  
         if ($self->{next_char} == 0x003E and # >  
             $self->{current_token}->{type} == START_TAG_TOKEN and  
             $permitted_slash_tag_name->{$self->{current_token}->{tag_name}}) {  
           # permitted slash  
           !!!cp (42);  
           #  
         } else {  
           !!!cp (43);  
           !!!parse-error (type => 'nestc');  
         }  
         $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;  
         # next-input-character is already done  
         redo A;  
       } else {  
         !!!cp (44);  
         $self->{current_token}->{tag_name} .= chr $self->{next_char};  
           # start tag or end tag  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == BEFORE_ATTRIBUTE_NAME_STATE) {  
       if ($self->{next_char} == 0x0009 or # HT  
           $self->{next_char} == 0x000A or # LF  
           $self->{next_char} == 0x000B or # VT  
           $self->{next_char} == 0x000C or # FF  
           $self->{next_char} == 0x0020) { # SP  
         !!!cp (45);  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         if ($self->{current_token}->{type} == START_TAG_TOKEN) {  
           !!!cp (46);  
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
           $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};  
         } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {  
           $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST  
           if ($self->{current_token}->{attributes}) {  
             !!!cp (47);  
             !!!parse-error (type => 'end tag attribute');  
           } else {  
             !!!cp (48);  
           }  
         } else {  
           die "$0: $self->{current_token}->{type}: Unknown token type";  
         }  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ($self->{current_token}); # start tag or end tag  
   
         redo A;  
       } elsif (0x0041 <= $self->{next_char} and  
                $self->{next_char} <= 0x005A) { # A..Z  
         !!!cp (49);  
         $self->{current_attribute} = {name => chr ($self->{next_char} + 0x0020),  
                               value => ''};  
         $self->{state} = ATTRIBUTE_NAME_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x002F) { # /  
         !!!next-input-character;  
         if ($self->{next_char} == 0x003E and # >  
             $self->{current_token}->{type} == START_TAG_TOKEN and  
             $permitted_slash_tag_name->{$self->{current_token}->{tag_name}}) {  
           # permitted slash  
           !!!cp (50);  
           #  
         } else {  
           !!!cp (51);  
           !!!parse-error (type => 'nestc');  
         }  
         ## Stay in the state  
         # next-input-character is already done  
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!parse-error (type => 'unclosed tag');  
         if ($self->{current_token}->{type} == START_TAG_TOKEN) {  
           !!!cp (52);  
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
           $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};  
         } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {  
           $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST  
           if ($self->{current_token}->{attributes}) {  
             !!!cp (53);  
             !!!parse-error (type => 'end tag attribute');  
           } else {  
             !!!cp (54);  
           }  
         } else {  
           die "$0: $self->{current_token}->{type}: Unknown token type";  
         }  
         $self->{state} = DATA_STATE;  
         # reconsume  
   
         !!!emit ($self->{current_token}); # start tag or end tag  
   
         redo A;  
       } else {  
         if ({  
              0x0022 => 1, # "  
              0x0027 => 1, # '  
              0x003D => 1, # =  
             }->{$self->{next_char}}) {  
           !!!cp (55);  
           !!!parse-error (type => 'bad attribute name');  
         } else {  
           !!!cp (56);  
         }  
         $self->{current_attribute} = {name => chr ($self->{next_char}),  
                               value => ''};  
         $self->{state} = ATTRIBUTE_NAME_STATE;  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == ATTRIBUTE_NAME_STATE) {  
       my $before_leave = sub {  
         if (exists $self->{current_token}->{attributes} # start tag or end tag  
             ->{$self->{current_attribute}->{name}}) { # MUST  
           !!!cp (57);  
           !!!parse-error (type => 'duplicate attribute:'.$self->{current_attribute}->{name});  
           ## Discard $self->{current_attribute} # MUST  
         } else {  
           !!!cp (58);  
           $self->{current_token}->{attributes}->{$self->{current_attribute}->{name}}  
             = $self->{current_attribute};  
         }  
       }; # $before_leave  
   
       if ($self->{next_char} == 0x0009 or # HT  
           $self->{next_char} == 0x000A or # LF  
           $self->{next_char} == 0x000B or # VT  
           $self->{next_char} == 0x000C or # FF  
           $self->{next_char} == 0x0020) { # SP  
         !!!cp (59);  
         $before_leave->();  
         $self->{state} = AFTER_ATTRIBUTE_NAME_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003D) { # =  
         !!!cp (60);  
         $before_leave->();  
         $self->{state} = BEFORE_ATTRIBUTE_VALUE_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         $before_leave->();  
         if ($self->{current_token}->{type} == START_TAG_TOKEN) {  
           !!!cp (61);  
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
           $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};  
         } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {  
           !!!cp (62);  
           $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST  
           if ($self->{current_token}->{attributes}) {  
             !!!parse-error (type => 'end tag attribute');  
           }  
         } else {  
           die "$0: $self->{current_token}->{type}: Unknown token type";  
         }  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ($self->{current_token}); # start tag or end tag  
   
         redo A;  
       } elsif (0x0041 <= $self->{next_char} and  
                $self->{next_char} <= 0x005A) { # A..Z  
         !!!cp (63);  
         $self->{current_attribute}->{name} .= chr ($self->{next_char} + 0x0020);  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x002F) { # /  
         $before_leave->();  
         !!!next-input-character;  
         if ($self->{next_char} == 0x003E and # >  
             $self->{current_token}->{type} == START_TAG_TOKEN and  
             $permitted_slash_tag_name->{$self->{current_token}->{tag_name}}) {  
           # permitted slash  
           !!!cp (64);  
           #  
         } else {  
           !!!cp (65);  
           !!!parse-error (type => 'nestc');  
         }  
         $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;  
         # next-input-character is already done  
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!parse-error (type => 'unclosed tag');  
         $before_leave->();  
         if ($self->{current_token}->{type} == START_TAG_TOKEN) {  
           !!!cp (66);  
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
           $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};  
         } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {  
           $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST  
           if ($self->{current_token}->{attributes}) {  
             !!!cp (67);  
             !!!parse-error (type => 'end tag attribute');  
           } else {  
             ## NOTE: This state should never be reached.  
             !!!cp (68);  
           }  
         } else {  
           die "$0: $self->{current_token}->{type}: Unknown token type";  
         }  
         $self->{state} = DATA_STATE;  
         # reconsume  
   
         !!!emit ($self->{current_token}); # start tag or end tag  
   
         redo A;  
       } else {  
         if ($self->{next_char} == 0x0022 or # "  
             $self->{next_char} == 0x0027) { # '  
           !!!cp (69);  
           !!!parse-error (type => 'bad attribute name');  
         } else {  
           !!!cp (70);  
         }  
         $self->{current_attribute}->{name} .= chr ($self->{next_char});  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == AFTER_ATTRIBUTE_NAME_STATE) {  
       if ($self->{next_char} == 0x0009 or # HT  
           $self->{next_char} == 0x000A or # LF  
           $self->{next_char} == 0x000B or # VT  
           $self->{next_char} == 0x000C or # FF  
           $self->{next_char} == 0x0020) { # SP  
         !!!cp (71);  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003D) { # =  
         !!!cp (72);  
         $self->{state} = BEFORE_ATTRIBUTE_VALUE_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         if ($self->{current_token}->{type} == START_TAG_TOKEN) {  
           !!!cp (73);  
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
           $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};  
         } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {  
           $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST  
           if ($self->{current_token}->{attributes}) {  
             !!!cp (74);  
             !!!parse-error (type => 'end tag attribute');  
           } else {  
             ## NOTE: This state should never be reached.  
             !!!cp (75);  
           }  
         } else {  
           die "$0: $self->{current_token}->{type}: Unknown token type";  
         }  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ($self->{current_token}); # start tag or end tag  
   
         redo A;  
       } elsif (0x0041 <= $self->{next_char} and  
                $self->{next_char} <= 0x005A) { # A..Z  
         !!!cp (76);  
         $self->{current_attribute} = {name => chr ($self->{next_char} + 0x0020),  
                               value => ''};  
         $self->{state} = ATTRIBUTE_NAME_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x002F) { # /  
         !!!next-input-character;  
         if ($self->{next_char} == 0x003E and # >  
             $self->{current_token}->{type} == START_TAG_TOKEN and  
             $permitted_slash_tag_name->{$self->{current_token}->{tag_name}}) {  
           # permitted slash  
           !!!cp (77);  
           #  
         } else {  
           !!!cp (78);  
           !!!parse-error (type => 'nestc');  
           ## TODO: Different error type for <aa / bb> than <aa/>  
         }  
         $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;  
         # next-input-character is already done  
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!parse-error (type => 'unclosed tag');  
         if ($self->{current_token}->{type} == START_TAG_TOKEN) {  
           !!!cp (79);  
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
           $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};  
         } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {  
           $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST  
           if ($self->{current_token}->{attributes}) {  
             !!!cp (80);  
             !!!parse-error (type => 'end tag attribute');  
           } else {  
             ## NOTE: This state should never be reached.  
             !!!cp (81);  
           }  
         } else {  
           die "$0: $self->{current_token}->{type}: Unknown token type";  
         }  
         $self->{state} = DATA_STATE;  
         # reconsume  
   
         !!!emit ($self->{current_token}); # start tag or end tag  
   
         redo A;  
       } else {  
         !!!cp (82);  
         $self->{current_attribute} = {name => chr ($self->{next_char}),  
                               value => ''};  
         $self->{state} = ATTRIBUTE_NAME_STATE;  
         !!!next-input-character;  
         redo A;          
       }  
     } elsif ($self->{state} == BEFORE_ATTRIBUTE_VALUE_STATE) {  
       if ($self->{next_char} == 0x0009 or # HT  
           $self->{next_char} == 0x000A or # LF  
           $self->{next_char} == 0x000B or # VT  
           $self->{next_char} == 0x000C or # FF  
           $self->{next_char} == 0x0020) { # SP        
         !!!cp (83);  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x0022) { # "  
         !!!cp (84);  
         $self->{state} = ATTRIBUTE_VALUE_DOUBLE_QUOTED_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x0026) { # &  
         !!!cp (85);  
         $self->{state} = ATTRIBUTE_VALUE_UNQUOTED_STATE;  
         ## reconsume  
         redo A;  
       } elsif ($self->{next_char} == 0x0027) { # '  
         !!!cp (86);  
         $self->{state} = ATTRIBUTE_VALUE_SINGLE_QUOTED_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         if ($self->{current_token}->{type} == START_TAG_TOKEN) {  
           !!!cp (87);  
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
           $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};  
         } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {  
           $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST  
           if ($self->{current_token}->{attributes}) {  
             !!!cp (88);  
             !!!parse-error (type => 'end tag attribute');  
           } else {  
             ## NOTE: This state should never be reached.  
             !!!cp (89);  
           }  
         } else {  
           die "$0: $self->{current_token}->{type}: Unknown token type";  
         }  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ($self->{current_token}); # start tag or end tag  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!parse-error (type => 'unclosed tag');  
         if ($self->{current_token}->{type} == START_TAG_TOKEN) {  
           !!!cp (90);  
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
           $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};  
         } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {  
           $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST  
           if ($self->{current_token}->{attributes}) {  
             !!!cp (91);  
             !!!parse-error (type => 'end tag attribute');  
           } else {  
             ## NOTE: This state should never be reached.  
             !!!cp (92);  
           }  
         } else {  
           die "$0: $self->{current_token}->{type}: Unknown token type";  
         }  
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         !!!emit ($self->{current_token}); # start tag or end tag  
   
         redo A;  
       } else {  
         if ($self->{next_char} == 0x003D) { # =  
           !!!cp (93);  
           !!!parse-error (type => 'bad attribute value');  
         } else {  
           !!!cp (94);  
         }  
         $self->{current_attribute}->{value} .= chr ($self->{next_char});  
         $self->{state} = ATTRIBUTE_VALUE_UNQUOTED_STATE;  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == ATTRIBUTE_VALUE_DOUBLE_QUOTED_STATE) {  
       if ($self->{next_char} == 0x0022) { # "  
         !!!cp (95);  
         $self->{state} = AFTER_ATTRIBUTE_VALUE_QUOTED_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x0026) { # &  
         !!!cp (96);  
         $self->{last_attribute_value_state} = $self->{state};  
         $self->{state} = ENTITY_IN_ATTRIBUTE_VALUE_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!parse-error (type => 'unclosed attribute value');  
         if ($self->{current_token}->{type} == START_TAG_TOKEN) {  
           !!!cp (97);  
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
           $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};  
         } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {  
           $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST  
           if ($self->{current_token}->{attributes}) {  
             !!!cp (98);  
             !!!parse-error (type => 'end tag attribute');  
           } else {  
             ## NOTE: This state should never be reached.  
             !!!cp (99);  
           }  
         } else {  
           die "$0: $self->{current_token}->{type}: Unknown token type";  
         }  
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         !!!emit ($self->{current_token}); # start tag or end tag  
   
         redo A;  
       } else {  
         !!!cp (100);  
         $self->{current_attribute}->{value} .= chr ($self->{next_char});  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == ATTRIBUTE_VALUE_SINGLE_QUOTED_STATE) {  
       if ($self->{next_char} == 0x0027) { # '  
         !!!cp (101);  
         $self->{state} = AFTER_ATTRIBUTE_VALUE_QUOTED_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x0026) { # &  
         !!!cp (102);  
         $self->{last_attribute_value_state} = $self->{state};  
         $self->{state} = ENTITY_IN_ATTRIBUTE_VALUE_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!parse-error (type => 'unclosed attribute value');  
         if ($self->{current_token}->{type} == START_TAG_TOKEN) {  
           !!!cp (103);  
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
           $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};  
         } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {  
           $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST  
           if ($self->{current_token}->{attributes}) {  
             !!!cp (104);  
             !!!parse-error (type => 'end tag attribute');  
           } else {  
             ## NOTE: This state should never be reached.  
             !!!cp (105);  
           }  
         } else {  
           die "$0: $self->{current_token}->{type}: Unknown token type";  
         }  
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         !!!emit ($self->{current_token}); # start tag or end tag  
   
         redo A;  
       } else {  
         !!!cp (106);  
         $self->{current_attribute}->{value} .= chr ($self->{next_char});  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == ATTRIBUTE_VALUE_UNQUOTED_STATE) {  
       if ($self->{next_char} == 0x0009 or # HT  
           $self->{next_char} == 0x000A or # LF  
           $self->{next_char} == 0x000B or # HT  
           $self->{next_char} == 0x000C or # FF  
           $self->{next_char} == 0x0020) { # SP  
         !!!cp (107);  
         $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x0026) { # &  
         !!!cp (108);  
         $self->{last_attribute_value_state} = $self->{state};  
         $self->{state} = ENTITY_IN_ATTRIBUTE_VALUE_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         if ($self->{current_token}->{type} == START_TAG_TOKEN) {  
           !!!cp (109);  
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
           $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};  
         } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {  
           $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST  
           if ($self->{current_token}->{attributes}) {  
             !!!cp (110);  
             !!!parse-error (type => 'end tag attribute');  
           } else {  
             ## NOTE: This state should never be reached.  
             !!!cp (111);  
           }  
         } else {  
           die "$0: $self->{current_token}->{type}: Unknown token type";  
         }  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ($self->{current_token}); # start tag or end tag  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!parse-error (type => 'unclosed tag');  
         if ($self->{current_token}->{type} == START_TAG_TOKEN) {  
           !!!cp (112);  
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
           $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};  
         } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {  
           $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST  
           if ($self->{current_token}->{attributes}) {  
             !!!cp (113);  
             !!!parse-error (type => 'end tag attribute');  
           } else {  
             ## NOTE: This state should never be reached.  
             !!!cp (114);  
           }  
         } else {  
           die "$0: $self->{current_token}->{type}: Unknown token type";  
         }  
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         !!!emit ($self->{current_token}); # start tag or end tag  
   
         redo A;  
       } else {  
         if ({  
              0x0022 => 1, # "  
              0x0027 => 1, # '  
              0x003D => 1, # =  
             }->{$self->{next_char}}) {  
           !!!cp (115);  
           !!!parse-error (type => 'bad attribute value');  
         } else {  
           !!!cp (116);  
         }  
         $self->{current_attribute}->{value} .= chr ($self->{next_char});  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == ENTITY_IN_ATTRIBUTE_VALUE_STATE) {  
       my $token = $self->_tokenize_attempt_to_consume_an_entity  
           (1,  
            $self->{last_attribute_value_state}  
              == ATTRIBUTE_VALUE_DOUBLE_QUOTED_STATE ? 0x0022 : # "  
            $self->{last_attribute_value_state}  
              == ATTRIBUTE_VALUE_SINGLE_QUOTED_STATE ? 0x0027 : # '  
            -1);  
   
       unless (defined $token) {  
         !!!cp (117);  
         $self->{current_attribute}->{value} .= '&';  
       } else {  
         !!!cp (118);  
         $self->{current_attribute}->{value} .= $token->{data};  
         $self->{current_attribute}->{has_reference} = $token->{has_reference};  
         ## ISSUE: spec says "append the returned character token to the current attribute's value"  
       }  
   
       $self->{state} = $self->{last_attribute_value_state};  
       # next-input-character is already done  
       redo A;  
     } elsif ($self->{state} == AFTER_ATTRIBUTE_VALUE_QUOTED_STATE) {  
       if ($self->{next_char} == 0x0009 or # HT  
           $self->{next_char} == 0x000A or # LF  
           $self->{next_char} == 0x000B or # VT  
           $self->{next_char} == 0x000C or # FF  
           $self->{next_char} == 0x0020) { # SP  
         !!!cp (118);  
         $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         if ($self->{current_token}->{type} == START_TAG_TOKEN) {  
           !!!cp (119);  
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
           $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};  
         } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {  
           $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST  
           if ($self->{current_token}->{attributes}) {  
             !!!cp (120);  
             !!!parse-error (type => 'end tag attribute');  
           } else {  
             ## NOTE: This state should never be reached.  
             !!!cp (121);  
           }  
         } else {  
           die "$0: $self->{current_token}->{type}: Unknown token type";  
         }  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ($self->{current_token}); # start tag or end tag  
   
         redo A;  
       } elsif ($self->{next_char} == 0x002F) { # /  
         !!!next-input-character;  
         if ($self->{next_char} == 0x003E and # >  
             $self->{current_token}->{type} == START_TAG_TOKEN and  
             $permitted_slash_tag_name->{$self->{current_token}->{tag_name}}) {  
           # permitted slash  
           !!!cp (122);  
           #  
         } else {  
           !!!cp (123);  
           !!!parse-error (type => 'nestc');  
         }  
         $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;  
         # next-input-character is already done  
         redo A;  
       } else {  
         !!!cp (124);  
         !!!parse-error (type => 'no space between attributes');  
         $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;  
         ## reconsume  
         redo A;  
       }  
     } elsif ($self->{state} == BOGUS_COMMENT_STATE) {  
       ## (only happen if PCDATA state)  
         
       my $token = {type => COMMENT_TOKEN, data => ''};  
   
       BC: {  
         if ($self->{next_char} == 0x003E) { # >  
           !!!cp (124);  
           $self->{state} = DATA_STATE;  
           !!!next-input-character;  
   
           !!!emit ($token);  
   
           redo A;  
         } elsif ($self->{next_char} == -1) {  
           !!!cp (125);  
           $self->{state} = DATA_STATE;  
           ## reconsume  
   
           !!!emit ($token);  
   
           redo A;  
         } else {  
           !!!cp (126);  
           $token->{data} .= chr ($self->{next_char});  
           !!!next-input-character;  
           redo BC;  
         }  
       } # BC  
   
       die "$0: _get_next_token: unexpected case [BC]";  
     } elsif ($self->{state} == MARKUP_DECLARATION_OPEN_STATE) {  
       ## (only happen if PCDATA state)  
   
       my @next_char;  
       push @next_char, $self->{next_char};  
         
       if ($self->{next_char} == 0x002D) { # -  
         !!!next-input-character;  
         push @next_char, $self->{next_char};  
         if ($self->{next_char} == 0x002D) { # -  
           !!!cp (127);  
           $self->{current_token} = {type => COMMENT_TOKEN, data => ''};  
           $self->{state} = COMMENT_START_STATE;  
           !!!next-input-character;  
           redo A;  
         } else {  
           !!!cp (128);  
         }  
       } elsif ($self->{next_char} == 0x0044 or # D  
                $self->{next_char} == 0x0064) { # d  
         !!!next-input-character;  
         push @next_char, $self->{next_char};  
         if ($self->{next_char} == 0x004F or # O  
             $self->{next_char} == 0x006F) { # o  
           !!!next-input-character;  
           push @next_char, $self->{next_char};  
           if ($self->{next_char} == 0x0043 or # C  
               $self->{next_char} == 0x0063) { # c  
             !!!next-input-character;  
             push @next_char, $self->{next_char};  
             if ($self->{next_char} == 0x0054 or # T  
                 $self->{next_char} == 0x0074) { # t  
               !!!next-input-character;  
               push @next_char, $self->{next_char};  
               if ($self->{next_char} == 0x0059 or # Y  
                   $self->{next_char} == 0x0079) { # y  
                 !!!next-input-character;  
                 push @next_char, $self->{next_char};  
                 if ($self->{next_char} == 0x0050 or # P  
                     $self->{next_char} == 0x0070) { # p  
                   !!!next-input-character;  
                   push @next_char, $self->{next_char};  
                   if ($self->{next_char} == 0x0045 or # E  
                       $self->{next_char} == 0x0065) { # e  
                     !!!cp (129);  
                     ## TODO: What a stupid code this is!  
                     $self->{state} = DOCTYPE_STATE;  
                     !!!next-input-character;  
                     redo A;  
                   } else {  
                     !!!cp (130);  
                   }  
                 } else {  
                   !!!cp (131);  
                 }  
               } else {  
                 !!!cp (132);  
               }  
             } else {  
               !!!cp (133);  
             }  
           } else {  
             !!!cp (134);  
           }  
         } else {  
           !!!cp (135);  
         }  
       } else {  
         !!!cp (136);  
       }  
   
       !!!parse-error (type => 'bogus comment');  
       $self->{next_char} = shift @next_char;  
       !!!back-next-input-character (@next_char);  
       $self->{state} = BOGUS_COMMENT_STATE;  
       redo A;  
         
       ## ISSUE: typos in spec: chacacters, is is a parse error  
       ## ISSUE: spec is somewhat unclear on "is the first character that will be in the comment"; what is "that will be in the comment" is what the algorithm defines, isn't it?  
     } elsif ($self->{state} == COMMENT_START_STATE) {  
       if ($self->{next_char} == 0x002D) { # -  
         !!!cp (137);  
         $self->{state} = COMMENT_START_DASH_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         !!!cp (138);  
         !!!parse-error (type => 'bogus comment');  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ($self->{current_token}); # comment  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (139);  
         !!!parse-error (type => 'unclosed comment');  
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         !!!emit ($self->{current_token}); # comment  
   
         redo A;  
       } else {  
         !!!cp (140);  
         $self->{current_token}->{data} # comment  
             .= chr ($self->{next_char});  
         $self->{state} = COMMENT_STATE;  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == COMMENT_START_DASH_STATE) {  
       if ($self->{next_char} == 0x002D) { # -  
         !!!cp (141);  
         $self->{state} = COMMENT_END_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         !!!cp (142);  
         !!!parse-error (type => 'bogus comment');  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ($self->{current_token}); # comment  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (143);  
         !!!parse-error (type => 'unclosed comment');  
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         !!!emit ($self->{current_token}); # comment  
   
         redo A;  
       } else {  
         !!!cp (144);  
         $self->{current_token}->{data} # comment  
             .= '-' . chr ($self->{next_char});  
         $self->{state} = COMMENT_STATE;  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == COMMENT_STATE) {  
       if ($self->{next_char} == 0x002D) { # -  
         !!!cp (145);  
         $self->{state} = COMMENT_END_DASH_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (146);  
         !!!parse-error (type => 'unclosed comment');  
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         !!!emit ($self->{current_token}); # comment  
   
         redo A;  
       } else {  
         !!!cp (147);  
         $self->{current_token}->{data} .= chr ($self->{next_char}); # comment  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == COMMENT_END_DASH_STATE) {  
       if ($self->{next_char} == 0x002D) { # -  
         !!!cp (148);  
         $self->{state} = COMMENT_END_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (149);  
         !!!parse-error (type => 'unclosed comment');  
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         !!!emit ($self->{current_token}); # comment  
   
         redo A;  
       } else {  
         !!!cp (150);  
         $self->{current_token}->{data} .= '-' . chr ($self->{next_char}); # comment  
         $self->{state} = COMMENT_STATE;  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == COMMENT_END_STATE) {  
       if ($self->{next_char} == 0x003E) { # >  
         !!!cp (151);  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ($self->{current_token}); # comment  
   
         redo A;  
       } elsif ($self->{next_char} == 0x002D) { # -  
         !!!cp (152);  
         !!!parse-error (type => 'dash in comment');  
         $self->{current_token}->{data} .= '-'; # comment  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (153);  
         !!!parse-error (type => 'unclosed comment');  
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         !!!emit ($self->{current_token}); # comment  
   
         redo A;  
       } else {  
         !!!cp (154);  
         !!!parse-error (type => 'dash in comment');  
         $self->{current_token}->{data} .= '--' . chr ($self->{next_char}); # comment  
         $self->{state} = COMMENT_STATE;  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == DOCTYPE_STATE) {  
       if ($self->{next_char} == 0x0009 or # HT  
           $self->{next_char} == 0x000A or # LF  
           $self->{next_char} == 0x000B or # VT  
           $self->{next_char} == 0x000C or # FF  
           $self->{next_char} == 0x0020) { # SP  
         !!!cp (155);  
         $self->{state} = BEFORE_DOCTYPE_NAME_STATE;  
         !!!next-input-character;  
         redo A;  
       } else {  
         !!!cp (156);  
         !!!parse-error (type => 'no space before DOCTYPE name');  
         $self->{state} = BEFORE_DOCTYPE_NAME_STATE;  
         ## reconsume  
         redo A;  
       }  
     } elsif ($self->{state} == BEFORE_DOCTYPE_NAME_STATE) {  
       if ($self->{next_char} == 0x0009 or # HT  
           $self->{next_char} == 0x000A or # LF  
           $self->{next_char} == 0x000B or # VT  
           $self->{next_char} == 0x000C or # FF  
           $self->{next_char} == 0x0020) { # SP  
         !!!cp (157);  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         !!!cp (158);  
         !!!parse-error (type => 'no DOCTYPE name');  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ({type => DOCTYPE_TOKEN, quirks => 1});  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (159);  
         !!!parse-error (type => 'no DOCTYPE name');  
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         !!!emit ({type => DOCTYPE_TOKEN, quirks => 1});  
   
         redo A;  
       } else {  
         !!!cp (160);  
         $self->{current_token}  
             = {type => DOCTYPE_TOKEN,  
                name => chr ($self->{next_char}),  
                #quirks => 0,  
               };  
 ## ISSUE: "Set the token's name name to the" in the spec  
         $self->{state} = DOCTYPE_NAME_STATE;  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == DOCTYPE_NAME_STATE) {  
 ## ISSUE: Redundant "First," in the spec.  
       if ($self->{next_char} == 0x0009 or # HT  
           $self->{next_char} == 0x000A or # LF  
           $self->{next_char} == 0x000B or # VT  
           $self->{next_char} == 0x000C or # FF  
           $self->{next_char} == 0x0020) { # SP  
         !!!cp (161);  
         $self->{state} = AFTER_DOCTYPE_NAME_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         !!!cp (162);  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (163);  
         !!!parse-error (type => 'unclosed DOCTYPE');  
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } else {  
         !!!cp (164);  
         $self->{current_token}->{name}  
           .= chr ($self->{next_char}); # DOCTYPE  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == AFTER_DOCTYPE_NAME_STATE) {  
       if ($self->{next_char} == 0x0009 or # HT  
           $self->{next_char} == 0x000A or # LF  
           $self->{next_char} == 0x000B or # VT  
           $self->{next_char} == 0x000C or # FF  
           $self->{next_char} == 0x0020) { # SP  
         !!!cp (165);  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         !!!cp (166);  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (167);  
         !!!parse-error (type => 'unclosed DOCTYPE');  
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } elsif ($self->{next_char} == 0x0050 or # P  
                $self->{next_char} == 0x0070) { # p  
         !!!next-input-character;  
         if ($self->{next_char} == 0x0055 or # U  
             $self->{next_char} == 0x0075) { # u  
           !!!next-input-character;  
           if ($self->{next_char} == 0x0042 or # B  
               $self->{next_char} == 0x0062) { # b  
             !!!next-input-character;  
             if ($self->{next_char} == 0x004C or # L  
                 $self->{next_char} == 0x006C) { # l  
               !!!next-input-character;  
               if ($self->{next_char} == 0x0049 or # I  
                   $self->{next_char} == 0x0069) { # i  
                 !!!next-input-character;  
                 if ($self->{next_char} == 0x0043 or # C  
                     $self->{next_char} == 0x0063) { # c  
                   !!!cp (168);  
                   $self->{state} = BEFORE_DOCTYPE_PUBLIC_IDENTIFIER_STATE;  
                   !!!next-input-character;  
                   redo A;  
                 } else {  
                   !!!cp (169);  
                 }  
               } else {  
                 !!!cp (170);  
               }  
             } else {  
               !!!cp (171);  
             }  
           } else {  
             !!!cp (172);  
           }  
         } else {  
           !!!cp (173);  
         }  
   
         #  
       } elsif ($self->{next_char} == 0x0053 or # S  
                $self->{next_char} == 0x0073) { # s  
         !!!next-input-character;  
         if ($self->{next_char} == 0x0059 or # Y  
             $self->{next_char} == 0x0079) { # y  
           !!!next-input-character;  
           if ($self->{next_char} == 0x0053 or # S  
               $self->{next_char} == 0x0073) { # s  
             !!!next-input-character;  
             if ($self->{next_char} == 0x0054 or # T  
                 $self->{next_char} == 0x0074) { # t  
               !!!next-input-character;  
               if ($self->{next_char} == 0x0045 or # E  
                   $self->{next_char} == 0x0065) { # e  
                 !!!next-input-character;  
                 if ($self->{next_char} == 0x004D or # M  
                     $self->{next_char} == 0x006D) { # m  
                   !!!cp (174);  
                   $self->{state} = BEFORE_DOCTYPE_SYSTEM_IDENTIFIER_STATE;  
                   !!!next-input-character;  
                   redo A;  
                 } else {  
                   !!!cp (175);  
                 }  
               } else {  
                 !!!cp (176);  
               }  
             } else {  
               !!!cp (177);  
             }  
           } else {  
             !!!cp (178);  
           }  
         } else {  
           !!!cp (179);  
         }  
   
         #  
       } else {  
         !!!cp (180);  
         !!!next-input-character;  
         #  
       }  
   
       !!!parse-error (type => 'string after DOCTYPE name');  
       $self->{current_token}->{quirks} = 1;  
   
       $self->{state} = BOGUS_DOCTYPE_STATE;  
       # next-input-character is already done  
       redo A;  
     } elsif ($self->{state} == BEFORE_DOCTYPE_PUBLIC_IDENTIFIER_STATE) {  
       if ({  
             0x0009 => 1, 0x000A => 1, 0x000B => 1, 0x000C => 1, 0x0020 => 1,  
             #0x000D => 1, # HT, LF, VT, FF, SP, CR  
           }->{$self->{next_char}}) {  
         !!!cp (181);  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} eq 0x0022) { # "  
         !!!cp (182);  
         $self->{current_token}->{public_identifier} = ''; # DOCTYPE  
         $self->{state} = DOCTYPE_PUBLIC_IDENTIFIER_DOUBLE_QUOTED_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} eq 0x0027) { # '  
         !!!cp (183);  
         $self->{current_token}->{public_identifier} = ''; # DOCTYPE  
         $self->{state} = DOCTYPE_PUBLIC_IDENTIFIER_SINGLE_QUOTED_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} eq 0x003E) { # >  
         !!!cp (184);  
         !!!parse-error (type => 'no PUBLIC literal');  
   
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (185);  
         !!!parse-error (type => 'unclosed DOCTYPE');  
   
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } else {  
         !!!cp (186);  
         !!!parse-error (type => 'string after PUBLIC');  
         $self->{current_token}->{quirks} = 1;  
   
         $self->{state} = BOGUS_DOCTYPE_STATE;  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == DOCTYPE_PUBLIC_IDENTIFIER_DOUBLE_QUOTED_STATE) {  
       if ($self->{next_char} == 0x0022) { # "  
         !!!cp (187);  
         $self->{state} = AFTER_DOCTYPE_PUBLIC_IDENTIFIER_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         !!!cp (188);  
         !!!parse-error (type => 'unclosed PUBLIC literal');  
   
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (189);  
         !!!parse-error (type => 'unclosed PUBLIC literal');  
   
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } else {  
         !!!cp (190);  
         $self->{current_token}->{public_identifier} # DOCTYPE  
             .= chr $self->{next_char};  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == DOCTYPE_PUBLIC_IDENTIFIER_SINGLE_QUOTED_STATE) {  
       if ($self->{next_char} == 0x0027) { # '  
         !!!cp (191);  
         $self->{state} = AFTER_DOCTYPE_PUBLIC_IDENTIFIER_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         !!!cp (192);  
         !!!parse-error (type => 'unclosed PUBLIC literal');  
   
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (193);  
         !!!parse-error (type => 'unclosed PUBLIC literal');  
   
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } else {  
         !!!cp (194);  
         $self->{current_token}->{public_identifier} # DOCTYPE  
             .= chr $self->{next_char};  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == AFTER_DOCTYPE_PUBLIC_IDENTIFIER_STATE) {  
       if ({  
             0x0009 => 1, 0x000A => 1, 0x000B => 1, 0x000C => 1, 0x0020 => 1,  
             #0x000D => 1, # HT, LF, VT, FF, SP, CR  
           }->{$self->{next_char}}) {  
         !!!cp (195);  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x0022) { # "  
         !!!cp (196);  
         $self->{current_token}->{system_identifier} = ''; # DOCTYPE  
         $self->{state} = DOCTYPE_SYSTEM_IDENTIFIER_DOUBLE_QUOTED_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x0027) { # '  
         !!!cp (197);  
         $self->{current_token}->{system_identifier} = ''; # DOCTYPE  
         $self->{state} = DOCTYPE_SYSTEM_IDENTIFIER_SINGLE_QUOTED_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         !!!cp (198);  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (199);  
         !!!parse-error (type => 'unclosed DOCTYPE');  
   
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } else {  
         !!!cp (200);  
         !!!parse-error (type => 'string after PUBLIC literal');  
         $self->{current_token}->{quirks} = 1;  
   
         $self->{state} = BOGUS_DOCTYPE_STATE;  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == BEFORE_DOCTYPE_SYSTEM_IDENTIFIER_STATE) {  
       if ({  
             0x0009 => 1, 0x000A => 1, 0x000B => 1, 0x000C => 1, 0x0020 => 1,  
             #0x000D => 1, # HT, LF, VT, FF, SP, CR  
           }->{$self->{next_char}}) {  
         !!!cp (201);  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x0022) { # "  
         !!!cp (202);  
         $self->{current_token}->{system_identifier} = ''; # DOCTYPE  
         $self->{state} = DOCTYPE_SYSTEM_IDENTIFIER_DOUBLE_QUOTED_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x0027) { # '  
         !!!cp (203);  
         $self->{current_token}->{system_identifier} = ''; # DOCTYPE  
         $self->{state} = DOCTYPE_SYSTEM_IDENTIFIER_SINGLE_QUOTED_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         !!!cp (204);  
         !!!parse-error (type => 'no SYSTEM literal');  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (205);  
         !!!parse-error (type => 'unclosed DOCTYPE');  
   
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } else {  
         !!!cp (206);  
         !!!parse-error (type => 'string after SYSTEM');  
         $self->{current_token}->{quirks} = 1;  
   
         $self->{state} = BOGUS_DOCTYPE_STATE;  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == DOCTYPE_SYSTEM_IDENTIFIER_DOUBLE_QUOTED_STATE) {  
       if ($self->{next_char} == 0x0022) { # "  
         !!!cp (207);  
         $self->{state} = AFTER_DOCTYPE_SYSTEM_IDENTIFIER_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         !!!cp (208);  
         !!!parse-error (type => 'unclosed PUBLIC literal');  
   
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (209);  
         !!!parse-error (type => 'unclosed SYSTEM literal');  
   
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } else {  
         !!!cp (210);  
         $self->{current_token}->{system_identifier} # DOCTYPE  
             .= chr $self->{next_char};  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == DOCTYPE_SYSTEM_IDENTIFIER_SINGLE_QUOTED_STATE) {  
       if ($self->{next_char} == 0x0027) { # '  
         !!!cp (211);  
         $self->{state} = AFTER_DOCTYPE_SYSTEM_IDENTIFIER_STATE;  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         !!!cp (212);  
         !!!parse-error (type => 'unclosed PUBLIC literal');  
   
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (213);  
         !!!parse-error (type => 'unclosed SYSTEM literal');  
   
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } else {  
         !!!cp (214);  
         $self->{current_token}->{system_identifier} # DOCTYPE  
             .= chr $self->{next_char};  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == AFTER_DOCTYPE_SYSTEM_IDENTIFIER_STATE) {  
       if ({  
             0x0009 => 1, 0x000A => 1, 0x000B => 1, 0x000C => 1, 0x0020 => 1,  
             #0x000D => 1, # HT, LF, VT, FF, SP, CR  
           }->{$self->{next_char}}) {  
         !!!cp (215);  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       } elsif ($self->{next_char} == 0x003E) { # >  
         !!!cp (216);  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (217);  
         !!!parse-error (type => 'unclosed DOCTYPE');  
   
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         $self->{current_token}->{quirks} = 1;  
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } else {  
         !!!cp (218);  
         !!!parse-error (type => 'string after SYSTEM literal');  
         #$self->{current_token}->{quirks} = 1;  
   
         $self->{state} = BOGUS_DOCTYPE_STATE;  
         !!!next-input-character;  
         redo A;  
       }  
     } elsif ($self->{state} == BOGUS_DOCTYPE_STATE) {  
       if ($self->{next_char} == 0x003E) { # >  
         !!!cp (219);  
         $self->{state} = DATA_STATE;  
         !!!next-input-character;  
   
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } elsif ($self->{next_char} == -1) {  
         !!!cp (220);  
         !!!parse-error (type => 'unclosed DOCTYPE');  
         $self->{state} = DATA_STATE;  
         ## reconsume  
   
         !!!emit ($self->{current_token}); # DOCTYPE  
   
         redo A;  
       } else {  
         !!!cp (221);  
         ## Stay in the state  
         !!!next-input-character;  
         redo A;  
       }  
     } else {  
       die "$0: $self->{state}: Unknown state";  
     }  
   } # A    
   
   die "$0: _get_next_token: unexpected case";  
 } # _get_next_token  
   
 sub _tokenize_attempt_to_consume_an_entity ($$$) {  
   my ($self, $in_attr, $additional) = @_;  
   
   if ({  
        0x0009 => 1, 0x000A => 1, 0x000B => 1, 0x000C => 1, # HT, LF, VT, FF,  
        0x0020 => 1, 0x003C => 1, 0x0026 => 1, -1 => 1, # SP, <, & # 0x000D # CR  
        $additional => 1,  
       }->{$self->{next_char}}) {  
     !!!cp (1001);  
     ## Don't consume  
     ## No error  
     return undef;  
   } elsif ($self->{next_char} == 0x0023) { # #  
     !!!next-input-character;  
     if ($self->{next_char} == 0x0078 or # x  
         $self->{next_char} == 0x0058) { # X  
       my $code;  
       X: {  
         my $x_char = $self->{next_char};  
         !!!next-input-character;  
         if (0x0030 <= $self->{next_char} and  
             $self->{next_char} <= 0x0039) { # 0..9  
           !!!cp (1002);  
           $code ||= 0;  
           $code *= 0x10;  
           $code += $self->{next_char} - 0x0030;  
           redo X;  
         } elsif (0x0061 <= $self->{next_char} and  
                  $self->{next_char} <= 0x0066) { # a..f  
           !!!cp (1003);  
           $code ||= 0;  
           $code *= 0x10;  
           $code += $self->{next_char} - 0x0060 + 9;  
           redo X;  
         } elsif (0x0041 <= $self->{next_char} and  
                  $self->{next_char} <= 0x0046) { # A..F  
           !!!cp (1004);  
           $code ||= 0;  
           $code *= 0x10;  
           $code += $self->{next_char} - 0x0040 + 9;  
           redo X;  
         } elsif (not defined $code) { # no hexadecimal digit  
           !!!cp (1005);  
           !!!parse-error (type => 'bare hcro');  
           !!!back-next-input-character ($x_char, $self->{next_char});  
           $self->{next_char} = 0x0023; # #  
           return undef;  
         } elsif ($self->{next_char} == 0x003B) { # ;  
           !!!cp (1006);  
           !!!next-input-character;  
         } else {  
           !!!cp (1007);  
           !!!parse-error (type => 'no refc');  
         }  
   
         if ($code == 0 or (0xD800 <= $code and $code <= 0xDFFF)) {  
           !!!cp (1008);  
           !!!parse-error (type => sprintf 'invalid character reference:U+%04X', $code);  
           $code = 0xFFFD;  
         } elsif ($code > 0x10FFFF) {  
           !!!cp (1009);  
           !!!parse-error (type => sprintf 'invalid character reference:U-%08X', $code);  
           $code = 0xFFFD;  
         } elsif ($code == 0x000D) {  
           !!!cp (1010);  
           !!!parse-error (type => 'CR character reference');  
           $code = 0x000A;  
         } elsif (0x80 <= $code and $code <= 0x9F) {  
           !!!cp (1011);  
           !!!parse-error (type => sprintf 'C1 character reference:U+%04X', $code);  
           $code = $c1_entity_char->{$code};  
         }  
   
         return {type => CHARACTER_TOKEN, data => chr $code,  
                 has_reference => 1};  
       } # X  
     } elsif (0x0030 <= $self->{next_char} and  
              $self->{next_char} <= 0x0039) { # 0..9  
       my $code = $self->{next_char} - 0x0030;  
       !!!next-input-character;  
         
       while (0x0030 <= $self->{next_char} and  
                 $self->{next_char} <= 0x0039) { # 0..9  
         !!!cp (1012);  
         $code *= 10;  
         $code += $self->{next_char} - 0x0030;  
           
         !!!next-input-character;  
       }  
   
       if ($self->{next_char} == 0x003B) { # ;  
         !!!cp (1013);  
         !!!next-input-character;  
       } else {  
         !!!cp (1014);  
         !!!parse-error (type => 'no refc');  
       }  
   
       if ($code == 0 or (0xD800 <= $code and $code <= 0xDFFF)) {  
         !!!cp (1015);  
         !!!parse-error (type => sprintf 'invalid character reference:U+%04X', $code);  
         $code = 0xFFFD;  
       } elsif ($code > 0x10FFFF) {  
         !!!cp (1016);  
         !!!parse-error (type => sprintf 'invalid character reference:U-%08X', $code);  
         $code = 0xFFFD;  
       } elsif ($code == 0x000D) {  
         !!!cp (1017);  
         !!!parse-error (type => 'CR character reference');  
         $code = 0x000A;  
       } elsif (0x80 <= $code and $code <= 0x9F) {  
         !!!cp (1018);  
         !!!parse-error (type => sprintf 'C1 character reference:U+%04X', $code);  
         $code = $c1_entity_char->{$code};  
       }  
         
       return {type => CHARACTER_TOKEN, data => chr $code, has_reference => 1};  
     } else {  
       !!!cp (1019);  
       !!!parse-error (type => 'bare nero');  
       !!!back-next-input-character ($self->{next_char});  
       $self->{next_char} = 0x0023; # #  
       return undef;  
     }  
   } elsif ((0x0041 <= $self->{next_char} and  
             $self->{next_char} <= 0x005A) or  
            (0x0061 <= $self->{next_char} and  
             $self->{next_char} <= 0x007A)) {  
     my $entity_name = chr $self->{next_char};  
     !!!next-input-character;  
   
     my $value = $entity_name;  
     my $match = 0;  
     require Whatpm::_NamedEntityList;  
     our $EntityChar;  
   
     while (length $entity_name < 10 and  
            ## NOTE: Some number greater than the maximum length of entity name  
            ((0x0041 <= $self->{next_char} and # a  
              $self->{next_char} <= 0x005A) or # x  
             (0x0061 <= $self->{next_char} and # a  
              $self->{next_char} <= 0x007A) or # z  
             (0x0030 <= $self->{next_char} and # 0  
              $self->{next_char} <= 0x0039) or # 9  
             $self->{next_char} == 0x003B)) { # ;  
       $entity_name .= chr $self->{next_char};  
       if (defined $EntityChar->{$entity_name}) {  
         if ($self->{next_char} == 0x003B) { # ;  
           !!!cp (1020);  
           $value = $EntityChar->{$entity_name};  
           $match = 1;  
           !!!next-input-character;  
           last;  
         } else {  
           !!!cp (1021);  
           $value = $EntityChar->{$entity_name};  
           $match = -1;  
           !!!next-input-character;  
         }  
       } else {  
         !!!cp (1022);  
         $value .= chr $self->{next_char};  
         $match *= 2;  
         !!!next-input-character;  
       }  
     }  
       
     if ($match > 0) {  
       !!!cp (1023);  
       return {type => CHARACTER_TOKEN, data => $value, has_reference => 1};  
     } elsif ($match < 0) {  
       !!!parse-error (type => 'no refc');  
       if ($in_attr and $match < -1) {  
         !!!cp (1024);  
         return {type => CHARACTER_TOKEN, data => '&'.$entity_name};  
       } else {  
         !!!cp (1025);  
         return {type => CHARACTER_TOKEN, data => $value, has_reference => 1};  
       }  
     } else {  
       !!!cp (1026);  
       !!!parse-error (type => 'bare ero');  
       ## NOTE: "No characters are consumed" in the spec.  
       return {type => CHARACTER_TOKEN, data => '&'.$value};  
     }  
   } else {  
     !!!cp (1027);  
     ## no characters are consumed  
     !!!parse-error (type => 'bare ero');  
     return undef;  
   }  
 } # _tokenize_attempt_to_consume_an_entity  
   
863  sub _initialize_tree_constructor ($) {  sub _initialize_tree_constructor ($) {
864    my $self = shift;    my $self = shift;
865    ## NOTE: $self->{document} MUST be specified before this method is called    ## NOTE: $self->{document} MUST be specified before this method is called
# Line 2400  sub _initialize_tree_constructor ($) { Line 867  sub _initialize_tree_constructor ($) {
867    ## TODO: Turn mutation events off # MUST    ## TODO: Turn mutation events off # MUST
868    ## TODO: Turn loose Document option (manakai extension) on    ## TODO: Turn loose Document option (manakai extension) on
869    $self->{document}->manakai_is_html (1); # MUST    $self->{document}->manakai_is_html (1); # MUST
870      $self->{document}->set_user_data (manakai_source_line => 1);
871      $self->{document}->set_user_data (manakai_source_column => 1);
872  } # _initialize_tree_constructor  } # _initialize_tree_constructor
873    
874  sub _terminate_tree_constructor ($) {  sub _terminate_tree_constructor ($) {
# Line 2419  sub _construct_tree ($) { Line 888  sub _construct_tree ($) {
888    ## When an interactive UA render the $self->{document} available    ## When an interactive UA render the $self->{document} available
889    ## to the user, or when it begin accepting user input, are    ## to the user, or when it begin accepting user input, are
890    ## not defined.    ## not defined.
   
   ## Append a character: collect it and all subsequent consecutive  
   ## characters and insert one Text node whose data is concatenation  
   ## of all those characters. # MUST  
891        
892    !!!next-token;    !!!next-token;
893    
894    undef $self->{form_element};    undef $self->{form_element};
895    undef $self->{head_element};    undef $self->{head_element};
896      undef $self->{head_element_inserted};
897    $self->{open_elements} = [];    $self->{open_elements} = [];
898    undef $self->{inner_html_node};    undef $self->{inner_html_node};
899      undef $self->{ignore_newline};
900    
901    ## NOTE: The "initial" insertion mode.    ## NOTE: The "initial" insertion mode.
902    $self->_tree_construction_initial; # MUST    $self->_tree_construction_initial; # MUST
# Line 2449  sub _tree_construction_initial ($) { Line 916  sub _tree_construction_initial ($) {
916    
917    INITIAL: {    INITIAL: {
918      if ($token->{type} == DOCTYPE_TOKEN) {      if ($token->{type} == DOCTYPE_TOKEN) {
919        ## NOTE: Conformance checkers MAY, instead of reporting "not HTML5"        ## NOTE: Conformance checkers MAY, instead of reporting "not
920        ## error, switch to a conformance checking mode for another        ## HTML5" error, switch to a conformance checking mode for
921        ## language.        ## another language.  (We don't support such mode switchings; it
922          ## is nonsense to do anything different from what browsers do.)
923        my $doctype_name = $token->{name};        my $doctype_name = $token->{name};
924        $doctype_name = '' unless defined $doctype_name;        $doctype_name = '' unless defined $doctype_name;
925        $doctype_name =~ tr/a-z/A-Z/;        my $doctype = $self->{document}->create_document_type_definition
926        if (not defined $token->{name} or # <!DOCTYPE>            ($doctype_name);
927            defined $token->{public_identifier} or  
928            defined $token->{system_identifier}) {        $doctype_name =~ tr/A-Z/a-z/; # ASCII case-insensitive
929          if ($doctype_name ne 'html') {
930          !!!cp ('t1');          !!!cp ('t1');
931          !!!parse-error (type => 'not HTML5');          !!!parse-error (type => 'not HTML5', token => $token);
932        } elsif ($doctype_name ne 'HTML') {        } elsif (defined $token->{pubid}) {
933          !!!cp ('t2');          !!!cp ('t2');
934          ## ISSUE: ASCII case-insensitive? (in fact it does not matter)          ## XXX Obsolete permitted DOCTYPEs
935          !!!parse-error (type => 'not HTML5');          !!!parse-error (type => 'not HTML5', token => $token);
936        } else {        } elsif (defined $token->{sysid}) {
937            if ($token->{sysid} eq 'about:legacy-compat') {
938              !!!cp ('t1.2'); ## <!DOCTYPE HTML SYSTEM "about:legacy-compat">
939              !!!parse-error (type => 'XSLT-compat', token => $token,
940                              level => $self->{level}->{should});
941            } else {
942              !!!parse-error (type => 'not HTML5', token => $token);
943            }
944          } else { ## <!DOCTYPE HTML>
945          !!!cp ('t3');          !!!cp ('t3');
946            #
947        }        }
948                
949        my $doctype = $self->{document}->create_document_type_definition        ## NOTE: Default value for both |public_id| and |system_id| attributes
950          ($token->{name}); ## ISSUE: If name is missing (e.g. <!DOCTYPE>)?        ## are empty strings, so that we don't set any value in missing cases.
951        $doctype->public_id ($token->{public_identifier})        $doctype->public_id ($token->{pubid}) if defined $token->{pubid};
952            if defined $token->{public_identifier};        $doctype->system_id ($token->{sysid}) if defined $token->{sysid};
953        $doctype->system_id ($token->{system_identifier})  
           if defined $token->{system_identifier};  
954        ## NOTE: Other DocumentType attributes are null or empty lists.        ## NOTE: Other DocumentType attributes are null or empty lists.
955        ## ISSUE: internalSubset = null??        ## In Firefox3, |internalSubset| attribute is set to the empty
956          ## string, while |null| is an allowed value for the attribute
957          ## according to DOM3 Core.
958        $self->{document}->append_child ($doctype);        $self->{document}->append_child ($doctype);
959                
960        if ($token->{quirks} or $doctype_name ne 'HTML') {        if ($token->{quirks} or $doctype_name ne 'html') {
961          !!!cp ('t4');          !!!cp ('t4');
962          $self->{document}->manakai_compat_mode ('quirks');          $self->{document}->manakai_compat_mode ('quirks');
963        } elsif (defined $token->{public_identifier}) {        } elsif (defined $token->{pubid}) {
964          my $pubid = $token->{public_identifier};          my $pubid = $token->{pubid};
965          $pubid =~ tr/a-z/A-z/;          $pubid =~ tr/a-z/A-z/;
966          if ({          my $prefix = [
967            "+//SILMARIL//DTD HTML PRO V0R11 19970101//EN" => 1,            "+//SILMARIL//DTD HTML PRO V0R11 19970101//",
968            "-//ADVASOFT LTD//DTD HTML 3.0 ASWEDIT + EXTENSIONS//EN" => 1,            "-//ADVASOFT LTD//DTD HTML 3.0 ASWEDIT + EXTENSIONS//",
969            "-//AS//DTD HTML 3.0 ASWEDIT + EXTENSIONS//EN" => 1,            "-//AS//DTD HTML 3.0 ASWEDIT + EXTENSIONS//",
970            "-//IETF//DTD HTML 2.0 LEVEL 1//EN" => 1,            "-//IETF//DTD HTML 2.0 LEVEL 1//",
971            "-//IETF//DTD HTML 2.0 LEVEL 2//EN" => 1,            "-//IETF//DTD HTML 2.0 LEVEL 2//",
972            "-//IETF//DTD HTML 2.0 STRICT LEVEL 1//EN" => 1,            "-//IETF//DTD HTML 2.0 STRICT LEVEL 1//",
973            "-//IETF//DTD HTML 2.0 STRICT LEVEL 2//EN" => 1,            "-//IETF//DTD HTML 2.0 STRICT LEVEL 2//",
974            "-//IETF//DTD HTML 2.0 STRICT//EN" => 1,            "-//IETF//DTD HTML 2.0 STRICT//",
975            "-//IETF//DTD HTML 2.0//EN" => 1,            "-//IETF//DTD HTML 2.0//",
976            "-//IETF//DTD HTML 2.1E//EN" => 1,            "-//IETF//DTD HTML 2.1E//",
977            "-//IETF//DTD HTML 3.0//EN" => 1,            "-//IETF//DTD HTML 3.0//",
978            "-//IETF//DTD HTML 3.0//EN//" => 1,            "-//IETF//DTD HTML 3.2 FINAL//",
979            "-//IETF//DTD HTML 3.2 FINAL//EN" => 1,            "-//IETF//DTD HTML 3.2//",
980            "-//IETF//DTD HTML 3.2//EN" => 1,            "-//IETF//DTD HTML 3//",
981            "-//IETF//DTD HTML 3//EN" => 1,            "-//IETF//DTD HTML LEVEL 0//",
982            "-//IETF//DTD HTML LEVEL 0//EN" => 1,            "-//IETF//DTD HTML LEVEL 1//",
983            "-//IETF//DTD HTML LEVEL 0//EN//2.0" => 1,            "-//IETF//DTD HTML LEVEL 2//",
984            "-//IETF//DTD HTML LEVEL 1//EN" => 1,            "-//IETF//DTD HTML LEVEL 3//",
985            "-//IETF//DTD HTML LEVEL 1//EN//2.0" => 1,            "-//IETF//DTD HTML STRICT LEVEL 0//",
986            "-//IETF//DTD HTML LEVEL 2//EN" => 1,            "-//IETF//DTD HTML STRICT LEVEL 1//",
987            "-//IETF//DTD HTML LEVEL 2//EN//2.0" => 1,            "-//IETF//DTD HTML STRICT LEVEL 2//",
988            "-//IETF//DTD HTML LEVEL 3//EN" => 1,            "-//IETF//DTD HTML STRICT LEVEL 3//",
989            "-//IETF//DTD HTML LEVEL 3//EN//3.0" => 1,            "-//IETF//DTD HTML STRICT//",
990            "-//IETF//DTD HTML STRICT LEVEL 0//EN" => 1,            "-//IETF//DTD HTML//",
991            "-//IETF//DTD HTML STRICT LEVEL 0//EN//2.0" => 1,            "-//METRIUS//DTD METRIUS PRESENTATIONAL//",
992            "-//IETF//DTD HTML STRICT LEVEL 1//EN" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 HTML STRICT//",
993            "-//IETF//DTD HTML STRICT LEVEL 1//EN//2.0" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 HTML//",
994            "-//IETF//DTD HTML STRICT LEVEL 2//EN" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 TABLES//",
995            "-//IETF//DTD HTML STRICT LEVEL 2//EN//2.0" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 HTML STRICT//",
996            "-//IETF//DTD HTML STRICT LEVEL 3//EN" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 HTML//",
997            "-//IETF//DTD HTML STRICT LEVEL 3//EN//3.0" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 TABLES//",
998            "-//IETF//DTD HTML STRICT//EN" => 1,            "-//NETSCAPE COMM. CORP.//DTD HTML//",
999            "-//IETF//DTD HTML STRICT//EN//2.0" => 1,            "-//NETSCAPE COMM. CORP.//DTD STRICT HTML//",
1000            "-//IETF//DTD HTML STRICT//EN//3.0" => 1,            "-//O'REILLY AND ASSOCIATES//DTD HTML 2.0//",
1001            "-//IETF//DTD HTML//EN" => 1,            "-//O'REILLY AND ASSOCIATES//DTD HTML EXTENDED 1.0//",
1002            "-//IETF//DTD HTML//EN//2.0" => 1,            "-//O'REILLY AND ASSOCIATES//DTD HTML EXTENDED RELAXED 1.0//",
1003            "-//IETF//DTD HTML//EN//3.0" => 1,            "-//SOFTQUAD SOFTWARE//DTD HOTMETAL PRO 6.0::19990601::EXTENSIONS TO HTML 4.0//",
1004            "-//METRIUS//DTD METRIUS PRESENTATIONAL//EN" => 1,            "-//SOFTQUAD//DTD HOTMETAL PRO 4.0::19971010::EXTENSIONS TO HTML 4.0//",
1005            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 HTML STRICT//EN" => 1,            "-//SPYGLASS//DTD HTML 2.0 EXTENDED//",
1006            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 HTML//EN" => 1,            "-//SQ//DTD HTML 2.0 HOTMETAL + EXTENSIONS//",
1007            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 TABLES//EN" => 1,            "-//SUN MICROSYSTEMS CORP.//DTD HOTJAVA HTML//",
1008            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 HTML STRICT//EN" => 1,            "-//SUN MICROSYSTEMS CORP.//DTD HOTJAVA STRICT HTML//",
1009            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 HTML//EN" => 1,            "-//W3C//DTD HTML 3 1995-03-24//",
1010            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 TABLES//EN" => 1,            "-//W3C//DTD HTML 3.2 DRAFT//",
1011            "-//NETSCAPE COMM. CORP.//DTD HTML//EN" => 1,            "-//W3C//DTD HTML 3.2 FINAL//",
1012            "-//NETSCAPE COMM. CORP.//DTD STRICT HTML//EN" => 1,            "-//W3C//DTD HTML 3.2//",
1013            "-//O'REILLY AND ASSOCIATES//DTD HTML 2.0//EN" => 1,            "-//W3C//DTD HTML 3.2S DRAFT//",
1014            "-//O'REILLY AND ASSOCIATES//DTD HTML EXTENDED 1.0//EN" => 1,            "-//W3C//DTD HTML 4.0 FRAMESET//",
1015            "-//O'REILLY AND ASSOCIATES//DTD HTML EXTENDED RELAXED 1.0//EN" => 1,            "-//W3C//DTD HTML 4.0 TRANSITIONAL//",
1016            "-//SOFTQUAD SOFTWARE//DTD HOTMETAL PRO 6.0::19990601::EXTENSIONS TO HTML 4.0//EN" => 1,            "-//W3C//DTD HTML EXPERIMETNAL 19960712//",
1017            "-//SOFTQUAD//DTD HOTMETAL PRO 4.0::19971010::EXTENSIONS TO HTML 4.0//EN" => 1,            "-//W3C//DTD HTML EXPERIMENTAL 970421//",
1018            "-//SPYGLASS//DTD HTML 2.0 EXTENDED//EN" => 1,            "-//W3C//DTD W3 HTML//",
1019            "-//SQ//DTD HTML 2.0 HOTMETAL + EXTENSIONS//EN" => 1,            "-//W3O//DTD W3 HTML 3.0//",
1020            "-//SUN MICROSYSTEMS CORP.//DTD HOTJAVA HTML//EN" => 1,            "-//WEBTECHS//DTD MOZILLA HTML 2.0//",
1021            "-//SUN MICROSYSTEMS CORP.//DTD HOTJAVA STRICT HTML//EN" => 1,            "-//WEBTECHS//DTD MOZILLA HTML//",
1022            "-//W3C//DTD HTML 3 1995-03-24//EN" => 1,          ]; # $prefix
1023            "-//W3C//DTD HTML 3.2 DRAFT//EN" => 1,          my $match;
1024            "-//W3C//DTD HTML 3.2 FINAL//EN" => 1,          for (@$prefix) {
1025            "-//W3C//DTD HTML 3.2//EN" => 1,            if (substr ($prefix, 0, length $_) eq $_) {
1026            "-//W3C//DTD HTML 3.2S DRAFT//EN" => 1,              $match = 1;
1027            "-//W3C//DTD HTML 4.0 FRAMESET//EN" => 1,              last;
1028            "-//W3C//DTD HTML 4.0 TRANSITIONAL//EN" => 1,            }
1029            "-//W3C//DTD HTML EXPERIMETNAL 19960712//EN" => 1,          }
1030            "-//W3C//DTD HTML EXPERIMENTAL 970421//EN" => 1,          if ($match or
1031            "-//W3C//DTD W3 HTML//EN" => 1,              $pubid eq "-//W3O//DTD W3 HTML STRICT 3.0//EN//" or
1032            "-//W3O//DTD W3 HTML 3.0//EN" => 1,              $pubid eq "-/W3C/DTD HTML 4.0 TRANSITIONAL/EN" or
1033            "-//W3O//DTD W3 HTML 3.0//EN//" => 1,              $pubid eq "HTML") {
           "-//W3O//DTD W3 HTML STRICT 3.0//EN//" => 1,  
           "-//WEBTECHS//DTD MOZILLA HTML 2.0//EN" => 1,  
           "-//WEBTECHS//DTD MOZILLA HTML//EN" => 1,  
           "-/W3C/DTD HTML 4.0 TRANSITIONAL/EN" => 1,  
           "HTML" => 1,  
         }->{$pubid}) {  
1034            !!!cp ('t5');            !!!cp ('t5');
1035            $self->{document}->manakai_compat_mode ('quirks');            $self->{document}->manakai_compat_mode ('quirks');
1036          } elsif ($pubid eq "-//W3C//DTD HTML 4.01 FRAMESET//EN" or          } elsif ($pubid =~ m[^-//W3C//DTD HTML 4.01 FRAMESET//] or
1037                   $pubid eq "-//W3C//DTD HTML 4.01 TRANSITIONAL//EN") {                   $pubid =~ m[^-//W3C//DTD HTML 4.01 TRANSITIONAL//]) {
1038            if (defined $token->{system_identifier}) {            if (defined $token->{sysid}) {
1039              !!!cp ('t6');              !!!cp ('t6');
1040              $self->{document}->manakai_compat_mode ('quirks');              $self->{document}->manakai_compat_mode ('quirks');
1041            } else {            } else {
1042              !!!cp ('t7');              !!!cp ('t7');
1043              $self->{document}->manakai_compat_mode ('limited quirks');              $self->{document}->manakai_compat_mode ('limited quirks');
1044            }            }
1045          } elsif ($pubid eq "-//W3C//DTD XHTML 1.0 FRAMESET//EN" or          } elsif ($pubid =~ m[^-//W3C//DTD XHTML 1.0 FRAMESET//] or
1046                   $pubid eq "-//W3C//DTD XHTML 1.0 TRANSITIONAL//EN") {                   $pubid =~ m[^-//W3C//DTD XHTML 1.0 TRANSITIONAL//]) {
1047            !!!cp ('t8');            !!!cp ('t8');
1048            $self->{document}->manakai_compat_mode ('limited quirks');            $self->{document}->manakai_compat_mode ('limited quirks');
1049          } else {          } else {
# Line 2579  sub _tree_construction_initial ($) { Line 1052  sub _tree_construction_initial ($) {
1052        } else {        } else {
1053          !!!cp ('t10');          !!!cp ('t10');
1054        }        }
1055        if (defined $token->{system_identifier}) {        if (defined $token->{sysid}) {
1056          my $sysid = $token->{system_identifier};          my $sysid = $token->{sysid};
1057          $sysid =~ tr/A-Z/a-z/;          $sysid =~ tr/A-Z/a-z/;
1058          if ($sysid eq "http://www.ibm.com/data/dtd/v11/ibmxhtml1-transitional.dtd") {          if ($sysid eq "http://www.ibm.com/data/dtd/v11/ibmxhtml1-transitional.dtd") {
1059            ## TODO: Check the spec: PUBLIC "(limited quirks)" "(quirks)"            ## NOTE: Ensure that |PUBLIC "(limited quirks)" "(quirks)"| is
1060              ## marked as quirks.
1061            $self->{document}->manakai_compat_mode ('quirks');            $self->{document}->manakai_compat_mode ('quirks');
1062            !!!cp ('t11');            !!!cp ('t11');
1063          } else {          } else {
# Line 2602  sub _tree_construction_initial ($) { Line 1076  sub _tree_construction_initial ($) {
1076                END_OF_FILE_TOKEN, 1,                END_OF_FILE_TOKEN, 1,
1077               }->{$token->{type}}) {               }->{$token->{type}}) {
1078        !!!cp ('t14');        !!!cp ('t14');
1079        !!!parse-error (type => 'no DOCTYPE');        !!!parse-error (type => 'no DOCTYPE', token => $token);
1080        $self->{document}->manakai_compat_mode ('quirks');        $self->{document}->manakai_compat_mode ('quirks');
1081        ## Go to the "before html" insertion mode.        ## Go to the "before html" insertion mode.
1082        ## reprocess        ## reprocess
1083          !!!ack-later;
1084        return;        return;
1085      } elsif ($token->{type} == CHARACTER_TOKEN) {      } elsif ($token->{type} == CHARACTER_TOKEN) {
1086        if ($token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) { # \x0D        if ($token->{data} =~ s/^([\x09\x0A\x0C\x20]+)//) {
1087          ## Ignore the token          ## Ignore the token
1088    
1089          unless (length $token->{data}) {          unless (length $token->{data}) {
# Line 2623  sub _tree_construction_initial ($) { Line 1098  sub _tree_construction_initial ($) {
1098          !!!cp ('t17');          !!!cp ('t17');
1099        }        }
1100    
1101        !!!parse-error (type => 'no DOCTYPE');        !!!parse-error (type => 'no DOCTYPE', token => $token);
1102        $self->{document}->manakai_compat_mode ('quirks');        $self->{document}->manakai_compat_mode ('quirks');
1103        ## Go to the "before html" insertion mode.        ## Go to the "before html" insertion mode.
1104        ## reprocess        ## reprocess
# Line 2652  sub _tree_construction_root_element ($) Line 1127  sub _tree_construction_root_element ($)
1127    B: {    B: {
1128        if ($token->{type} == DOCTYPE_TOKEN) {        if ($token->{type} == DOCTYPE_TOKEN) {
1129          !!!cp ('t19');          !!!cp ('t19');
1130          !!!parse-error (type => 'in html:#DOCTYPE');          !!!parse-error (type => 'in html:#DOCTYPE', token => $token);
1131          ## Ignore the token          ## Ignore the token
1132          ## Stay in the insertion mode.          ## Stay in the insertion mode.
1133          !!!next-token;          !!!next-token;
# Line 2665  sub _tree_construction_root_element ($) Line 1140  sub _tree_construction_root_element ($)
1140          !!!next-token;          !!!next-token;
1141          redo B;          redo B;
1142        } elsif ($token->{type} == CHARACTER_TOKEN) {        } elsif ($token->{type} == CHARACTER_TOKEN) {
1143          if ($token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) { # \x0D          if ($token->{data} =~ s/^([\x09\x0A\x0C\x20]+)//) {
1144            ## Ignore the token.            ## Ignore the token.
1145    
1146            unless (length $token->{data}) {            unless (length $token->{data}) {
# Line 2686  sub _tree_construction_root_element ($) Line 1161  sub _tree_construction_root_element ($)
1161        } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
1162          if ($token->{tag_name} eq 'html') {          if ($token->{tag_name} eq 'html') {
1163            my $root_element;            my $root_element;
1164            !!!create-element ($root_element, $token->{tag_name}, $token->{attributes});            !!!create-element ($root_element, $HTML_NS, $token->{tag_name}, $token->{attributes}, $token);
1165            $self->{document}->append_child ($root_element);            $self->{document}->append_child ($root_element);
1166            push @{$self->{open_elements}}, [$root_element, 'html'];            push @{$self->{open_elements}},
1167                  [$root_element, $el_category->{html}];
1168    
1169            if ($token->{attributes}->{manifest}) {            if ($token->{attributes}->{manifest}) {
1170              !!!cp ('t24');              !!!cp ('t24');
1171              $self->{application_cache_selection}              $self->{application_cache_selection}
1172                  ->($token->{attributes}->{manifest}->{value});                  ->($token->{attributes}->{manifest}->{value});
1173              ## ISSUE: No relative reference resolution?              ## ISSUE: Spec is unclear on relative references.
1174                ## According to Hixie (#whatwg 2008-03-19), it should be
1175                ## resolved against the base URI of the document in HTML
1176                ## or xml:base of the element in XHTML.
1177            } else {            } else {
1178              !!!cp ('t25');              !!!cp ('t25');
1179              $self->{application_cache_selection}->(undef);              $self->{application_cache_selection}->(undef);
1180            }            }
1181    
1182              !!!nack ('t25c');
1183    
1184            !!!next-token;            !!!next-token;
1185            return; ## Go to the "before head" insertion mode.            return; ## Go to the "before head" insertion mode.
1186          } else {          } else {
# Line 2716  sub _tree_construction_root_element ($) Line 1197  sub _tree_construction_root_element ($)
1197          die "$0: $token->{type}: Unknown token type";          die "$0: $token->{type}: Unknown token type";
1198        }        }
1199    
1200      my $root_element; !!!create-element ($root_element, 'html');      my $root_element;
1201        !!!create-element ($root_element, $HTML_NS, 'html',, $token);
1202      $self->{document}->append_child ($root_element);      $self->{document}->append_child ($root_element);
1203      push @{$self->{open_elements}}, [$root_element, 'html'];      push @{$self->{open_elements}}, [$root_element, $el_category->{html}];
1204    
1205      $self->{application_cache_selection}->(undef);      $self->{application_cache_selection}->(undef);
1206    
1207      ## NOTE: Reprocess the token.      ## NOTE: Reprocess the token.
1208        !!!ack-later;
1209      return; ## Go to the "before head" insertion mode.      return; ## Go to the "before head" insertion mode.
   
     ## ISSUE: There is an issue in the spec  
1210    } # B    } # B
1211    
1212    die "$0: _tree_construction_root_element: This should never be reached";    die "$0: _tree_construction_root_element: This should never be reached";
# Line 2746  sub _reset_insertion_mode ($) { Line 1227  sub _reset_insertion_mode ($) {
1227        if ($self->{open_elements}->[0]->[0] eq $node->[0]) {        if ($self->{open_elements}->[0]->[0] eq $node->[0]) {
1228          $last = 1;          $last = 1;
1229          if (defined $self->{inner_html_node}) {          if (defined $self->{inner_html_node}) {
1230            if ($self->{inner_html_node}->[1] eq 'td' or            !!!cp ('t28');
1231                $self->{inner_html_node}->[1] eq 'th') {            $node = $self->{inner_html_node};
1232              !!!cp ('t27');          } else {
1233              #            die "_reset_insertion_mode: t27";
           } else {  
             !!!cp ('t28');  
             $node = $self->{inner_html_node};  
           }  
1234          }          }
1235        }        }
1236              
1237        ## Step 4..13        ## Step 4..14
1238        my $new_mode = {        my $new_mode;
1239          if ($node->[1] & FOREIGN_EL) {
1240            !!!cp ('t28.1');
1241            ## NOTE: Strictly spaking, the line below only applies to MathML and
1242            ## SVG elements.  Currently the HTML syntax supports only MathML and
1243            ## SVG elements as foreigners.
1244            $new_mode = IN_BODY_IM | IN_FOREIGN_CONTENT_IM;
1245          } elsif ($node->[1] == TABLE_CELL_EL) {
1246            if ($last) {
1247              !!!cp ('t28.2');
1248              #
1249            } else {
1250              !!!cp ('t28.3');
1251              $new_mode = IN_CELL_IM;
1252            }
1253          } else {
1254            !!!cp ('t28.4');
1255            $new_mode = {
1256                        select => IN_SELECT_IM,                        select => IN_SELECT_IM,
1257                        ## NOTE: |option| and |optgroup| do not set                        ## NOTE: |option| and |optgroup| do not set
1258                        ## insertion mode to "in select" by themselves.                        ## insertion mode to "in select" by themselves.
                       td => IN_CELL_IM,  
                       th => IN_CELL_IM,  
1259                        tr => IN_ROW_IM,                        tr => IN_ROW_IM,
1260                        tbody => IN_TABLE_BODY_IM,                        tbody => IN_TABLE_BODY_IM,
1261                        thead => IN_TABLE_BODY_IM,                        thead => IN_TABLE_BODY_IM,
# Line 2774  sub _reset_insertion_mode ($) { Line 1266  sub _reset_insertion_mode ($) {
1266                        head => IN_BODY_IM, # not in head!                        head => IN_BODY_IM, # not in head!
1267                        body => IN_BODY_IM,                        body => IN_BODY_IM,
1268                        frameset => IN_FRAMESET_IM,                        frameset => IN_FRAMESET_IM,
1269                       }->{$node->[1]};                       }->{$node->[0]->manakai_local_name};
1270          }
1271        $self->{insertion_mode} = $new_mode and return if defined $new_mode;        $self->{insertion_mode} = $new_mode and return if defined $new_mode;
1272                
1273        ## Step 14        ## Step 15
1274        if ($node->[1] eq 'html') {        if ($node->[1] == HTML_EL) {
1275          unless (defined $self->{head_element}) {          unless (defined $self->{head_element}) {
1276            !!!cp ('t29');            !!!cp ('t29');
1277            $self->{insertion_mode} = BEFORE_HEAD_IM;            $self->{insertion_mode} = BEFORE_HEAD_IM;
# Line 2792  sub _reset_insertion_mode ($) { Line 1285  sub _reset_insertion_mode ($) {
1285          !!!cp ('t31');          !!!cp ('t31');
1286        }        }
1287                
1288        ## Step 15        ## Step 16
1289        $self->{insertion_mode} = IN_BODY_IM and return if $last;        $self->{insertion_mode} = IN_BODY_IM and return if $last;
1290                
1291        ## Step 16        ## Step 17
1292        $i--;        $i--;
1293        $node = $self->{open_elements}->[$i];        $node = $self->{open_elements}->[$i];
1294                
1295        ## Step 17        ## Step 18
1296        redo S3;        redo S3;
1297      } # S3      } # S3
1298    
# Line 2910  sub _tree_construction_main ($) { Line 1403  sub _tree_construction_main ($) {
1403    
1404      ## Step 1      ## Step 1
1405      my $start_tag_name = $token->{tag_name};      my $start_tag_name = $token->{tag_name};
1406      my $el;      !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
     !!!create-element ($el, $start_tag_name, $token->{attributes});  
1407    
1408      ## Step 2      ## Step 2
     $insert->($el);  
   
     ## Step 3  
1409      $self->{content_model} = $content_model_flag; # CDATA or RCDATA      $self->{content_model} = $content_model_flag; # CDATA or RCDATA
1410      delete $self->{escape}; # MUST      delete $self->{escape}; # MUST
1411    
1412      ## Step 4      ## Step 3, 4
1413      my $text = '';      $self->{insertion_mode} |= IN_CDATA_RCDATA_IM;
     !!!next-token;  
     while ($token->{type} == CHARACTER_TOKEN) { # or until stop tokenizing  
       !!!cp ('t40');  
       $text .= $token->{data};  
       !!!next-token;  
     }  
   
     ## Step 5  
     if (length $text) {  
       !!!cp ('t41');  
       my $text = $self->{document}->create_text_node ($text);  
       $el->append_child ($text);  
     }  
   
     ## Step 6  
     $self->{content_model} = PCDATA_CONTENT_MODEL;  
1414    
1415      ## Step 7      !!!nack ('t40.1');
     if ($token->{type} == END_TAG_TOKEN and  
         $token->{tag_name} eq $start_tag_name) {  
       !!!cp ('t42');  
       ## Ignore the token  
     } else {  
       ## NOTE: An end-of-file token.  
       if ($content_model_flag == CDATA_CONTENT_MODEL) {  
         !!!cp ('t43');  
         !!!parse-error (type => 'in CDATA:#'.$token->{type});  
       } elsif ($content_model_flag == RCDATA_CONTENT_MODEL) {  
         !!!cp ('t44');  
         !!!parse-error (type => 'in RCDATA:#'.$token->{type});  
       } else {  
         die "$0: $content_model_flag in parse_rcdata";  
       }  
     }  
1416      !!!next-token;      !!!next-token;
1417    }; # $parse_rcdata    }; # $parse_rcdata
1418    
1419    my $script_start_tag = sub () {    my $script_start_tag = sub () {
1420        ## Step 1
1421      my $script_el;      my $script_el;
1422      !!!create-element ($script_el, 'script', $token->{attributes});      !!!create-element ($script_el, $HTML_NS, 'script', $token->{attributes}, $token);
1423    
1424        ## Step 2
1425      ## TODO: mark as "parser-inserted"      ## TODO: mark as "parser-inserted"
1426    
1427        ## Step 3
1428        ## TODO: Mark as "already executed", if ...
1429    
1430        ## Step 4 (HTML5 revision 2702)
1431        $insert->($script_el);
1432        push @{$self->{open_elements}}, [$script_el, $el_category->{script}];
1433    
1434        ## Step 5
1435      $self->{content_model} = CDATA_CONTENT_MODEL;      $self->{content_model} = CDATA_CONTENT_MODEL;
1436      delete $self->{escape}; # MUST      delete $self->{escape}; # MUST
       
     my $text = '';  
     !!!next-token;  
     while ($token->{type} == CHARACTER_TOKEN) {  
       !!!cp ('t45');  
       $text .= $token->{data};  
       !!!next-token;  
     } # stop if non-character token or tokenizer stops tokenising  
     if (length $text) {  
       !!!cp ('t46');  
       $script_el->manakai_append_text ($text);  
     }  
                 
     $self->{content_model} = PCDATA_CONTENT_MODEL;  
1437    
1438      if ($token->{type} == END_TAG_TOKEN and      ## Step 6-7
1439          $token->{tag_name} eq 'script') {      $self->{insertion_mode} |= IN_CDATA_RCDATA_IM;
       !!!cp ('t47');  
       ## Ignore the token  
     } else {  
       !!!cp ('t48');  
       !!!parse-error (type => 'in CDATA:#'.$token->{type});  
       ## ISSUE: And ignore?  
       ## TODO: mark as "already executed"  
     }  
       
     if (defined $self->{inner_html_node}) {  
       !!!cp ('t49');  
       ## TODO: mark as "already executed"  
     } else {  
       !!!cp ('t50');  
       ## TODO: $old_insertion_point = current insertion point  
       ## TODO: insertion point = just before the next input character  
1440    
1441        $insert->($script_el);      !!!nack ('t40.2');
         
       ## TODO: insertion point = $old_insertion_point (might be "undefined")  
         
       ## TODO: if there is a script that will execute as soon as the parser resume, then...  
     }  
       
1442      !!!next-token;      !!!next-token;
1443    }; # $script_start_tag    }; # $script_start_tag
1444    
1445      ## NOTE: $open_tables->[-1]->[0] is the "current table" element node.
1446      ## NOTE: $open_tables->[-1]->[1] is the "tainted" flag (OBSOLETE; unused).
1447      ## NOTE: $open_tables->[-1]->[2] is set false when non-Text node inserted.
1448      my $open_tables = [[$self->{open_elements}->[0]->[0]]];
1449    
1450    my $formatting_end_tag = sub {    my $formatting_end_tag = sub {
1451      my $tag_name = shift;      my $end_tag_token = shift;
1452        my $tag_name = $end_tag_token->{tag_name};
1453    
1454        ## NOTE: The adoption agency algorithm (AAA).
1455    
1456      FET: {      FET: {
1457        ## Step 1        ## Step 1
1458        my $formatting_element;        my $formatting_element;
1459        my $formatting_element_i_in_active;        my $formatting_element_i_in_active;
1460        AFE: for (reverse 0..$#$active_formatting_elements) {        AFE: for (reverse 0..$#$active_formatting_elements) {
1461          if ($active_formatting_elements->[$_]->[1] eq $tag_name) {          if ($active_formatting_elements->[$_]->[0] eq '#marker') {
1462              !!!cp ('t52');
1463              last AFE;
1464            } elsif ($active_formatting_elements->[$_]->[0]->manakai_local_name
1465                         eq $tag_name) {
1466            !!!cp ('t51');            !!!cp ('t51');
1467            $formatting_element = $active_formatting_elements->[$_];            $formatting_element = $active_formatting_elements->[$_];
1468            $formatting_element_i_in_active = $_;            $formatting_element_i_in_active = $_;
1469            last AFE;            last AFE;
         } elsif ($active_formatting_elements->[$_]->[0] eq '#marker') {  
           !!!cp ('t52');  
           last AFE;  
1470          }          }
1471        } # AFE        } # AFE
1472        unless (defined $formatting_element) {        unless (defined $formatting_element) {
1473          !!!cp ('t53');          !!!cp ('t53');
1474          !!!parse-error (type => 'unmatched end tag:'.$tag_name);          !!!parse-error (type => 'unmatched end tag', text => $tag_name, token => $end_tag_token);
1475          ## Ignore the token          ## Ignore the token
1476          !!!next-token;          !!!next-token;
1477          return;          return;
# Line 3047  sub _tree_construction_main ($) { Line 1488  sub _tree_construction_main ($) {
1488              last INSCOPE;              last INSCOPE;
1489            } else { # in open elements but not in scope            } else { # in open elements but not in scope
1490              !!!cp ('t55');              !!!cp ('t55');
1491              !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});              !!!parse-error (type => 'unmatched end tag',
1492                                text => $token->{tag_name},
1493                                token => $end_tag_token);
1494              ## Ignore the token              ## Ignore the token
1495              !!!next-token;              !!!next-token;
1496              return;              return;
1497            }            }
1498          } elsif ({          } elsif ($node->[1] & SCOPING_EL) {
                   table => 1, caption => 1, td => 1, th => 1,  
                   button => 1, marquee => 1, object => 1, html => 1,  
                  }->{$node->[1]}) {  
1499            !!!cp ('t56');            !!!cp ('t56');
1500            $in_scope = 0;            $in_scope = 0;
1501          }          }
1502        } # INSCOPE        } # INSCOPE
1503        unless (defined $formatting_element_i_in_open) {        unless (defined $formatting_element_i_in_open) {
1504          !!!cp ('t57');          !!!cp ('t57');
1505          !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});          !!!parse-error (type => 'unmatched end tag',
1506                            text => $token->{tag_name},
1507                            token => $end_tag_token);
1508          pop @$active_formatting_elements; # $formatting_element          pop @$active_formatting_elements; # $formatting_element
1509          !!!next-token; ## TODO: ok?          !!!next-token; ## TODO: ok?
1510          return;          return;
1511        }        }
1512        if (not $self->{open_elements}->[-1]->[0] eq $formatting_element->[0]) {        if (not $self->{open_elements}->[-1]->[0] eq $formatting_element->[0]) {
1513          !!!cp ('t58');          !!!cp ('t58');
1514          !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);          !!!parse-error (type => 'not closed',
1515                            text => $self->{open_elements}->[-1]->[0]
1516                                ->manakai_local_name,
1517                            token => $end_tag_token);
1518        }        }
1519                
1520        ## Step 2        ## Step 2
# Line 3077  sub _tree_construction_main ($) { Line 1522  sub _tree_construction_main ($) {
1522        my $furthest_block_i_in_open;        my $furthest_block_i_in_open;
1523        OE: for (reverse 0..$#{$self->{open_elements}}) {        OE: for (reverse 0..$#{$self->{open_elements}}) {
1524          my $node = $self->{open_elements}->[$_];          my $node = $self->{open_elements}->[$_];
1525          if (not $formatting_category->{$node->[1]} and          if (not ($node->[1] & FORMATTING_EL) and
1526              #not $phrasing_category->{$node->[1]} and              #not $phrasing_category->{$node->[1]} and
1527              ($special_category->{$node->[1]} or              ($node->[1] & SPECIAL_EL or
1528               $scoping_category->{$node->[1]})) {               $node->[1] & SCOPING_EL)) { ## Scoping is redundant, maybe
1529            !!!cp ('t59');            !!!cp ('t59');
1530            $furthest_block = $node;            $furthest_block = $node;
1531            $furthest_block_i_in_open = $_;            $furthest_block_i_in_open = $_;
1532              ## NOTE: The topmost (eldest) node.
1533          } elsif ($node->[0] eq $formatting_element->[0]) {          } elsif ($node->[0] eq $formatting_element->[0]) {
1534            !!!cp ('t60');            !!!cp ('t60');
1535            last OE;            last OE;
# Line 3166  sub _tree_construction_main ($) { Line 1612  sub _tree_construction_main ($) {
1612        } # S7          } # S7  
1613                
1614        ## Step 8        ## Step 8
1615        $common_ancestor_node->[0]->append_child ($last_node->[0]);        if ($common_ancestor_node->[1] & TABLE_ROWS_EL) {
1616            ## Foster parenting.
1617            my $foster_parent_element;
1618            my $next_sibling;
1619            OE: for (reverse 0..$#{$self->{open_elements}}) {
1620              if ($self->{open_elements}->[$_]->[1] == TABLE_EL) {
1621                !!!cp ('t65.2');
1622                $foster_parent_element = $self->{open_elements}->[$_ - 1]->[0];
1623                $next_sibling = $self->{open_elements}->[$_]->[0];
1624                undef $next_sibling
1625                    unless $next_sibling->parent_node eq $foster_parent_element;
1626                last OE;
1627              }
1628            } # OE
1629            $foster_parent_element ||= $self->{open_elements}->[0]->[0];
1630    
1631            $foster_parent_element->insert_before ($last_node->[0], $next_sibling);
1632            $open_tables->[-1]->[1] = 1; # tainted
1633          } else {
1634            !!!cp ('t65.3');
1635            $common_ancestor_node->[0]->append_child ($last_node->[0]);
1636          }
1637                
1638        ## Step 9        ## Step 9
1639        my $clone = [$formatting_element->[0]->clone_node (0),        my $clone = [$formatting_element->[0]->clone_node (0),
# Line 3205  sub _tree_construction_main ($) { Line 1672  sub _tree_construction_main ($) {
1672            $i = $_;            $i = $_;
1673          }          }
1674        } # OE        } # OE
1675        splice @{$self->{open_elements}}, $i + 1, 1, $clone;        splice @{$self->{open_elements}}, $i + 1, 0, $clone;
1676                
1677        ## Step 14        ## Step 14
1678        redo FET;        redo FET;
1679      } # FET      } # FET
1680    }; # $formatting_end_tag    }; # $formatting_end_tag
1681    
   ## NOTE: $open_tables->[-1]->[0] is the "current table".  
   ## NOTE: $open_tables->[-1]->[1] is the "tainted" flag.  
   my $open_tables = [[$self->{open_elements}->[0]->[0]]];  
   
1682    $insert = my $insert_to_current = sub {    $insert = my $insert_to_current = sub {
1683      $self->{open_elements}->[-1]->[0]->append_child ($_[0]);      $self->{open_elements}->[-1]->[0]->append_child ($_[0]);
1684    }; # $insert_to_current    }; # $insert_to_current
1685    
1686      ## Foster parenting.  Note that there are three "foster parenting"
1687      ## code in the parser: for elements (this one), for texts, and for
1688      ## elements in the AAA code.
1689    my $insert_to_foster = sub {    my $insert_to_foster = sub {
1690      my $child = shift;      my $child = shift;
1691      if ({      if ($self->{open_elements}->[-1]->[1] & TABLE_ROWS_EL) {
          table => 1, tbody => 1, tfoot => 1, thead => 1, tr => 1,  
         }->{$self->{open_elements}->[-1]->[1]}) {  
1692        # MUST        # MUST
1693        my $foster_parent_element;        my $foster_parent_element;
1694        my $next_sibling;        my $next_sibling;
1695                           OE: for (reverse 0..$#{$self->{open_elements}}) {        OE: for (reverse 0..$#{$self->{open_elements}}) {
1696                             if ($self->{open_elements}->[$_]->[1] eq 'table') {          if ($self->{open_elements}->[$_]->[1] == TABLE_EL) {
1697                               my $parent = $self->{open_elements}->[$_]->[0]->parent_node;            !!!cp ('t71');
1698                               if (defined $parent and $parent->node_type == 1) {            $foster_parent_element = $self->{open_elements}->[$_ - 1]->[0];
1699                                 !!!cp ('t70');            $next_sibling = $self->{open_elements}->[$_]->[0];
1700                                 $foster_parent_element = $parent;            undef $next_sibling
1701                                 $next_sibling = $self->{open_elements}->[$_]->[0];                unless $next_sibling->parent_node eq $foster_parent_element;
1702                               } else {            last OE;
1703                                 !!!cp ('t71');          }
1704                                 $foster_parent_element        } # OE
1705                                   = $self->{open_elements}->[$_ - 1]->[0];        $foster_parent_element ||= $self->{open_elements}->[0]->[0];
1706                               }  
1707                               last OE;        $foster_parent_element->insert_before ($child, $next_sibling);
                            }  
                          } # OE  
                          $foster_parent_element = $self->{open_elements}->[0]->[0]  
                            unless defined $foster_parent_element;  
                          $foster_parent_element->insert_before  
                            ($child, $next_sibling);  
1708        $open_tables->[-1]->[1] = 1; # tainted        $open_tables->[-1]->[1] = 1; # tainted
1709      } else {      } else {
1710        !!!cp ('t72');        !!!cp ('t72');
# Line 3254  sub _tree_construction_main ($) { Line 1712  sub _tree_construction_main ($) {
1712      }      }
1713    }; # $insert_to_foster    }; # $insert_to_foster
1714    
1715    B: {    ## NOTE: Insert a character (MUST): When a character is inserted, if
1716      ## the last node that was inserted by the parser is a Text node and
1717      ## the character has to be inserted after that node, then the
1718      ## character is appended to the Text node.  However, if any other
1719      ## node is inserted by the parser, then a new Text node is created
1720      ## and the character is appended as that Text node.  If I'm not
1721      ## wrong, for a parser with scripting disabled, there are only two
1722      ## cases where this occurs.  One is the case where an element node
1723      ## is inserted to the |head| element.  This is covered by using the
1724      ## |$self->{head_element_inserted}| flag.  Another is the case where
1725      ## an element or comment is inserted into the |table| subtree while
1726      ## foster parenting happens.  This is covered by using the [2] flag
1727      ## of the |$open_tables| structure.  All other cases are handled
1728      ## simply by calling |manakai_append_text| method.
1729    
1730      ## TODO: |<body><script>document.write("a<br>");
1731      ## document.body.removeChild (document.body.lastChild);
1732      ## document.write ("b")</script>|
1733    
1734      B: while (1) {
1735    
1736        ## The "in table text" insertion mode.
1737        if ($self->{insertion_mode} & TABLE_IMS and
1738            not $self->{insertion_mode} & IN_FOREIGN_CONTENT_IM and
1739            not $self->{insertion_mode} & IN_CDATA_RCDATA_IM) {
1740          C: {
1741            my $s;
1742            if ($token->{type} == CHARACTER_TOKEN) {
1743              !!!cp ('t194');
1744              $self->{pending_chars} ||= [];
1745              push @{$self->{pending_chars}}, $token;
1746              !!!next-token;
1747              next B;
1748            } else {
1749              if ($self->{pending_chars}) {
1750                $s = join '', map { $_->{data} } @{$self->{pending_chars}};
1751                delete $self->{pending_chars};
1752                if ($s =~ /[^\x09\x0A\x0C\x0D\x20]/) {
1753                  !!!cp ('t195');
1754                  #
1755                } else {
1756                  !!!cp ('t195.1');
1757                  #$self->{open_elements}->[-1]->[0]->manakai_append_text ($s);
1758                  $self->{open_elements}->[-1]->[0]->append_child
1759                      ($self->{document}->create_text_node ($s));
1760                  last C;
1761                }
1762              } else {
1763                !!!cp ('t195.2');
1764                last C;
1765              }
1766            }
1767    
1768            ## Foster parenting.
1769            !!!parse-error (type => 'in table:#text', token => $token);
1770    
1771            ## NOTE: As if in body, but insert into the foster parent element.
1772            $reconstruct_active_formatting_elements->($insert_to_foster);
1773                
1774            if ($self->{open_elements}->[-1]->[1] & TABLE_ROWS_EL) {
1775              # MUST
1776              my $foster_parent_element;
1777              my $next_sibling;
1778              OE: for (reverse 0..$#{$self->{open_elements}}) {
1779                if ($self->{open_elements}->[$_]->[1] == TABLE_EL) {
1780                  !!!cp ('t197');
1781                  $foster_parent_element = $self->{open_elements}->[$_ - 1]->[0];
1782                  $next_sibling = $self->{open_elements}->[$_]->[0];
1783                  undef $next_sibling
1784                    unless $next_sibling->parent_node eq $foster_parent_element;
1785                  last OE;
1786                }
1787              } # OE
1788              $foster_parent_element ||= $self->{open_elements}->[0]->[0];
1789    
1790              !!!cp ('t199');
1791              $foster_parent_element->insert_before
1792                  ($self->{document}->create_text_node ($s), $next_sibling);
1793    
1794              $open_tables->[-1]->[1] = 1; # tainted
1795              $open_tables->[-1]->[2] = 1; # ~node inserted
1796            } else {
1797              ## NOTE: Fragment case or in a foster parent'ed element
1798              ## (e.g. |<table><span>a|).  In fragment case, whether the
1799              ## character is appended to existing node or a new node is
1800              ## created is irrelevant, since the foster parent'ed nodes
1801              ## are discarded and fragment parsing does not invoke any
1802              ## script.
1803              !!!cp ('t200');
1804              $self->{open_elements}->[-1]->[0]->manakai_append_text ($s);
1805            }
1806          } # C
1807        } # TABLE_IMS
1808    
1809      if ($token->{type} == DOCTYPE_TOKEN) {      if ($token->{type} == DOCTYPE_TOKEN) {
1810        !!!cp ('t73');        !!!cp ('t73');
1811        !!!parse-error (type => 'DOCTYPE in the middle');        !!!parse-error (type => 'in html:#DOCTYPE', token => $token);
1812        ## Ignore the token        ## Ignore the token
1813        ## Stay in the phase        ## Stay in the phase
1814        !!!next-token;        !!!next-token;
1815        redo B;        next B;
     } elsif ($token->{type} == END_OF_FILE_TOKEN) {  
       if ($self->{insertion_mode} & AFTER_HTML_IMS) {  
         !!!cp ('t74');  
         #  
       } else {  
         ## Generate implied end tags  
         while ({  
                 dd => 1, dt => 1, li => 1, p => 1,  
                }->{$self->{open_elements}->[-1]->[1]}) {  
           !!!cp ('t75');  
           pop @{$self->{open_elements}};  
         }  
           
         if (@{$self->{open_elements}} > 2 or  
             (@{$self->{open_elements}} == 2 and $self->{open_elements}->[1]->[1] ne 'body')) {  
           !!!cp ('t76');  
           !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);  
         } elsif (defined $self->{inner_html_node} and  
                  @{$self->{open_elements}} > 1 and  
                  $self->{open_elements}->[1]->[1] ne 'body') {  
 ## ISSUE: This case is never reached.  
           !!!cp ('t77');  
           !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);  
         } else {  
           !!!cp ('t78');  
         }  
   
         ## ISSUE: There is an issue in the spec.  
       }  
   
       ## Stop parsing  
       last B;  
1816      } elsif ($token->{type} == START_TAG_TOKEN and      } elsif ($token->{type} == START_TAG_TOKEN and
1817               $token->{tag_name} eq 'html') {               $token->{tag_name} eq 'html') {
1818        if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {        if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {
1819          !!!cp ('t79');          !!!cp ('t79');
1820          !!!parse-error (type => 'after html:html');          !!!parse-error (type => 'after html', text => 'html', token => $token);
1821          $self->{insertion_mode} = AFTER_BODY_IM;          $self->{insertion_mode} = AFTER_BODY_IM;
1822        } elsif ($self->{insertion_mode} == AFTER_HTML_FRAMESET_IM) {        } elsif ($self->{insertion_mode} == AFTER_HTML_FRAMESET_IM) {
1823          !!!cp ('t80');          !!!cp ('t80');
1824          !!!parse-error (type => 'after html:html');          !!!parse-error (type => 'after html', text => 'html', token => $token);
1825          $self->{insertion_mode} = AFTER_FRAMESET_IM;          $self->{insertion_mode} = AFTER_FRAMESET_IM;
1826        } else {        } else {
1827          !!!cp ('t81');          !!!cp ('t81');
1828        }        }
1829    
1830        !!!cp ('t82');        !!!cp ('t82');
1831        !!!parse-error (type => 'not first start tag');        !!!parse-error (type => 'not first start tag', token => $token);
1832        my $top_el = $self->{open_elements}->[0]->[0];        my $top_el = $self->{open_elements}->[0]->[0];
1833        for my $attr_name (keys %{$token->{attributes}}) {        for my $attr_name (keys %{$token->{attributes}}) {
1834          unless ($top_el->has_attribute_ns (undef, $attr_name)) {          unless ($top_el->has_attribute_ns (undef, $attr_name)) {
# Line 3319  sub _tree_construction_main ($) { Line 1838  sub _tree_construction_main ($) {
1838               $token->{attributes}->{$attr_name}->{value});               $token->{attributes}->{$attr_name}->{value});
1839          }          }
1840        }        }
1841          !!!nack ('t84.1');
1842        !!!next-token;        !!!next-token;
1843        redo B;        next B;
1844      } elsif ($token->{type} == COMMENT_TOKEN) {      } elsif ($token->{type} == COMMENT_TOKEN) {
1845        my $comment = $self->{document}->create_comment ($token->{data});        my $comment = $self->{document}->create_comment ($token->{data});
1846        if ($self->{insertion_mode} & AFTER_HTML_IMS) {        if ($self->{insertion_mode} & AFTER_HTML_IMS) {
# Line 3332  sub _tree_construction_main ($) { Line 1852  sub _tree_construction_main ($) {
1852        } else {        } else {
1853          !!!cp ('t87');          !!!cp ('t87');
1854          $self->{open_elements}->[-1]->[0]->append_child ($comment);          $self->{open_elements}->[-1]->[0]->append_child ($comment);
1855            $open_tables->[-1]->[2] = 0 if @$open_tables; # ~node inserted
1856        }        }
1857        !!!next-token;        !!!next-token;
1858        redo B;        next B;
1859      } elsif ($self->{insertion_mode} & HEAD_IMS) {      } elsif ($self->{insertion_mode} & IN_CDATA_RCDATA_IM) {
1860          if ($token->{type} == CHARACTER_TOKEN) {
1861            $token->{data} =~ s/^\x0A// if $self->{ignore_newline};
1862            delete $self->{ignore_newline};
1863    
1864            if (length $token->{data}) {
1865              !!!cp ('t43');
1866              $self->{open_elements}->[-1]->[0]->manakai_append_text
1867                  ($token->{data});
1868            } else {
1869              !!!cp ('t43.1');
1870            }
1871            !!!next-token;
1872            next B;
1873          } elsif ($token->{type} == END_TAG_TOKEN) {
1874            delete $self->{ignore_newline};
1875    
1876            if ($token->{tag_name} eq 'script') {
1877              !!!cp ('t50');
1878              
1879              ## Para 1-2
1880              my $script = pop @{$self->{open_elements}};
1881              
1882              ## Para 3
1883              $self->{insertion_mode} &= ~ IN_CDATA_RCDATA_IM;
1884    
1885              ## Para 4
1886              ## TODO: $old_insertion_point = $current_insertion_point;
1887              ## TODO: $current_insertion_point = just before $self->{nc};
1888    
1889              ## Para 5
1890              ## TODO: Run the $script->[0].
1891    
1892              ## Para 6
1893              ## TODO: $current_insertion_point = $old_insertion_point;
1894    
1895              ## Para 7
1896              ## TODO: if ($pending_external_script) {
1897                ## TODO: ...
1898              ## TODO: }
1899    
1900              !!!next-token;
1901              next B;
1902            } else {
1903              !!!cp ('t42');
1904    
1905              pop @{$self->{open_elements}};
1906    
1907              $self->{insertion_mode} &= ~ IN_CDATA_RCDATA_IM;
1908              !!!next-token;
1909              next B;
1910            }
1911          } elsif ($token->{type} == END_OF_FILE_TOKEN) {
1912            delete $self->{ignore_newline};
1913    
1914            !!!cp ('t44');
1915            !!!parse-error (type => 'not closed',
1916                            text => $self->{open_elements}->[-1]->[0]
1917                                ->manakai_local_name,
1918                            token => $token);
1919    
1920            #if ($self->{open_elements}->[-1]->[1] == SCRIPT_EL) {
1921            #  ## TODO: Mark as "already executed"
1922            #}
1923    
1924            pop @{$self->{open_elements}};
1925    
1926            $self->{insertion_mode} &= ~ IN_CDATA_RCDATA_IM;
1927            ## Reprocess.
1928            next B;
1929          } else {
1930            die "$0: $token->{type}: In CDATA/RCDATA: Unknown token type";        
1931          }
1932        } elsif ($self->{insertion_mode} & IN_FOREIGN_CONTENT_IM) {
1933        if ($token->{type} == CHARACTER_TOKEN) {        if ($token->{type} == CHARACTER_TOKEN) {
1934          if ($token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) {          !!!cp ('t87.1');
1935            $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});
1936            !!!next-token;
1937            next B;
1938          } elsif ($token->{type} == START_TAG_TOKEN) {
1939            if ((not {mglyph => 1, malignmark => 1}->{$token->{tag_name}} and
1940                 $self->{open_elements}->[-1]->[1] & FOREIGN_FLOW_CONTENT_EL) or
1941                not ($self->{open_elements}->[-1]->[1] & FOREIGN_EL) or
1942                ($token->{tag_name} eq 'svg' and
1943                 $self->{open_elements}->[-1]->[1] == MML_AXML_EL)) {
1944              ## NOTE: "using the rules for secondary insertion mode"then"continue"
1945              !!!cp ('t87.2');
1946              #
1947            } elsif ({
1948                      b => 1, big => 1, blockquote => 1, body => 1, br => 1,
1949                      center => 1, code => 1, dd => 1, div => 1, dl => 1, dt => 1,
1950                      em => 1, embed => 1, h1 => 1, h2 => 1, h3 => 1,
1951                      h4 => 1, h5 => 1, h6 => 1, head => 1, hr => 1, i => 1,
1952                      img => 1, li => 1, listing => 1, menu => 1, meta => 1,
1953                      nobr => 1, ol => 1, p => 1, pre => 1, ruby => 1, s => 1,
1954                      small => 1, span => 1, strong => 1, strike => 1, sub => 1,
1955                      sup => 1, table => 1, tt => 1, u => 1, ul => 1, var => 1,
1956                     }->{$token->{tag_name}} or
1957                     ($token->{tag_name} eq 'font' and
1958                      ($token->{attributes}->{color} or
1959                       $token->{attributes}->{face} or
1960                       $token->{attributes}->{size}))) {
1961              !!!cp ('t87.2');
1962              !!!parse-error (type => 'not closed',
1963                              text => $self->{open_elements}->[-1]->[0]
1964                                  ->manakai_local_name,
1965                              token => $token);
1966    
1967              pop @{$self->{open_elements}}
1968                  while $self->{open_elements}->[-1]->[1] & FOREIGN_EL;
1969    
1970              $self->{insertion_mode} &= ~ IN_FOREIGN_CONTENT_IM;
1971              ## Reprocess.
1972              next B;
1973            } else {
1974              my $nsuri = $self->{open_elements}->[-1]->[0]->namespace_uri;
1975              my $tag_name = $token->{tag_name};
1976              if ($nsuri eq $SVG_NS) {
1977                $tag_name = {
1978                   altglyph => 'altGlyph',
1979                   altglyphdef => 'altGlyphDef',
1980                   altglyphitem => 'altGlyphItem',
1981                   animatecolor => 'animateColor',
1982                   animatemotion => 'animateMotion',
1983                   animatetransform => 'animateTransform',
1984                   clippath => 'clipPath',
1985                   feblend => 'feBlend',
1986                   fecolormatrix => 'feColorMatrix',
1987                   fecomponenttransfer => 'feComponentTransfer',
1988                   fecomposite => 'feComposite',
1989                   feconvolvematrix => 'feConvolveMatrix',
1990                   fediffuselighting => 'feDiffuseLighting',
1991                   fedisplacementmap => 'feDisplacementMap',
1992                   fedistantlight => 'feDistantLight',
1993                   feflood => 'feFlood',
1994                   fefunca => 'feFuncA',
1995                   fefuncb => 'feFuncB',
1996                   fefuncg => 'feFuncG',
1997                   fefuncr => 'feFuncR',
1998                   fegaussianblur => 'feGaussianBlur',
1999                   feimage => 'feImage',
2000                   femerge => 'feMerge',
2001                   femergenode => 'feMergeNode',
2002                   femorphology => 'feMorphology',
2003                   feoffset => 'feOffset',
2004                   fepointlight => 'fePointLight',
2005                   fespecularlighting => 'feSpecularLighting',
2006                   fespotlight => 'feSpotLight',
2007                   fetile => 'feTile',
2008                   feturbulence => 'feTurbulence',
2009                   foreignobject => 'foreignObject',
2010                   glyphref => 'glyphRef',
2011                   lineargradient => 'linearGradient',
2012                   radialgradient => 'radialGradient',
2013                   #solidcolor => 'solidColor', ## NOTE: Commented in spec (SVG1.2)
2014                   textpath => 'textPath',  
2015                }->{$tag_name} || $tag_name;
2016              }
2017    
2018              ## "adjust SVG attributes" (SVG only) - done in insert-element-f
2019    
2020              ## "adjust foreign attributes" - done in insert-element-f
2021    
2022              !!!insert-element-f ($nsuri, $tag_name, $token->{attributes}, $token);
2023    
2024              if ($self->{self_closing}) {
2025                pop @{$self->{open_elements}};
2026                !!!ack ('t87.3');
2027              } else {
2028                !!!cp ('t87.4');
2029              }
2030    
2031              !!!next-token;
2032              next B;
2033            }
2034          } elsif ($token->{type} == END_TAG_TOKEN) {
2035            ## NOTE: "using the rules for secondary insertion mode" then "continue"
2036            if ($token->{tag_name} eq 'script') {
2037              !!!cp ('t87.41');
2038              #
2039              ## XXXscript: Execute script here.
2040            } else {
2041              !!!cp ('t87.5');
2042              #
2043            }
2044          } elsif ($token->{type} == END_OF_FILE_TOKEN) {
2045            !!!cp ('t87.6');
2046            !!!parse-error (type => 'not closed',
2047                            text => $self->{open_elements}->[-1]->[0]
2048                                ->manakai_local_name,
2049                            token => $token);
2050    
2051            pop @{$self->{open_elements}}
2052                while $self->{open_elements}->[-1]->[1] & FOREIGN_EL;
2053    
2054            ## NOTE: |<span><svg>| ... two parse errors, |<svg>| ... a parse error.
2055    
2056            $self->{insertion_mode} &= ~ IN_FOREIGN_CONTENT_IM;
2057            ## Reprocess.
2058            next B;
2059          } else {
2060            die "$0: $token->{type}: Unknown token type";        
2061          }
2062        }
2063    
2064        if ($self->{insertion_mode} & HEAD_IMS) {
2065          if ($token->{type} == CHARACTER_TOKEN) {
2066            if ($token->{data} =~ s/^([\x09\x0A\x0C\x20]+)//) {
2067            unless ($self->{insertion_mode} == BEFORE_HEAD_IM) {            unless ($self->{insertion_mode} == BEFORE_HEAD_IM) {
2068              !!!cp ('t88.2');              if ($self->{head_element_inserted}) {
2069              $self->{open_elements}->[-1]->[0]->manakai_append_text ($1);                !!!cp ('t88.3');
2070                  $self->{open_elements}->[-1]->[0]->append_child
2071                    ($self->{document}->create_text_node ($1));
2072                  delete $self->{head_element_inserted};
2073                  ## NOTE: |</head> <link> |
2074                  #
2075                } else {
2076                  !!!cp ('t88.2');
2077                  $self->{open_elements}->[-1]->[0]->manakai_append_text ($1);
2078                  ## NOTE: |</head> &#x20;|
2079                  #
2080                }
2081            } else {            } else {
2082              !!!cp ('t88.1');              !!!cp ('t88.1');
2083              ## Ignore the token.              ## Ignore the token.
2084              !!!next-token;              #
             redo B;  
2085            }            }
2086            unless (length $token->{data}) {            unless (length $token->{data}) {
2087              !!!cp ('t88');              !!!cp ('t88');
2088              !!!next-token;              !!!next-token;
2089              redo B;              next B;
2090            }            }
2091    ## TODO: set $token->{column} appropriately
2092          }          }
2093    
2094          if ($self->{insertion_mode} == BEFORE_HEAD_IM) {          if ($self->{insertion_mode} == BEFORE_HEAD_IM) {
2095            !!!cp ('t89');            !!!cp ('t89');
2096            ## As if <head>            ## As if <head>
2097            !!!create-element ($self->{head_element}, 'head');            !!!create-element ($self->{head_element}, $HTML_NS, 'head',, $token);
2098            $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});            $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});
2099            push @{$self->{open_elements}}, [$self->{head_element}, 'head'];            push @{$self->{open_elements}},
2100                  [$self->{head_element}, $el_category->{head}];
2101    
2102            ## Reprocess in the "in head" insertion mode...            ## Reprocess in the "in head" insertion mode...
2103            pop @{$self->{open_elements}};            pop @{$self->{open_elements}};
# Line 3369  sub _tree_construction_main ($) { Line 2107  sub _tree_construction_main ($) {
2107            !!!cp ('t90');            !!!cp ('t90');
2108            ## As if </noscript>            ## As if </noscript>
2109            pop @{$self->{open_elements}};            pop @{$self->{open_elements}};
2110            !!!parse-error (type => 'in noscript:#character');            !!!parse-error (type => 'in noscript:#text', token => $token);
2111                        
2112            ## Reprocess in the "in head" insertion mode...            ## Reprocess in the "in head" insertion mode...
2113            ## As if </head>            ## As if </head>
# Line 3385  sub _tree_construction_main ($) { Line 2123  sub _tree_construction_main ($) {
2123            !!!cp ('t92');            !!!cp ('t92');
2124          }          }
2125    
2126              ## "after head" insertion mode          ## "after head" insertion mode
2127              ## As if <body>          ## As if <body>
2128              !!!insert-element ('body');          !!!insert-element ('body',, $token);
2129              $self->{insertion_mode} = IN_BODY_IM;          $self->{insertion_mode} = IN_BODY_IM;
2130              ## reprocess          ## reprocess
2131              redo B;          next B;
2132            } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
2133              if ($token->{tag_name} eq 'head') {          if ($token->{tag_name} eq 'head') {
2134                if ($self->{insertion_mode} == BEFORE_HEAD_IM) {            if ($self->{insertion_mode} == BEFORE_HEAD_IM) {
2135                  !!!cp ('t93');              !!!cp ('t93');
2136                  !!!create-element ($self->{head_element}, $token->{tag_name}, $token->{attributes});              !!!create-element ($self->{head_element}, $HTML_NS, $token->{tag_name}, $token->{attributes}, $token);
2137                  $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});              $self->{open_elements}->[-1]->[0]->append_child
2138                  push @{$self->{open_elements}}, [$self->{head_element}, $token->{tag_name}];                  ($self->{head_element});
2139                  $self->{insertion_mode} = IN_HEAD_IM;              push @{$self->{open_elements}},
2140                  !!!next-token;                  [$self->{head_element}, $el_category->{head}];
2141                  redo B;              $self->{insertion_mode} = IN_HEAD_IM;
2142                } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {              !!!nack ('t93.1');
2143                  !!!cp ('t94');              !!!next-token;
2144                  #              next B;
2145                } else {            } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
2146                  !!!cp ('t95');              !!!cp ('t93.2');
2147                  !!!parse-error (type => 'in head:head'); # or in head noscript              !!!parse-error (type => 'after head', text => 'head',
2148                  ## Ignore the token                              token => $token);
2149                  !!!next-token;              ## Ignore the token
2150                  redo B;              !!!nack ('t93.3');
2151                }              !!!next-token;
2152              } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM) {              next B;
2153                !!!cp ('t96');            } else {
2154                ## As if <head>              !!!cp ('t95');
2155                !!!create-element ($self->{head_element}, 'head');              !!!parse-error (type => 'in head:head',
2156                $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});                              token => $token); # or in head noscript
2157                push @{$self->{open_elements}}, [$self->{head_element}, 'head'];              ## Ignore the token
2158                !!!nack ('t95.1');
2159                !!!next-token;
2160                next B;
2161              }
2162            } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM) {
2163              !!!cp ('t96');
2164              ## As if <head>
2165              !!!create-element ($self->{head_element}, $HTML_NS, 'head',, $token);
2166              $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});
2167              push @{$self->{open_elements}},
2168                  [$self->{head_element}, $el_category->{head}];
2169    
2170                $self->{insertion_mode} = IN_HEAD_IM;            $self->{insertion_mode} = IN_HEAD_IM;
2171                ## Reprocess in the "in head" insertion mode...            ## Reprocess in the "in head" insertion mode...
2172              } else {          } else {
2173                !!!cp ('t97');            !!!cp ('t97');
2174              }          }
2175    
2176              if ($token->{tag_name} eq 'base') {          if ($token->{tag_name} eq 'base') {
2177                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {            if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
2178                  !!!cp ('t98');              !!!cp ('t98');
2179                  ## As if </noscript>              ## As if </noscript>
2180                  pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
2181                  !!!parse-error (type => 'in noscript:base');              !!!parse-error (type => 'in noscript', text => 'base',
2182                                              token => $token);
2183                  $self->{insertion_mode} = IN_HEAD_IM;            
2184                  ## Reprocess in the "in head" insertion mode...              $self->{insertion_mode} = IN_HEAD_IM;
2185                } else {              ## Reprocess in the "in head" insertion mode...
2186                  !!!cp ('t99');            } else {
2187                }              !!!cp ('t99');
2188              }
2189    
2190                ## NOTE: There is a "as if in head" code clone.            ## NOTE: There is a "as if in head" code clone.
2191                if ($self->{insertion_mode} == AFTER_HEAD_IM) {            if ($self->{insertion_mode} == AFTER_HEAD_IM) {
2192                  !!!cp ('t100');              !!!cp ('t100');
2193                  !!!parse-error (type => 'after head:'.$token->{tag_name});              !!!parse-error (type => 'after head',
2194                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                              text => $token->{tag_name}, token => $token);
2195                } else {              push @{$self->{open_elements}},
2196                  !!!cp ('t101');                  [$self->{head_element}, $el_category->{head}];
2197                }              $self->{head_element_inserted} = 1;
2198                !!!insert-element ($token->{tag_name}, $token->{attributes});            } else {
2199                pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.              !!!cp ('t101');
2200                pop @{$self->{open_elements}}            }
2201                    if $self->{insertion_mode} == AFTER_HEAD_IM;            !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
2202                !!!next-token;            pop @{$self->{open_elements}};
2203                redo B;            pop @{$self->{open_elements}} # <head>
2204              } elsif ($token->{tag_name} eq 'link') {                if $self->{insertion_mode} == AFTER_HEAD_IM;
2205                ## NOTE: There is a "as if in head" code clone.            !!!nack ('t101.1');
2206                if ($self->{insertion_mode} == AFTER_HEAD_IM) {            !!!next-token;
2207                  !!!cp ('t102');            next B;
2208                  !!!parse-error (type => 'after head:'.$token->{tag_name});          } elsif ($token->{tag_name} eq 'link') {
2209                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];            ## NOTE: There is a "as if in head" code clone.
2210                } else {            if ($self->{insertion_mode} == AFTER_HEAD_IM) {
2211                  !!!cp ('t103');              !!!cp ('t102');
2212                }              !!!parse-error (type => 'after head',
2213                !!!insert-element ($token->{tag_name}, $token->{attributes});                              text => $token->{tag_name}, token => $token);
2214                pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.              push @{$self->{open_elements}},
2215                pop @{$self->{open_elements}}                  [$self->{head_element}, $el_category->{head}];
2216                    if $self->{insertion_mode} == AFTER_HEAD_IM;              $self->{head_element_inserted} = 1;
2217                !!!next-token;            } else {
2218                redo B;              !!!cp ('t103');
2219              } elsif ($token->{tag_name} eq 'meta') {            }
2220                ## NOTE: There is a "as if in head" code clone.            !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
2221                if ($self->{insertion_mode} == AFTER_HEAD_IM) {            pop @{$self->{open_elements}};
2222                  !!!cp ('t104');            pop @{$self->{open_elements}} # <head>
2223                  !!!parse-error (type => 'after head:'.$token->{tag_name});                if $self->{insertion_mode} == AFTER_HEAD_IM;
2224                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];            !!!ack ('t103.1');
2225                } else {            !!!next-token;
2226                  !!!cp ('t105');            next B;
2227                }          } elsif ($token->{tag_name} eq 'command') {
2228                !!!insert-element ($token->{tag_name}, $token->{attributes});            if ($self->{insertion_mode} == IN_HEAD_IM) {
2229                my $meta_el = pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.              ## NOTE: If the insertion mode at the time of the emission
2230                ## of the token was "before head", $self->{insertion_mode}
2231                ## is already changed to |IN_HEAD_IM|.
2232    
2233                ## NOTE: There is a "as if in head" code clone.
2234                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
2235                pop @{$self->{open_elements}};
2236                pop @{$self->{open_elements}} # <head>
2237                    if $self->{insertion_mode} == AFTER_HEAD_IM;
2238                !!!ack ('t103.2');
2239                !!!next-token;
2240                next B;
2241              } else {
2242                ## NOTE: "in head noscript" or "after head" insertion mode
2243                ## - in these cases, these tags are treated as same as
2244                ## normal in-body tags.
2245                !!!cp ('t103.3');
2246                #
2247              }
2248            } elsif ($token->{tag_name} eq 'meta') {
2249              ## NOTE: There is a "as if in head" code clone.
2250              if ($self->{insertion_mode} == AFTER_HEAD_IM) {
2251                !!!cp ('t104');
2252                !!!parse-error (type => 'after head',
2253                                text => $token->{tag_name}, token => $token);
2254                push @{$self->{open_elements}},
2255                    [$self->{head_element}, $el_category->{head}];
2256                $self->{head_element_inserted} = 1;
2257              } else {
2258                !!!cp ('t105');
2259              }
2260              !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
2261              my $meta_el = pop @{$self->{open_elements}};
2262    
2263                unless ($self->{confident}) {                unless ($self->{confident}) {
2264                  if ($token->{attributes}->{charset}) { ## TODO: And if supported                  if ($token->{attributes}->{charset}) {
2265                    !!!cp ('t106');                    !!!cp ('t106');
2266                      ## NOTE: Whether the encoding is supported or not is handled
2267                      ## in the {change_encoding} callback.
2268                    $self->{change_encoding}                    $self->{change_encoding}
2269                        ->($self, $token->{attributes}->{charset}->{value});                        ->($self, $token->{attributes}->{charset}->{value},
2270                             $token);
2271                                        
2272                    $meta_el->[0]->get_attribute_node_ns (undef, 'charset')                    $meta_el->[0]->get_attribute_node_ns (undef, 'charset')
2273                        ->set_user_data (manakai_has_reference =>                        ->set_user_data (manakai_has_reference =>
2274                                             $token->{attributes}->{charset}                                             $token->{attributes}->{charset}
2275                                                 ->{has_reference});                                                 ->{has_reference});
2276                  } elsif ($token->{attributes}->{content}) {                  } elsif ($token->{attributes}->{content}) {
                   ## ISSUE: Algorithm name in the spec was incorrect so that not linked to the definition.  
2277                    if ($token->{attributes}->{content}->{value}                    if ($token->{attributes}->{content}->{value}
2278                        =~ /\A[^;]*;[\x09-\x0D\x20]*[Cc][Hh][Aa][Rr][Ss][Ee][Tt]                        =~ /[Cc][Hh][Aa][Rr][Ss][Ee][Tt]
2279                            [\x09-\x0D\x20]*=                            [\x09\x0A\x0C\x0D\x20]*=
2280                            [\x09-\x0D\x20]*(?>"([^"]*)"|'([^']*)'|                            [\x09\x0A\x0C\x0D\x20]*(?>"([^"]*)"|'([^']*)'|
2281                            ([^"'\x09-\x0D\x20][^\x09-\x0D\x20]*))/x) {                            ([^"'\x09\x0A\x0C\x0D\x20]
2282                               [^\x09\x0A\x0C\x0D\x20\x3B]*))/x) {
2283                      !!!cp ('t107');                      !!!cp ('t107');
2284                        ## NOTE: Whether the encoding is supported or not is handled
2285                        ## in the {change_encoding} callback.
2286                      $self->{change_encoding}                      $self->{change_encoding}
2287                          ->($self, defined $1 ? $1 : defined $2 ? $2 : $3);                          ->($self, defined $1 ? $1 : defined $2 ? $2 : $3,
2288                               $token);
2289                      $meta_el->[0]->get_attribute_node_ns (undef, 'content')                      $meta_el->[0]->get_attribute_node_ns (undef, 'content')
2290                          ->set_user_data (manakai_has_reference =>                          ->set_user_data (manakai_has_reference =>
2291                                               $token->{attributes}->{content}                                               $token->{attributes}->{content}
# Line 3523  sub _tree_construction_main ($) { Line 2311  sub _tree_construction_main ($) {
2311                  }                  }
2312                }                }
2313    
2314                pop @{$self->{open_elements}}                pop @{$self->{open_elements}} # <head>
2315                    if $self->{insertion_mode} == AFTER_HEAD_IM;                    if $self->{insertion_mode} == AFTER_HEAD_IM;
2316                  !!!ack ('t110.1');
2317                !!!next-token;                !!!next-token;
2318                redo B;                next B;
2319              } elsif ($token->{tag_name} eq 'title') {          } elsif ($token->{tag_name} eq 'title') {
2320                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {            if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
2321                  !!!cp ('t111');              !!!cp ('t111');
2322                  ## As if </noscript>              ## As if </noscript>
2323                  pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
2324                  !!!parse-error (type => 'in noscript:title');              !!!parse-error (type => 'in noscript', text => 'title',
2325                                              token => $token);
2326                  $self->{insertion_mode} = IN_HEAD_IM;            
2327                  ## Reprocess in the "in head" insertion mode...              $self->{insertion_mode} = IN_HEAD_IM;
2328                } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {              ## Reprocess in the "in head" insertion mode...
2329                  !!!cp ('t112');            } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
2330                  !!!parse-error (type => 'after head:'.$token->{tag_name});              !!!cp ('t112');
2331                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];              !!!parse-error (type => 'after head',
2332                } else {                              text => $token->{tag_name}, token => $token);
2333                  !!!cp ('t113');              push @{$self->{open_elements}},
2334                }                  [$self->{head_element}, $el_category->{head}];
2335                $self->{head_element_inserted} = 1;
2336                ## NOTE: There is a "as if in head" code clone.            } else {
2337                my $parent = defined $self->{head_element} ? $self->{head_element}              !!!cp ('t113');
2338                    : $self->{open_elements}->[-1]->[0];            }
2339                $parse_rcdata->(RCDATA_CONTENT_MODEL);  
2340                pop @{$self->{open_elements}}            ## NOTE: There is a "as if in head" code clone.
2341                    if $self->{insertion_mode} == AFTER_HEAD_IM;            $parse_rcdata->(RCDATA_CONTENT_MODEL);
2342                redo B;  
2343              } elsif ($token->{tag_name} eq 'style') {            ## NOTE: At this point the stack of open elements contain
2344                ## NOTE: Or (scripting is enabled and tag_name eq 'noscript' and            ## the |head| element (index == -2) and the |script| element
2345                ## insertion mode IN_HEAD_IM)            ## (index == -1).  In the "after head" insertion mode the
2346                ## NOTE: There is a "as if in head" code clone.            ## |head| element is inserted only for the purpose of
2347                if ($self->{insertion_mode} == AFTER_HEAD_IM) {            ## providing the context for the |script| element, and
2348                  !!!cp ('t114');            ## therefore we can now and have to remove the element from
2349                  !!!parse-error (type => 'after head:'.$token->{tag_name});            ## the stack.
2350                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];            splice @{$self->{open_elements}}, -2, 1, () # <head>
2351                } else {                if ($self->{insertion_mode} & IM_MASK) == AFTER_HEAD_IM;
2352                  !!!cp ('t115');            next B;
2353                }          } elsif ($token->{tag_name} eq 'style' or
2354                $parse_rcdata->(CDATA_CONTENT_MODEL);                   $token->{tag_name} eq 'noframes') {
2355                pop @{$self->{open_elements}}            ## NOTE: Or (scripting is enabled and tag_name eq 'noscript' and
2356                    if $self->{insertion_mode} == AFTER_HEAD_IM;            ## insertion mode IN_HEAD_IM)
2357                redo B;            ## NOTE: There is a "as if in head" code clone.
2358              } elsif ($token->{tag_name} eq 'noscript') {            if ($self->{insertion_mode} == AFTER_HEAD_IM) {
2359                !!!cp ('t114');
2360                !!!parse-error (type => 'after head',
2361                                text => $token->{tag_name}, token => $token);
2362                push @{$self->{open_elements}},
2363                    [$self->{head_element}, $el_category->{head}];
2364                $self->{head_element_inserted} = 1;
2365              } else {
2366                !!!cp ('t115');
2367              }
2368              $parse_rcdata->(CDATA_CONTENT_MODEL);
2369              ## ISSUE: A spec bug [Bug 6038]
2370              splice @{$self->{open_elements}}, -2, 1, () # <head>
2371                  if ($self->{insertion_mode} & IM_MASK) == AFTER_HEAD_IM;
2372              next B;
2373            } elsif ($token->{tag_name} eq 'noscript') {
2374                if ($self->{insertion_mode} == IN_HEAD_IM) {                if ($self->{insertion_mode} == IN_HEAD_IM) {
2375                  !!!cp ('t116');                  !!!cp ('t116');
2376                  ## NOTE: and scripting is disalbed                  ## NOTE: and scripting is disalbed
2377                  !!!insert-element ($token->{tag_name}, $token->{attributes});                  !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
2378                  $self->{insertion_mode} = IN_HEAD_NOSCRIPT_IM;                  $self->{insertion_mode} = IN_HEAD_NOSCRIPT_IM;
2379                    !!!nack ('t116.1');
2380                  !!!next-token;                  !!!next-token;
2381                  redo B;                  next B;
2382                } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {                } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
2383                  !!!cp ('t117');                  !!!cp ('t117');
2384                  !!!parse-error (type => 'in noscript:noscript');                  !!!parse-error (type => 'in noscript', text => 'noscript',
2385                                    token => $token);
2386                  ## Ignore the token                  ## Ignore the token
2387                    !!!nack ('t117.1');
2388                  !!!next-token;                  !!!next-token;
2389                  redo B;                  next B;
2390                } else {                } else {
2391                  !!!cp ('t118');                  !!!cp ('t118');
2392                  #                  #
2393                }                }
2394              } elsif ($token->{tag_name} eq 'script') {          } elsif ($token->{tag_name} eq 'script') {
2395                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {            if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
2396                  !!!cp ('t119');              !!!cp ('t119');
2397                  ## As if </noscript>              ## As if </noscript>
2398                  pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
2399                  !!!parse-error (type => 'in noscript:script');              !!!parse-error (type => 'in noscript', text => 'script',
2400                                              token => $token);
2401                  $self->{insertion_mode} = IN_HEAD_IM;            
2402                  ## Reprocess in the "in head" insertion mode...              $self->{insertion_mode} = IN_HEAD_IM;
2403                } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {              ## Reprocess in the "in head" insertion mode...
2404                  !!!cp ('t120');            } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
2405                  !!!parse-error (type => 'after head:'.$token->{tag_name});              !!!cp ('t120');
2406                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];              !!!parse-error (type => 'after head',
2407                } else {                              text => $token->{tag_name}, token => $token);
2408                  !!!cp ('t121');              push @{$self->{open_elements}},
2409                }                  [$self->{head_element}, $el_category->{head}];
2410                $self->{head_element_inserted} = 1;
2411                ## NOTE: There is a "as if in head" code clone.            } else {
2412                $script_start_tag->($insert_to_current);              !!!cp ('t121');
2413                pop @{$self->{open_elements}}            }
2414                    if $self->{insertion_mode} == AFTER_HEAD_IM;  
2415                redo B;            ## NOTE: There is a "as if in head" code clone.
2416              } elsif ($token->{tag_name} eq 'body' or            $script_start_tag->();
2417                       $token->{tag_name} eq 'frameset') {            ## ISSUE: A spec bug  [Bug 6038]
2418              splice @{$self->{open_elements}}, -2, 1 # <head>
2419                  if ($self->{insertion_mode} & IM_MASK) == AFTER_HEAD_IM;
2420              next B;
2421            } elsif ($token->{tag_name} eq 'body' or
2422                     $token->{tag_name} eq 'frameset') {
2423                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
2424                  !!!cp ('t122');                  !!!cp ('t122');
2425                  ## As if </noscript>                  ## As if </noscript>
2426                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
2427                  !!!parse-error (type => 'in noscript:'.$token->{tag_name});                  !!!parse-error (type => 'in noscript',
2428                                    text => $token->{tag_name}, token => $token);
2429                                    
2430                  ## Reprocess in the "in head" insertion mode...                  ## Reprocess in the "in head" insertion mode...
2431                  ## As if </head>                  ## As if </head>
# Line 3629  sub _tree_construction_main ($) { Line 2442  sub _tree_construction_main ($) {
2442                }                }
2443    
2444                ## "after head" insertion mode                ## "after head" insertion mode
2445                !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
2446                if ($token->{tag_name} eq 'body') {                if ($token->{tag_name} eq 'body') {
2447                  !!!cp ('t126');                  !!!cp ('t126');
2448                  $self->{insertion_mode} = IN_BODY_IM;                  $self->{insertion_mode} = IN_BODY_IM;
# Line 3639  sub _tree_construction_main ($) { Line 2452  sub _tree_construction_main ($) {
2452                } else {                } else {
2453                  die "$0: tag name: $self->{tag_name}";                  die "$0: tag name: $self->{tag_name}";
2454                }                }
2455                  !!!nack ('t127.1');
2456                !!!next-token;                !!!next-token;
2457                redo B;                next B;
2458              } else {              } else {
2459                !!!cp ('t128');                !!!cp ('t128');
2460                #                #
# Line 3650  sub _tree_construction_main ($) { Line 2464  sub _tree_construction_main ($) {
2464                !!!cp ('t129');                !!!cp ('t129');
2465                ## As if </noscript>                ## As if </noscript>
2466                pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
2467                !!!parse-error (type => 'in noscript:/'.$token->{tag_name});                !!!parse-error (type => 'in noscript:/',
2468                                  text => $token->{tag_name}, token => $token);
2469                                
2470                ## Reprocess in the "in head" insertion mode...                ## Reprocess in the "in head" insertion mode...
2471                ## As if </head>                ## As if </head>
# Line 3669  sub _tree_construction_main ($) { Line 2484  sub _tree_construction_main ($) {
2484    
2485              ## "after head" insertion mode              ## "after head" insertion mode
2486              ## As if <body>              ## As if <body>
2487              !!!insert-element ('body');              !!!insert-element ('body',, $token);
2488              $self->{insertion_mode} = IN_BODY_IM;              $self->{insertion_mode} = IN_BODY_IM;
2489              ## reprocess              ## reprocess
2490              redo B;              !!!ack-later;
2491            } elsif ($token->{type} == END_TAG_TOKEN) {              next B;
2492              if ($token->{tag_name} eq 'head') {        } elsif ($token->{type} == END_TAG_TOKEN) {
2493                if ($self->{insertion_mode} == BEFORE_HEAD_IM) {          ## "Before head", "in head", and "after head" insertion modes
2494                  !!!cp ('t132');          ## ignore most of end tags.  Exceptions are "body", "html",
2495                  ## As if <head>          ## and "br" end tags.  "Before head" and "in head" insertion
2496                  !!!create-element ($self->{head_element}, 'head');          ## modes also recognize "head" end tag.  "In head noscript"
2497                  $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});          ## insertion modes ignore end tags except for "noscript" and
2498                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];          ## "br".
2499    
2500            if ($token->{tag_name} eq 'head') {
2501              if ($self->{insertion_mode} == BEFORE_HEAD_IM) {
2502                !!!cp ('t132');
2503                ## As if <head>
2504                !!!create-element ($self->{head_element}, $HTML_NS, 'head',, $token);
2505                $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});
2506                push @{$self->{open_elements}},
2507                    [$self->{head_element}, $el_category->{head}];
2508    
2509                  ## Reprocess in the "in head" insertion mode...              ## Reprocess in the "in head" insertion mode...
2510                  pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
2511                  $self->{insertion_mode} = AFTER_HEAD_IM;              $self->{insertion_mode} = AFTER_HEAD_IM;
2512                  !!!next-token;              !!!next-token;
2513                  redo B;              next B;
2514                } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {            } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
2515                  !!!cp ('t133');              !!!cp ('t133');
2516                  ## As if </noscript>              #
2517                  pop @{$self->{open_elements}};            } elsif ($self->{insertion_mode} == IN_HEAD_IM) {
2518                  !!!parse-error (type => 'in noscript:/head');              !!!cp ('t134');
2519                                pop @{$self->{open_elements}};
2520                  ## Reprocess in the "in head" insertion mode...              $self->{insertion_mode} = AFTER_HEAD_IM;
2521                  pop @{$self->{open_elements}};              !!!next-token;
2522                  $self->{insertion_mode} = AFTER_HEAD_IM;              next B;
2523                  !!!next-token;            } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
2524                  redo B;              !!!cp ('t134.1');
2525                } elsif ($self->{insertion_mode} == IN_HEAD_IM) {              #
2526                  !!!cp ('t134');            } else {
2527                  pop @{$self->{open_elements}};              die "$0: $self->{insertion_mode}: Unknown insertion mode";
2528                  $self->{insertion_mode} = AFTER_HEAD_IM;            }
2529                  !!!next-token;          } elsif ($token->{tag_name} eq 'noscript') {
2530                  redo B;            if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
2531                } else {              !!!cp ('t136');
2532                  !!!cp ('t135');              pop @{$self->{open_elements}};
2533                  #              $self->{insertion_mode} = IN_HEAD_IM;
2534                }              !!!next-token;
2535              } elsif ($token->{tag_name} eq 'noscript') {              next B;
2536                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {            } else {
2537                  !!!cp ('t136');              !!!cp ('t138');
2538                  pop @{$self->{open_elements}};              #
2539                  $self->{insertion_mode} = IN_HEAD_IM;            }
2540                  !!!next-token;          } elsif ({
2541                  redo B;              body => ($self->{insertion_mode} != IN_HEAD_NOSCRIPT_IM),
2542                } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM) {              html => ($self->{insertion_mode} != IN_HEAD_NOSCRIPT_IM),
2543                  !!!cp ('t137');              br => 1,
2544                  !!!parse-error (type => 'unmatched end tag:noscript');          }->{$token->{tag_name}}) {
2545                  ## Ignore the token ## ISSUE: An issue in the spec.            if ($self->{insertion_mode} == BEFORE_HEAD_IM) {
2546                  !!!next-token;              !!!cp ('t142.2');
2547                  redo B;              ## (before head) as if <head>, (in head) as if </head>
2548                } else {              !!!create-element ($self->{head_element}, $HTML_NS, 'head',, $token);
2549                  !!!cp ('t138');              $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});
2550                  #              $self->{insertion_mode} = AFTER_HEAD_IM;
2551                }    
2552              } elsif ({              ## Reprocess in the "after head" insertion mode...
2553                        body => 1, html => 1,            } elsif ($self->{insertion_mode} == IN_HEAD_IM) {
2554                       }->{$token->{tag_name}}) {              !!!cp ('t143.2');
2555                if ($self->{insertion_mode} == BEFORE_HEAD_IM) {              ## As if </head>
2556                  !!!cp ('t139');              pop @{$self->{open_elements}};
2557                  ## As if <head>              $self->{insertion_mode} = AFTER_HEAD_IM;
2558                  !!!create-element ($self->{head_element}, 'head');    
2559                  $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});              ## Reprocess in the "after head" insertion mode...
2560                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];            } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
2561                !!!cp ('t143.3');
2562                ## NOTE: Two parse errors for <head><noscript></br>
2563                !!!parse-error (type => 'unmatched end tag',
2564                                text => $token->{tag_name}, token => $token);
2565                ## As if </noscript>
2566                pop @{$self->{open_elements}};
2567                $self->{insertion_mode} = IN_HEAD_IM;
2568    
2569                  $self->{insertion_mode} = IN_HEAD_IM;              ## Reprocess in the "in head" insertion mode...
2570                  ## Reprocess in the "in head" insertion mode...              ## As if </head>
2571                } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {              pop @{$self->{open_elements}};
2572                  !!!cp ('t140');              $self->{insertion_mode} = AFTER_HEAD_IM;
                 !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});  
                 ## Ignore the token  
                 !!!next-token;  
                 redo B;  
               } else {  
                 !!!cp ('t141');  
               }  
                 
               #  
             } elsif ({  
                       p => 1, br => 1,  
                      }->{$token->{tag_name}}) {  
               if ($self->{insertion_mode} == BEFORE_HEAD_IM) {  
                 !!!cp ('t142');  
                 ## As if <head>  
                 !!!create-element ($self->{head_element}, 'head');  
                 $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});  
                 push @{$self->{open_elements}}, [$self->{head_element}, 'head'];  
2573    
2574                  $self->{insertion_mode} = IN_HEAD_IM;              ## Reprocess in the "after head" insertion mode...
2575                  ## Reprocess in the "in head" insertion mode...            } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
2576                } else {              !!!cp ('t143.4');
2577                  !!!cp ('t143');              #
2578                }            } else {
2579                die "$0: $self->{insertion_mode}: Unknown insertion mode";
2580              }
2581    
2582                #            ## "after head" insertion mode
2583              } else {            ## As if <body>
2584                if ($self->{insertion_mode} == AFTER_HEAD_IM) {            !!!insert-element ('body',, $token);
2585                  !!!cp ('t144');            $self->{insertion_mode} = IN_BODY_IM;
2586                  #            ## Reprocess.
2587                } else {            next B;
2588                  !!!cp ('t145');          }
                 !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});  
                 ## Ignore the token  
                 !!!next-token;  
                 redo B;  
               }  
             }  
2589    
2590              if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {          ## End tags are ignored by default.
2591                !!!cp ('t146');          !!!cp ('t145');
2592                ## As if </noscript>          !!!parse-error (type => 'unmatched end tag',
2593                pop @{$self->{open_elements}};                          text => $token->{tag_name}, token => $token);
2594                !!!parse-error (type => 'in noscript:/'.$token->{tag_name});          ## Ignore the token.
2595                          !!!next-token;
2596                ## Reprocess in the "in head" insertion mode...          next B;
2597                ## As if </head>        } elsif ($token->{type} == END_OF_FILE_TOKEN) {
2598                pop @{$self->{open_elements}};          if ($self->{insertion_mode} == BEFORE_HEAD_IM) {
2599              !!!cp ('t149.1');
2600    
2601                ## Reprocess in the "after head" insertion mode...            ## NOTE: As if <head>
2602              } elsif ($self->{insertion_mode} == IN_HEAD_IM) {            !!!create-element ($self->{head_element}, $HTML_NS, 'head',, $token);
2603                !!!cp ('t147');            $self->{open_elements}->[-1]->[0]->append_child
2604                ## As if </head>                ($self->{head_element});
2605                pop @{$self->{open_elements}};            #push @{$self->{open_elements}},
2606              #    [$self->{head_element}, $el_category->{head}];
2607              #$self->{insertion_mode} = IN_HEAD_IM;
2608              ## NOTE: Reprocess.
2609    
2610              ## NOTE: As if </head>
2611              #pop @{$self->{open_elements}};
2612              #$self->{insertion_mode} = IN_AFTER_HEAD_IM;
2613              ## NOTE: Reprocess.
2614              
2615              #
2616            } elsif ($self->{insertion_mode} == IN_HEAD_IM) {
2617              !!!cp ('t149.2');
2618    
2619                ## Reprocess in the "after head" insertion mode...            ## NOTE: As if </head>
2620              } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM) {            pop @{$self->{open_elements}};
2621  ## ISSUE: This case cannot be reached?            #$self->{insertion_mode} = IN_AFTER_HEAD_IM;
2622                !!!cp ('t148');            ## NOTE: Reprocess.
               !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});  
               ## Ignore the token ## ISSUE: An issue in the spec.  
               !!!next-token;  
               redo B;  
             } else {  
               !!!cp ('t149');  
             }  
2623    
2624              ## "after head" insertion mode            #
2625              ## As if <body>          } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
2626              !!!insert-element ('body');            !!!cp ('t149.3');
2627              $self->{insertion_mode} = IN_BODY_IM;  
2628              ## reprocess            !!!parse-error (type => 'in noscript:#eof', token => $token);
2629              redo B;  
2630            } else {            ## As if </noscript>
2631              die "$0: $token->{type}: Unknown token type";            pop @{$self->{open_elements}};
2632            }            #$self->{insertion_mode} = IN_HEAD_IM;
2633              ## NOTE: Reprocess.
2634    
2635              ## NOTE: As if </head>
2636              pop @{$self->{open_elements}};
2637              #$self->{insertion_mode} = IN_AFTER_HEAD_IM;
2638              ## NOTE: Reprocess.
2639    
2640            ## ISSUE: An issue in the spec.            #
2641            } else {
2642              !!!cp ('t149.4');
2643              #
2644            }
2645    
2646            ## NOTE: As if <body>
2647            !!!insert-element ('body',, $token);
2648            $self->{insertion_mode} = IN_BODY_IM;
2649            ## NOTE: Reprocess.
2650            next B;
2651          } else {
2652            die "$0: $token->{type}: Unknown token type";
2653          }
2654      } elsif ($self->{insertion_mode} & BODY_IMS) {      } elsif ($self->{insertion_mode} & BODY_IMS) {
2655            if ($token->{type} == CHARACTER_TOKEN) {            if ($token->{type} == CHARACTER_TOKEN) {
2656              !!!cp ('t150');              !!!cp ('t150');
# Line 3826  sub _tree_construction_main ($) { Line 2660  sub _tree_construction_main ($) {
2660              $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});              $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});
2661    
2662              !!!next-token;              !!!next-token;
2663              redo B;              next B;
2664            } elsif ($token->{type} == START_TAG_TOKEN) {            } elsif ($token->{type} == START_TAG_TOKEN) {
2665              if ({              if ({
2666                   caption => 1, col => 1, colgroup => 1, tbody => 1,                   caption => 1, col => 1, colgroup => 1, tbody => 1,
2667                   td => 1, tfoot => 1, th => 1, thead => 1, tr => 1,                   td => 1, tfoot => 1, th => 1, thead => 1, tr => 1,
2668                  }->{$token->{tag_name}}) {                  }->{$token->{tag_name}}) {
2669                if ($self->{insertion_mode} == IN_CELL_IM) {                if (($self->{insertion_mode} & IM_MASK) == IN_CELL_IM) {
2670                  ## have an element in table scope                  ## have an element in table scope
2671                  my $tn;                  for (reverse 0..$#{$self->{open_elements}}) {
                 INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {  
2672                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
2673                    if ($node->[1] eq 'td' or $node->[1] eq 'th') {                    if ($node->[1] == TABLE_CELL_EL) {
2674                      !!!cp ('t151');                      !!!cp ('t151');
2675                      $tn = $node->[1];  
2676                      last INSCOPE;                      ## Close the cell
2677                    } elsif ({                      !!!back-token; # <x>
2678                              table => 1, html => 1,                      $token = {type => END_TAG_TOKEN,
2679                             }->{$node->[1]}) {                                tag_name => $node->[0]->manakai_local_name,
2680                                  line => $token->{line},
2681                                  column => $token->{column}};
2682                        next B;
2683                      } elsif ($node->[1] & TABLE_SCOPING_EL) {
2684                      !!!cp ('t152');                      !!!cp ('t152');
2685                      last INSCOPE;                      ## ISSUE: This case can never be reached, maybe.
2686                    }                      last;
                 } # INSCOPE  
                   unless (defined $tn) {  
                     !!!cp ('t153');  
 ## TODO: This error type is wrong.  
                     !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});  
                     ## Ignore the token  
                     !!!next-token;  
                     redo B;  
2687                    }                    }
2688                    }
2689    
2690                    !!!cp ('t153');
2691                    !!!parse-error (type => 'start tag not allowed',
2692                        text => $token->{tag_name}, token => $token);
2693                    ## Ignore the token
2694                    !!!nack ('t153.1');
2695                    !!!next-token;
2696                    next B;
2697                  } elsif (($self->{insertion_mode} & IM_MASK) == IN_CAPTION_IM) {
2698                    !!!parse-error (type => 'not closed', text => 'caption',
2699                                    token => $token);
2700                                    
2701                  !!!cp ('t154');                  ## NOTE: As if </caption>.
                 ## Close the cell  
                 !!!back-token; # <?>  
                 $token = {type => END_TAG_TOKEN, tag_name => $tn};  
                 redo B;  
               } elsif ($self->{insertion_mode} == IN_CAPTION_IM) {  
                 !!!parse-error (type => 'not closed:caption');  
                   
                 ## As if </caption>  
2702                  ## have a table element in table scope                  ## have a table element in table scope
2703                  my $i;                  my $i;
2704                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: {
2705                    my $node = $self->{open_elements}->[$_];                    for (reverse 0..$#{$self->{open_elements}}) {
2706                    if ($node->[1] eq 'caption') {                      my $node = $self->{open_elements}->[$_];
2707                      !!!cp ('t155');                      if ($node->[1] == CAPTION_EL) {
2708                      $i = $_;                        !!!cp ('t155');
2709                      last INSCOPE;                        $i = $_;
2710                    } elsif ({                        last INSCOPE;
2711                              table => 1, html => 1,                      } elsif ($node->[1] & TABLE_SCOPING_EL) {
2712                             }->{$node->[1]}) {                        !!!cp ('t156');
2713                      !!!cp ('t156');                        last;
2714                      last INSCOPE;                      }
2715                    }                    }
2716    
2717                      !!!cp ('t157');
2718                      !!!parse-error (type => 'start tag not allowed',
2719                                      text => $token->{tag_name}, token => $token);
2720                      ## Ignore the token
2721                      !!!nack ('t157.1');
2722                      !!!next-token;
2723                      next B;
2724                  } # INSCOPE                  } # INSCOPE
                   unless (defined $i) {  
                     !!!cp ('t157');  
 ## TODO: this type is wrong.  
                     !!!parse-error (type => 'unmatched end tag:caption');  
                     ## Ignore the token  
                     !!!next-token;  
                     redo B;  
                   }  
2725                                    
2726                  ## generate implied end tags                  ## generate implied end tags
2727                  while ({                  while ($self->{open_elements}->[-1]->[1]
2728                          dd => 1, dt => 1, li => 1, p => 1,                             & END_TAG_OPTIONAL_EL) {
                        }->{$self->{open_elements}->[-1]->[1]}) {  
2729                    !!!cp ('t158');                    !!!cp ('t158');
2730                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
2731                  }                  }
2732    
2733                  if ($self->{open_elements}->[-1]->[1] ne 'caption') {                  unless ($self->{open_elements}->[-1]->[1] == CAPTION_EL) {
2734                    !!!cp ('t159');                    !!!cp ('t159');
2735                    !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);                    !!!parse-error (type => 'not closed',
2736                                      text => $self->{open_elements}->[-1]->[0]
2737                                          ->manakai_local_name,
2738                                      token => $token);
2739                  } else {                  } else {
2740                    !!!cp ('t160');                    !!!cp ('t160');
2741                  }                  }
# Line 3912  sub _tree_construction_main ($) { Line 2747  sub _tree_construction_main ($) {
2747                  $self->{insertion_mode} = IN_TABLE_IM;                  $self->{insertion_mode} = IN_TABLE_IM;
2748                                    
2749                  ## reprocess                  ## reprocess
2750                  redo B;                  !!!ack-later;
2751                    next B;
2752                } else {                } else {
2753                  !!!cp ('t161');                  !!!cp ('t161');
2754                  #                  #
# Line 3923  sub _tree_construction_main ($) { Line 2759  sub _tree_construction_main ($) {
2759              }              }
2760            } elsif ($token->{type} == END_TAG_TOKEN) {            } elsif ($token->{type} == END_TAG_TOKEN) {
2761              if ($token->{tag_name} eq 'td' or $token->{tag_name} eq 'th') {              if ($token->{tag_name} eq 'td' or $token->{tag_name} eq 'th') {
2762                if ($self->{insertion_mode} == IN_CELL_IM) {                if (($self->{insertion_mode} & IM_MASK) == IN_CELL_IM) {
2763                  ## have an element in table scope                  ## have an element in table scope
2764                  my $i;                  my $i;
2765                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
2766                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
2767                    if ($node->[1] eq $token->{tag_name}) {                    if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
2768                      !!!cp ('t163');                      !!!cp ('t163');
2769                      $i = $_;                      $i = $_;
2770                      last INSCOPE;                      last INSCOPE;
2771                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
2772                      !!!cp ('t164');                      !!!cp ('t164');
2773                      last INSCOPE;                      last INSCOPE;
2774                    }                    }
2775                  } # INSCOPE                  } # INSCOPE
2776                    unless (defined $i) {                    unless (defined $i) {
2777                      !!!cp ('t165');                      !!!cp ('t165');
2778                      !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                      !!!parse-error (type => 'unmatched end tag',
2779                                        text => $token->{tag_name},
2780                                        token => $token);
2781                      ## Ignore the token                      ## Ignore the token
2782                      !!!next-token;                      !!!next-token;
2783                      redo B;                      next B;
2784                    }                    }
2785                                    
2786                  ## generate implied end tags                  ## generate implied end tags
2787                  while ({                  while ($self->{open_elements}->[-1]->[1]
2788                          dd => 1, dt => 1, li => 1, p => 1,                             & END_TAG_OPTIONAL_EL) {
                        }->{$self->{open_elements}->[-1]->[1]}) {  
2789                    !!!cp ('t166');                    !!!cp ('t166');
2790                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
2791                  }                  }
2792    
2793                  if ($self->{open_elements}->[-1]->[1] ne $token->{tag_name}) {                  if ($self->{open_elements}->[-1]->[0]->manakai_local_name
2794                            ne $token->{tag_name}) {
2795                    !!!cp ('t167');                    !!!cp ('t167');
2796                    !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);                    !!!parse-error (type => 'not closed',
2797                                      text => $self->{open_elements}->[-1]->[0]
2798                                          ->manakai_local_name,
2799                                      token => $token);
2800                  } else {                  } else {
2801                    !!!cp ('t168');                    !!!cp ('t168');
2802                  }                  }
# Line 3969  sub _tree_construction_main ($) { Line 2808  sub _tree_construction_main ($) {
2808                  $self->{insertion_mode} = IN_ROW_IM;                  $self->{insertion_mode} = IN_ROW_IM;
2809                                    
2810                  !!!next-token;                  !!!next-token;
2811                  redo B;                  next B;
2812                } elsif ($self->{insertion_mode} == IN_CAPTION_IM) {                } elsif (($self->{insertion_mode} & IM_MASK) == IN_CAPTION_IM) {
2813                  !!!cp ('t169');                  !!!cp ('t169');
2814                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                  !!!parse-error (type => 'unmatched end tag',
2815                                    text => $token->{tag_name}, token => $token);
2816                  ## Ignore the token                  ## Ignore the token
2817                  !!!next-token;                  !!!next-token;
2818                  redo B;                  next B;
2819                } else {                } else {
2820                  !!!cp ('t170');                  !!!cp ('t170');
2821                  #                  #
2822                }                }
2823              } elsif ($token->{tag_name} eq 'caption') {              } elsif ($token->{tag_name} eq 'caption') {
2824                if ($self->{insertion_mode} == IN_CAPTION_IM) {                if (($self->{insertion_mode} & IM_MASK) == IN_CAPTION_IM) {
2825                  ## have a table element in table scope                  ## have a table element in table scope
2826                  my $i;                  my $i;
2827                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: {
2828                    my $node = $self->{open_elements}->[$_];                    for (reverse 0..$#{$self->{open_elements}}) {
2829                    if ($node->[1] eq $token->{tag_name}) {                      my $node = $self->{open_elements}->[$_];
2830                      !!!cp ('t171');                      if ($node->[1] == CAPTION_EL) {
2831                      $i = $_;                        !!!cp ('t171');
2832                      last INSCOPE;                        $i = $_;
2833                    } elsif ({                        last INSCOPE;
2834                              table => 1, html => 1,                      } elsif ($node->[1] & TABLE_SCOPING_EL) {
2835                             }->{$node->[1]}) {                        !!!cp ('t172');
2836                      !!!cp ('t172');                        last;
2837                      last INSCOPE;                      }
2838                    }                    }
2839    
2840                      !!!cp ('t173');
2841                      !!!parse-error (type => 'unmatched end tag',
2842                                      text => $token->{tag_name}, token => $token);
2843                      ## Ignore the token
2844                      !!!next-token;
2845                      next B;
2846                  } # INSCOPE                  } # INSCOPE
                   unless (defined $i) {  
                     !!!cp ('t173');  
                     !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});  
                     ## Ignore the token  
                     !!!next-token;  
                     redo B;  
                   }  
2847                                    
2848                  ## generate implied end tags                  ## generate implied end tags
2849                  while ({                  while ($self->{open_elements}->[-1]->[1]
2850                          dd => 1, dt => 1, li => 1, p => 1,                             & END_TAG_OPTIONAL_EL) {
                        }->{$self->{open_elements}->[-1]->[1]}) {  
2851                    !!!cp ('t174');                    !!!cp ('t174');
2852                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
2853                  }                  }
2854                                    
2855                  if ($self->{open_elements}->[-1]->[1] ne 'caption') {                  unless ($self->{open_elements}->[-1]->[1] == CAPTION_EL) {
2856                    !!!cp ('t175');                    !!!cp ('t175');
2857                    !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);                    !!!parse-error (type => 'not closed',
2858                                      text => $self->{open_elements}->[-1]->[0]
2859                                          ->manakai_local_name,
2860                                      token => $token);
2861                  } else {                  } else {
2862                    !!!cp ('t176');                    !!!cp ('t176');
2863                  }                  }
# Line 4027  sub _tree_construction_main ($) { Line 2869  sub _tree_construction_main ($) {
2869                  $self->{insertion_mode} = IN_TABLE_IM;                  $self->{insertion_mode} = IN_TABLE_IM;
2870                                    
2871                  !!!next-token;                  !!!next-token;
2872                  redo B;                  next B;
2873                } elsif ($self->{insertion_mode} == IN_CELL_IM) {                } elsif (($self->{insertion_mode} & IM_MASK) == IN_CELL_IM) {
2874                  !!!cp ('t177');                  !!!cp ('t177');
2875                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                  !!!parse-error (type => 'unmatched end tag',
2876                                    text => $token->{tag_name}, token => $token);
2877                  ## Ignore the token                  ## Ignore the token
2878                  !!!next-token;                  !!!next-token;
2879                  redo B;                  next B;
2880                } else {                } else {
2881                  !!!cp ('t178');                  !!!cp ('t178');
2882                  #                  #
# Line 4042  sub _tree_construction_main ($) { Line 2885  sub _tree_construction_main ($) {
2885                        table => 1, tbody => 1, tfoot => 1,                        table => 1, tbody => 1, tfoot => 1,
2886                        thead => 1, tr => 1,                        thead => 1, tr => 1,
2887                       }->{$token->{tag_name}} and                       }->{$token->{tag_name}} and
2888                       $self->{insertion_mode} == IN_CELL_IM) {                       ($self->{insertion_mode} & IM_MASK) == IN_CELL_IM) {
2889                ## have an element in table scope                ## have an element in table scope
2890                my $i;                my $i;
2891                my $tn;                my $tn;
2892                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: {
2893                  my $node = $self->{open_elements}->[$_];                  for (reverse 0..$#{$self->{open_elements}}) {
2894                  if ($node->[1] eq $token->{tag_name}) {                    my $node = $self->{open_elements}->[$_];
2895                    !!!cp ('t179');                    if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
2896                    $i = $_;                      !!!cp ('t179');
2897                    last INSCOPE;                      $i = $_;
2898                  } elsif ($node->[1] eq 'td' or $node->[1] eq 'th') {  
2899                    !!!cp ('t180');                      ## Close the cell
2900                    $tn = $node->[1];                      !!!back-token; # </x>
2901                    ## NOTE: There is exactly one |td| or |th| element                      $token = {type => END_TAG_TOKEN, tag_name => $tn,
2902                    ## in scope in the stack of open elements by definition.                                line => $token->{line},
2903                  } elsif ({                                column => $token->{column}};
2904                            table => 1, html => 1,                      next B;
2905                           }->{$node->[1]}) {                    } elsif ($node->[1] == TABLE_CELL_EL) {
2906                    !!!cp ('t181');                      !!!cp ('t180');
2907                    last INSCOPE;                      $tn = $node->[0]->manakai_local_name;
2908                        ## NOTE: There is exactly one |td| or |th| element
2909                        ## in scope in the stack of open elements by definition.
2910                      } elsif ($node->[1] & TABLE_SCOPING_EL) {
2911                        ## ISSUE: Can this be reached?
2912                        !!!cp ('t181');
2913                        last;
2914                      }
2915                  }                  }
2916                } # INSCOPE  
               unless (defined $i) {  
2917                  !!!cp ('t182');                  !!!cp ('t182');
2918                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                  !!!parse-error (type => 'unmatched end tag',
2919                        text => $token->{tag_name}, token => $token);
2920                  ## Ignore the token                  ## Ignore the token
2921                  !!!next-token;                  !!!next-token;
2922                  redo B;                  next B;
2923                } else {                } # INSCOPE
                 !!!cp ('t183');  
               }  
   
               ## Close the cell  
               !!!back-token; # </?>  
               $token = {type => END_TAG_TOKEN, tag_name => $tn};  
               redo B;  
2924              } elsif ($token->{tag_name} eq 'table' and              } elsif ($token->{tag_name} eq 'table' and
2925                       $self->{insertion_mode} == IN_CAPTION_IM) {                       ($self->{insertion_mode} & IM_MASK) == IN_CAPTION_IM) {
2926                !!!parse-error (type => 'not closed:caption');                !!!parse-error (type => 'not closed', text => 'caption',
2927                                  token => $token);
2928    
2929                ## As if </caption>                ## As if </caption>
2930                ## have a table element in table scope                ## have a table element in table scope
2931                my $i;                my $i;
2932                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
2933                  my $node = $self->{open_elements}->[$_];                  my $node = $self->{open_elements}->[$_];
2934                  if ($node->[1] eq 'caption') {                  if ($node->[1] == CAPTION_EL) {
2935                    !!!cp ('t184');                    !!!cp ('t184');
2936                    $i = $_;                    $i = $_;
2937                    last INSCOPE;                    last INSCOPE;
2938                  } elsif ({                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           table => 1, html => 1,  
                          }->{$node->[1]}) {  
2939                    !!!cp ('t185');                    !!!cp ('t185');
2940                    last INSCOPE;                    last INSCOPE;
2941                  }                  }
2942                } # INSCOPE                } # INSCOPE
2943                unless (defined $i) {                unless (defined $i) {
2944                  !!!cp ('t186');                  !!!cp ('t186');
2945                  !!!parse-error (type => 'unmatched end tag:caption');          ## TODO: Wrong error type?
2946                    !!!parse-error (type => 'unmatched end tag',
2947                                    text => 'caption', token => $token);
2948                  ## Ignore the token                  ## Ignore the token
2949                  !!!next-token;                  !!!next-token;
2950                  redo B;                  next B;
2951                }                }
2952                                
2953                ## generate implied end tags                ## generate implied end tags
2954                while ({                while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
                       dd => 1, dt => 1, li => 1, p => 1,  
                      }->{$self->{open_elements}->[-1]->[1]}) {  
2955                  !!!cp ('t187');                  !!!cp ('t187');
2956                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
2957                }                }
2958    
2959                if ($self->{open_elements}->[-1]->[1] ne 'caption') {                unless ($self->{open_elements}->[-1]->[1] == CAPTION_EL) {
2960                  !!!cp ('t188');                  !!!cp ('t188');
2961                  !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);                  !!!parse-error (type => 'not closed',
2962                                    text => $self->{open_elements}->[-1]->[0]
2963                                        ->manakai_local_name,
2964                                    token => $token);
2965                } else {                } else {
2966                  !!!cp ('t189');                  !!!cp ('t189');
2967                }                }
# Line 4128  sub _tree_construction_main ($) { Line 2973  sub _tree_construction_main ($) {
2973                $self->{insertion_mode} = IN_TABLE_IM;                $self->{insertion_mode} = IN_TABLE_IM;
2974    
2975                ## reprocess                ## reprocess
2976                redo B;                next B;
2977              } elsif ({              } elsif ({
2978                        body => 1, col => 1, colgroup => 1, html => 1,                        body => 1, col => 1, colgroup => 1, html => 1,
2979                       }->{$token->{tag_name}}) {                       }->{$token->{tag_name}}) {
2980                if ($self->{insertion_mode} & BODY_TABLE_IMS) {                if ($self->{insertion_mode} & BODY_TABLE_IMS) {
2981                  !!!cp ('t190');                  !!!cp ('t190');
2982                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                  !!!parse-error (type => 'unmatched end tag',
2983                                    text => $token->{tag_name}, token => $token);
2984                  ## Ignore the token                  ## Ignore the token
2985                  !!!next-token;                  !!!next-token;
2986                  redo B;                  next B;
2987                } else {                } else {
2988                  !!!cp ('t191');                  !!!cp ('t191');
2989                  #                  #
2990                }                }
2991              } elsif ({          } elsif ({
2992                        tbody => 1, tfoot => 1,                    tbody => 1, tfoot => 1,
2993                        thead => 1, tr => 1,                    thead => 1, tr => 1,
2994                       }->{$token->{tag_name}} and                   }->{$token->{tag_name}} and
2995                       $self->{insertion_mode} == IN_CAPTION_IM) {                   ($self->{insertion_mode} & IM_MASK) == IN_CAPTION_IM) {
2996                !!!cp ('t192');            !!!cp ('t192');
2997                !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            !!!parse-error (type => 'unmatched end tag',
2998                ## Ignore the token                            text => $token->{tag_name}, token => $token);
2999                !!!next-token;            ## Ignore the token
3000                redo B;            !!!next-token;
3001              } else {            next B;
3002                !!!cp ('t193');          } else {
3003                #            !!!cp ('t193');
3004              }            #
3005            }
3006          } elsif ($token->{type} == END_OF_FILE_TOKEN) {
3007            for my $entry (@{$self->{open_elements}}) {
3008              unless ($entry->[1] & ALL_END_TAG_OPTIONAL_EL) {
3009                !!!cp ('t75');
3010                !!!parse-error (type => 'in body:#eof', token => $token);
3011                last;
3012              }
3013            }
3014    
3015            ## Stop parsing.
3016            last B;
3017        } else {        } else {
3018          die "$0: $token->{type}: Unknown token type";          die "$0: $token->{type}: Unknown token type";
3019        }        }
# Line 4163  sub _tree_construction_main ($) { Line 3021  sub _tree_construction_main ($) {
3021        $insert = $insert_to_current;        $insert = $insert_to_current;
3022        #        #
3023      } elsif ($self->{insertion_mode} & TABLE_IMS) {      } elsif ($self->{insertion_mode} & TABLE_IMS) {
3024        if ($token->{type} == CHARACTER_TOKEN) {        if ($token->{type} == START_TAG_TOKEN) {
3025          if (not $open_tables->[-1]->[1] and # tainted          if ({
3026              $token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) {               tr => (($self->{insertion_mode} & IM_MASK) != IN_ROW_IM),
3027            $self->{open_elements}->[-1]->[0]->manakai_append_text ($1);               th => 1, td => 1,
3028                              }->{$token->{tag_name}}) {
3029            unless (length $token->{data}) {            if (($self->{insertion_mode} & IM_MASK) == IN_TABLE_IM) {
3030              !!!cp ('t194');              ## Clear back to table context
3031              !!!next-token;              while (not ($self->{open_elements}->[-1]->[1]
3032              redo B;                              & TABLE_SCOPING_EL)) {
3033            } else {                !!!cp ('t201');
3034              !!!cp ('t195');                pop @{$self->{open_elements}};
3035            }              }
         }  
   
             !!!parse-error (type => 'in table:#character');  
   
             ## As if in body, but insert into foster parent element  
             ## ISSUE: Spec says that "whenever a node would be inserted  
             ## into the current node" while characters might not be  
             ## result in a new Text node.  
             $reconstruct_active_formatting_elements->($insert_to_foster);  
               
             if ({  
                  table => 1, tbody => 1, tfoot => 1,  
                  thead => 1, tr => 1,  
                 }->{$self->{open_elements}->[-1]->[1]}) {  
               # MUST  
               my $foster_parent_element;  
               my $next_sibling;  
               my $prev_sibling;  
               OE: for (reverse 0..$#{$self->{open_elements}}) {  
                 if ($self->{open_elements}->[$_]->[1] eq 'table') {  
                   my $parent = $self->{open_elements}->[$_]->[0]->parent_node;  
                   if (defined $parent and $parent->node_type == 1) {  
                     !!!cp ('t196');  
                     $foster_parent_element = $parent;  
                     $next_sibling = $self->{open_elements}->[$_]->[0];  
                     $prev_sibling = $next_sibling->previous_sibling;  
                   } else {  
                     !!!cp ('t197');  
                     $foster_parent_element = $self->{open_elements}->[$_ - 1]->[0];  
                     $prev_sibling = $foster_parent_element->last_child;  
                   }  
                   last OE;  
                 }  
               } # OE  
               $foster_parent_element = $self->{open_elements}->[0]->[0] and  
               $prev_sibling = $foster_parent_element->last_child  
                 unless defined $foster_parent_element;  
               if (defined $prev_sibling and  
                   $prev_sibling->node_type == 3) {  
                 !!!cp ('t198');  
                 $prev_sibling->manakai_append_text ($token->{data});  
               } else {  
                 !!!cp ('t199');  
                 $foster_parent_element->insert_before  
                   ($self->{document}->create_text_node ($token->{data}),  
                    $next_sibling);  
               }  
           $open_tables->[-1]->[1] = 1; # tainted  
         } else {  
           !!!cp ('t200');  
           $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});  
         }  
3036                            
3037          !!!next-token;              !!!insert-element ('tbody',, $token);
3038          redo B;              $self->{insertion_mode} = IN_TABLE_BODY_IM;
3039        } elsif ($token->{type} == START_TAG_TOKEN) {              ## reprocess in the "in table body" insertion mode...
3040              if ({            }
3041                   tr => ($self->{insertion_mode} != IN_ROW_IM),            
3042                   th => 1, td => 1,            if (($self->{insertion_mode} & IM_MASK) == IN_TABLE_BODY_IM) {
3043                  }->{$token->{tag_name}}) {              unless ($token->{tag_name} eq 'tr') {
3044                if ($self->{insertion_mode} == IN_TABLE_IM) {                !!!cp ('t202');
3045                  ## Clear back to table context                !!!parse-error (type => 'missing start tag:tr', token => $token);
3046                  while ($self->{open_elements}->[-1]->[1] ne 'table' and              }
                        $self->{open_elements}->[-1]->[1] ne 'html') {  
                   !!!cp ('t201');  
                   pop @{$self->{open_elements}};  
                 }  
                   
                 !!!insert-element ('tbody');  
                 $self->{insertion_mode} = IN_TABLE_BODY_IM;  
                 ## reprocess in the "in table body" insertion mode...  
               }  
   
               if ($self->{insertion_mode} == IN_TABLE_BODY_IM) {  
                 unless ($token->{tag_name} eq 'tr') {  
                   !!!cp ('t202');  
                   !!!parse-error (type => 'missing start tag:tr');  
                 }  
3047                                    
3048                  ## Clear back to table body context              ## Clear back to table body context
3049                  while (not {              while (not ($self->{open_elements}->[-1]->[1]
3050                    tbody => 1, tfoot => 1, thead => 1, html => 1,                              & TABLE_ROWS_SCOPING_EL)) {
3051                  }->{$self->{open_elements}->[-1]->[1]}) {                !!!cp ('t203');
3052                    !!!cp ('t203');                ## ISSUE: Can this case be reached?
3053                    ## ISSUE: Can this case be reached?                pop @{$self->{open_elements}};
3054                    pop @{$self->{open_elements}};              }
                 }  
3055                                    
3056                  $self->{insertion_mode} = IN_ROW_IM;              $self->{insertion_mode} = IN_ROW_IM;
3057                  if ($token->{tag_name} eq 'tr') {              if ($token->{tag_name} eq 'tr') {
3058                    !!!cp ('t204');                !!!cp ('t204');
3059                    !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
3060                    !!!next-token;                $open_tables->[-1]->[2] = 0 if @$open_tables; # ~node inserted
3061                    redo B;                !!!nack ('t204');
3062                  } else {                !!!next-token;
3063                    !!!cp ('t205');                next B;
3064                    !!!insert-element ('tr');              } else {
3065                    ## reprocess in the "in row" insertion mode                !!!cp ('t205');
3066                  }                !!!insert-element ('tr',, $token);
3067                } else {                ## reprocess in the "in row" insertion mode
3068                  !!!cp ('t206');              }
3069                }            } else {
3070                !!!cp ('t206');
3071              }
3072    
3073                ## Clear back to table row context                ## Clear back to table row context
3074                while (not {                while (not ($self->{open_elements}->[-1]->[1]
3075                  tr => 1, html => 1,                                & TABLE_ROW_SCOPING_EL)) {
               }->{$self->{open_elements}->[-1]->[1]}) {  
3076                  !!!cp ('t207');                  !!!cp ('t207');
3077                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
3078                }                }
3079                                
3080                !!!insert-element ($token->{tag_name}, $token->{attributes});            !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
3081                $self->{insertion_mode} = IN_CELL_IM;            $open_tables->[-1]->[2] = 0 if @$open_tables; # ~node inserted
3082              $self->{insertion_mode} = IN_CELL_IM;
3083    
3084                push @$active_formatting_elements, ['#marker', ''];            push @$active_formatting_elements, ['#marker', ''];
3085                                
3086              !!!nack ('t207.1');
3087              !!!next-token;
3088              next B;
3089            } elsif ({
3090                      caption => 1, col => 1, colgroup => 1,
3091                      tbody => 1, tfoot => 1, thead => 1,
3092                      tr => 1, # $self->{insertion_mode} == IN_ROW_IM
3093                     }->{$token->{tag_name}}) {
3094              if (($self->{insertion_mode} & IM_MASK) == IN_ROW_IM) {
3095                ## As if </tr>
3096                ## have an element in table scope
3097                my $i;
3098                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
3099                  my $node = $self->{open_elements}->[$_];
3100                  if ($node->[1] == TABLE_ROW_EL) {
3101                    !!!cp ('t208');
3102                    $i = $_;
3103                    last INSCOPE;
3104                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
3105                    !!!cp ('t209');
3106                    last INSCOPE;
3107                  }
3108                } # INSCOPE
3109                unless (defined $i) {
3110                  !!!cp ('t210');
3111                  ## TODO: This type is wrong.
3112                  !!!parse-error (type => 'unmacthed end tag',
3113                                  text => $token->{tag_name}, token => $token);
3114                  ## Ignore the token
3115                  !!!nack ('t210.1');
3116                !!!next-token;                !!!next-token;
3117                redo B;                next B;
3118              } elsif ({              }
                       caption => 1, col => 1, colgroup => 1,  
                       tbody => 1, tfoot => 1, thead => 1,  
                       tr => 1, # $self->{insertion_mode} == IN_ROW_IM  
                      }->{$token->{tag_name}}) {  
               if ($self->{insertion_mode} == IN_ROW_IM) {  
                 ## As if </tr>  
                 ## have an element in table scope  
                 my $i;  
                 INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {  
                   my $node = $self->{open_elements}->[$_];  
                   if ($node->[1] eq 'tr') {  
                     !!!cp ('t208');  
                     $i = $_;  
                     last INSCOPE;  
                   } elsif ({  
                             html => 1,  
   
                             ## NOTE: This element does not appear here, maybe.  
                             table => 1,  
                            }->{$node->[1]}) {  
                     !!!cp ('t209');  
                     last INSCOPE;  
                   }  
                 } # INSCOPE  
                 unless (defined $i) {  
                  !!!cp ('t210');  
 ## TODO: This type is wrong.  
                  !!!parse-error (type => 'unmacthed end tag:'.$token->{tag_name});  
                   ## Ignore the token  
                   !!!next-token;  
                   redo B;  
                 }  
3119                                    
3120                  ## Clear back to table row context                  ## Clear back to table row context
3121                  while (not {                  while (not ($self->{open_elements}->[-1]->[1]
3122                    tr => 1, html => 1,                                  & TABLE_ROW_SCOPING_EL)) {
                 }->{$self->{open_elements}->[-1]->[1]}) {  
3123                    !!!cp ('t211');                    !!!cp ('t211');
3124                    ## ISSUE: Can this case be reached?                    ## ISSUE: Can this case be reached?
3125                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
# Line 4341  sub _tree_construction_main ($) { Line 3130  sub _tree_construction_main ($) {
3130                  if ($token->{tag_name} eq 'tr') {                  if ($token->{tag_name} eq 'tr') {
3131                    !!!cp ('t212');                    !!!cp ('t212');
3132                    ## reprocess                    ## reprocess
3133                    redo B;                    !!!ack-later;
3134                      next B;
3135                  } else {                  } else {
3136                    !!!cp ('t213');                    !!!cp ('t213');
3137                    ## reprocess in the "in table body" insertion mode...                    ## reprocess in the "in table body" insertion mode...
3138                  }                  }
3139                }                }
3140    
3141                if ($self->{insertion_mode} == IN_TABLE_BODY_IM) {                if (($self->{insertion_mode} & IM_MASK) == IN_TABLE_BODY_IM) {
3142                  ## have an element in table scope                  ## have an element in table scope
3143                  my $i;                  my $i;
3144                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
3145                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
3146                    if ({                    if ($node->[1] == TABLE_ROW_GROUP_EL) {
                        tbody => 1, thead => 1, tfoot => 1,  
                       }->{$node->[1]}) {  
3147                      !!!cp ('t214');                      !!!cp ('t214');
3148                      $i = $_;                      $i = $_;
3149                      last INSCOPE;                      last INSCOPE;
3150                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
3151                      !!!cp ('t215');                      !!!cp ('t215');
3152                      last INSCOPE;                      last INSCOPE;
3153                    }                    }
3154                  } # INSCOPE                  } # INSCOPE
3155                  unless (defined $i) {                  unless (defined $i) {
3156                    !!!cp ('t216');                    !!!cp ('t216');
3157  ## TODO: This erorr type ios wrong.  ## TODO: This erorr type is wrong.
3158                    !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                    !!!parse-error (type => 'unmatched end tag',
3159                                      text => $token->{tag_name}, token => $token);
3160                    ## Ignore the token                    ## Ignore the token
3161                      !!!nack ('t216.1');
3162                    !!!next-token;                    !!!next-token;
3163                    redo B;                    next B;
3164                  }                  }
3165    
3166                  ## Clear back to table body context                  ## Clear back to table body context
3167                  while (not {                  while (not ($self->{open_elements}->[-1]->[1]
3168                    tbody => 1, tfoot => 1, thead => 1, html => 1,                                  & TABLE_ROWS_SCOPING_EL)) {
                 }->{$self->{open_elements}->[-1]->[1]}) {  
3169                    !!!cp ('t217');                    !!!cp ('t217');
3170                    ## ISSUE: Can this state be reached?                    ## ISSUE: Can this state be reached?
3171                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
# Line 4398  sub _tree_construction_main ($) { Line 3185  sub _tree_construction_main ($) {
3185                  !!!cp ('t218');                  !!!cp ('t218');
3186                }                }
3187    
3188                if ($token->{tag_name} eq 'col') {            if ($token->{tag_name} eq 'col') {
3189                  ## Clear back to table context              ## Clear back to table context
3190                  while ($self->{open_elements}->[-1]->[1] ne 'table' and              while (not ($self->{open_elements}->[-1]->[1]
3191                         $self->{open_elements}->[-1]->[1] ne 'html') {                              & TABLE_SCOPING_EL)) {
3192                    !!!cp ('t219');                !!!cp ('t219');
3193                    ## ISSUE: Can this state be reached?                ## ISSUE: Can this state be reached?
3194                    pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
3195                  }              }
3196                                
3197                  !!!insert-element ('colgroup');              !!!insert-element ('colgroup',, $token);
3198                  $self->{insertion_mode} = IN_COLUMN_GROUP_IM;              $self->{insertion_mode} = IN_COLUMN_GROUP_IM;
3199                  ## reprocess              ## reprocess
3200                  redo B;              $open_tables->[-1]->[2] = 0 if @$open_tables; # ~node inserted
3201                } elsif ({              !!!ack-later;
3202                          caption => 1,              next B;
3203                          colgroup => 1,            } elsif ({
3204                          tbody => 1, tfoot => 1, thead => 1,                      caption => 1,
3205                         }->{$token->{tag_name}}) {                      colgroup => 1,
3206                  ## Clear back to table context                      tbody => 1, tfoot => 1, thead => 1,
3207                  while ($self->{open_elements}->[-1]->[1] ne 'table' and                     }->{$token->{tag_name}}) {
3208                         $self->{open_elements}->[-1]->[1] ne 'html') {              ## Clear back to table context
3209                    while (not ($self->{open_elements}->[-1]->[1]
3210                                    & TABLE_SCOPING_EL)) {
3211                    !!!cp ('t220');                    !!!cp ('t220');
3212                    ## ISSUE: Can this state be reached?                    ## ISSUE: Can this state be reached?
3213                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
3214                  }                  }
3215                                    
3216                  push @$active_formatting_elements, ['#marker', '']              push @$active_formatting_elements, ['#marker', '']
3217                      if $token->{tag_name} eq 'caption';                  if $token->{tag_name} eq 'caption';
3218                                    
3219                  !!!insert-element ($token->{tag_name}, $token->{attributes});              !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
3220                  $self->{insertion_mode} = {              $open_tables->[-1]->[2] = 0 if @$open_tables; # ~node inserted
3221                                             caption => IN_CAPTION_IM,              $self->{insertion_mode} = {
3222                                             colgroup => IN_COLUMN_GROUP_IM,                                         caption => IN_CAPTION_IM,
3223                                             tbody => IN_TABLE_BODY_IM,                                         colgroup => IN_COLUMN_GROUP_IM,
3224                                             tfoot => IN_TABLE_BODY_IM,                                         tbody => IN_TABLE_BODY_IM,
3225                                             thead => IN_TABLE_BODY_IM,                                         tfoot => IN_TABLE_BODY_IM,
3226                                            }->{$token->{tag_name}};                                         thead => IN_TABLE_BODY_IM,
3227                  !!!next-token;                                        }->{$token->{tag_name}};
3228                  redo B;              !!!next-token;
3229                } else {              !!!nack ('t220.1');
3230                  die "$0: in table: <>: $token->{tag_name}";              next B;
3231                }            } else {
3232                die "$0: in table: <>: $token->{tag_name}";
3233              }
3234              } elsif ($token->{tag_name} eq 'table') {              } elsif ($token->{tag_name} eq 'table') {
3235                !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);                !!!parse-error (type => 'not closed',
3236                                  text => $self->{open_elements}->[-1]->[0]
3237                                      ->manakai_local_name,
3238                                  token => $token);
3239    
3240                ## As if </table>                ## As if </table>
3241                ## have a table element in table scope                ## have a table element in table scope
3242                my $i;                my $i;
3243                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
3244                  my $node = $self->{open_elements}->[$_];                  my $node = $self->{open_elements}->[$_];
3245                  if ($node->[1] eq 'table') {                  if ($node->[1] == TABLE_EL) {
3246                    !!!cp ('t221');                    !!!cp ('t221');
3247                    $i = $_;                    $i = $_;
3248                    last INSCOPE;                    last INSCOPE;
3249                  } elsif ({                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           #table => 1,  
                           html => 1,  
                          }->{$node->[1]}) {  
3250                    !!!cp ('t222');                    !!!cp ('t222');
3251                    last INSCOPE;                    last INSCOPE;
3252                  }                  }
# Line 4463  sub _tree_construction_main ($) { Line 3254  sub _tree_construction_main ($) {
3254                unless (defined $i) {                unless (defined $i) {
3255                  !!!cp ('t223');                  !!!cp ('t223');
3256  ## TODO: The following is wrong, maybe.  ## TODO: The following is wrong, maybe.
3257                  !!!parse-error (type => 'unmatched end tag:table');                  !!!parse-error (type => 'unmatched end tag', text => 'table',
3258                                    token => $token);
3259                  ## Ignore tokens </table><table>                  ## Ignore tokens </table><table>
3260                    !!!nack ('t223.1');
3261                  !!!next-token;                  !!!next-token;
3262                  redo B;                  next B;
3263                }                }
3264                                
3265    ## TODO: Followings are removed from the latest spec.
3266                ## generate implied end tags                ## generate implied end tags
3267                while ({                while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
                       dd => 1, dt => 1, li => 1, p => 1,  
                      }->{$self->{open_elements}->[-1]->[1]}) {  
3268                  !!!cp ('t224');                  !!!cp ('t224');
3269                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
3270                }                }
3271    
3272                if ($self->{open_elements}->[-1]->[1] ne 'table') {                unless ($self->{open_elements}->[-1]->[1] == TABLE_EL) {
3273                  !!!cp ('t225');                  !!!cp ('t225');
3274  ## ISSUE: Can this case be reached?                  ## NOTE: |<table><tr><table>|
3275                  !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);                  !!!parse-error (type => 'not closed',
3276                                    text => $self->{open_elements}->[-1]->[0]
3277                                        ->manakai_local_name,
3278                                    token => $token);
3279                } else {                } else {
3280                  !!!cp ('t226');                  !!!cp ('t226');
3281                }                }
# Line 4490  sub _tree_construction_main ($) { Line 3285  sub _tree_construction_main ($) {
3285    
3286                $self->_reset_insertion_mode;                $self->_reset_insertion_mode;
3287    
3288                ## reprocess            ## reprocess
3289                redo B;            !!!ack-later;
3290              next B;
3291            } elsif ($token->{tag_name} eq 'style') {
3292              !!!cp ('t227.8');
3293              ## NOTE: This is a "as if in head" code clone.
3294              $parse_rcdata->(CDATA_CONTENT_MODEL);
3295              $open_tables->[-1]->[2] = 0 if @$open_tables; # ~node inserted
3296              next B;
3297            } elsif ($token->{tag_name} eq 'script') {
3298              !!!cp ('t227.6');
3299              ## NOTE: This is a "as if in head" code clone.
3300              $script_start_tag->();
3301              $open_tables->[-1]->[2] = 0 if @$open_tables; # ~node inserted
3302              next B;
3303          } elsif ($token->{tag_name} eq 'input') {          } elsif ($token->{tag_name} eq 'input') {
3304            if (not $open_tables->[-1]->[1]) { # tainted            if ($token->{attributes}->{type}) {
3305              if ($token->{attributes}->{type}) { ## TODO: case              my $type = $token->{attributes}->{type}->{value};
3306                my $type = lc $token->{attributes}->{type}->{value};              $type =~ tr/A-Z/a-z/; ## ASCII case-insensitive.
3307                if ($type eq 'hidden') {              if ($type eq 'hidden') {
3308                  !!!cp ('t227.3');                !!!cp ('t227.3');
3309                  !!!parse-error (type => 'in table:'.$token->{tag_name});                !!!parse-error (type => 'in table',
3310                                  text => $token->{tag_name}, token => $token);
3311    
3312                  !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
3313                  $open_tables->[-1]->[2] = 0 if @$open_tables; # ~node inserted
3314    
3315                  ## TODO: form element pointer                ## TODO: form element pointer
3316    
3317                  pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
3318    
3319                  !!!next-token;                !!!next-token;
3320                  redo B;                !!!ack ('t227.2.1');
3321                } else {                next B;
                 !!!cp ('t227.2');  
                 #  
               }  
3322              } else {              } else {
3323                !!!cp ('t227.1');                !!!cp ('t227.1');
3324                #                #
# Line 4525  sub _tree_construction_main ($) { Line 3332  sub _tree_construction_main ($) {
3332            #            #
3333          }          }
3334    
3335          !!!parse-error (type => 'in table:'.$token->{tag_name});          !!!parse-error (type => 'in table', text => $token->{tag_name},
3336                            token => $token);
3337    
3338          $insert = $insert_to_foster;          $insert = $insert_to_foster;
3339          #          #
3340        } elsif ($token->{type} == END_TAG_TOKEN) {        } elsif ($token->{type} == END_TAG_TOKEN) {
3341              if ($token->{tag_name} eq 'tr' and          if ($token->{tag_name} eq 'tr' and
3342                  $self->{insertion_mode} == IN_ROW_IM) {              ($self->{insertion_mode} & IM_MASK) == IN_ROW_IM) {
3343                ## have an element in table scope            ## have an element in table scope
3344                my $i;                my $i;
3345                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
3346                  my $node = $self->{open_elements}->[$_];                  my $node = $self->{open_elements}->[$_];
3347                  if ($node->[1] eq $token->{tag_name}) {                  if ($node->[1] == TABLE_ROW_EL) {
3348                    !!!cp ('t228');                    !!!cp ('t228');
3349                    $i = $_;                    $i = $_;
3350                    last INSCOPE;                    last INSCOPE;
3351                  } elsif ({                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           table => 1, html => 1,  
                          }->{$node->[1]}) {  
3352                    !!!cp ('t229');                    !!!cp ('t229');
3353                    last INSCOPE;                    last INSCOPE;
3354                  }                  }
3355                } # INSCOPE                } # INSCOPE
3356                unless (defined $i) {                unless (defined $i) {
3357                  !!!cp ('t230');                  !!!cp ('t230');
3358                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                  !!!parse-error (type => 'unmatched end tag',
3359                                    text => $token->{tag_name}, token => $token);
3360                  ## Ignore the token                  ## Ignore the token
3361                    !!!nack ('t230.1');
3362                  !!!next-token;                  !!!next-token;
3363                  redo B;                  next B;
3364                } else {                } else {
3365                  !!!cp ('t232');                  !!!cp ('t232');
3366                }                }
3367    
3368                ## Clear back to table row context                ## Clear back to table row context
3369                while (not {                while (not ($self->{open_elements}->[-1]->[1]
3370                  tr => 1, html => 1,                                & TABLE_ROW_SCOPING_EL)) {
               }->{$self->{open_elements}->[-1]->[1]}) {  
3371                  !!!cp ('t231');                  !!!cp ('t231');
3372  ## ISSUE: Can this state be reached?  ## ISSUE: Can this state be reached?
3373                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
# Line 4569  sub _tree_construction_main ($) { Line 3376  sub _tree_construction_main ($) {
3376                pop @{$self->{open_elements}}; # tr                pop @{$self->{open_elements}}; # tr
3377                $self->{insertion_mode} = IN_TABLE_BODY_IM;                $self->{insertion_mode} = IN_TABLE_BODY_IM;
3378                !!!next-token;                !!!next-token;
3379                redo B;                !!!nack ('t231.1');
3380                  next B;
3381              } elsif ($token->{tag_name} eq 'table') {              } elsif ($token->{tag_name} eq 'table') {
3382                if ($self->{insertion_mode} == IN_ROW_IM) {                if (($self->{insertion_mode} & IM_MASK) == IN_ROW_IM) {
3383                  ## As if </tr>                  ## As if </tr>
3384                  ## have an element in table scope                  ## have an element in table scope
3385                  my $i;                  my $i;
3386                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
3387                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
3388                    if ($node->[1] eq 'tr') {                    if ($node->[1] == TABLE_ROW_EL) {
3389                      !!!cp ('t233');                      !!!cp ('t233');
3390                      $i = $_;                      $i = $_;
3391                      last INSCOPE;                      last INSCOPE;
3392                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
3393                      !!!cp ('t234');                      !!!cp ('t234');
3394                      last INSCOPE;                      last INSCOPE;
3395                    }                    }
# Line 4591  sub _tree_construction_main ($) { Line 3397  sub _tree_construction_main ($) {
3397                  unless (defined $i) {                  unless (defined $i) {
3398                    !!!cp ('t235');                    !!!cp ('t235');
3399  ## TODO: The following is wrong.  ## TODO: The following is wrong.
3400                    !!!parse-error (type => 'unmatched end tag:'.$token->{type});                    !!!parse-error (type => 'unmatched end tag',
3401                                      text => $token->{type}, token => $token);
3402                    ## Ignore the token                    ## Ignore the token
3403                      !!!nack ('t236.1');
3404                    !!!next-token;                    !!!next-token;
3405                    redo B;                    next B;
3406                  }                  }
3407                                    
3408                  ## Clear back to table row context                  ## Clear back to table row context
3409                  while (not {                  while (not ($self->{open_elements}->[-1]->[1]
3410                    tr => 1, html => 1,                                  & TABLE_ROW_SCOPING_EL)) {
                 }->{$self->{open_elements}->[-1]->[1]}) {  
3411                    !!!cp ('t236');                    !!!cp ('t236');
3412  ## ISSUE: Can this state be reached?  ## ISSUE: Can this state be reached?
3413                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
# Line 4611  sub _tree_construction_main ($) { Line 3418  sub _tree_construction_main ($) {
3418                  ## reprocess in the "in table body" insertion mode...                  ## reprocess in the "in table body" insertion mode...
3419                }                }
3420    
3421                if ($self->{insertion_mode} == IN_TABLE_BODY_IM) {                if (($self->{insertion_mode} & IM_MASK) == IN_TABLE_BODY_IM) {
3422                  ## have an element in table scope                  ## have an element in table scope
3423                  my $i;                  my $i;
3424                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
3425                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
3426                    if ({                    if ($node->[1] == TABLE_ROW_GROUP_EL) {
                        tbody => 1, thead => 1, tfoot => 1,  
                       }->{$node->[1]}) {  
3427                      !!!cp ('t237');                      !!!cp ('t237');
3428                      $i = $_;                      $i = $_;
3429                      last INSCOPE;                      last INSCOPE;
3430                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
3431                      !!!cp ('t238');                      !!!cp ('t238');
3432                      last INSCOPE;                      last INSCOPE;
3433                    }                    }
3434                  } # INSCOPE                  } # INSCOPE
3435                  unless (defined $i) {                  unless (defined $i) {
3436                    !!!cp ('t239');                    !!!cp ('t239');
3437                    !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                    !!!parse-error (type => 'unmatched end tag',
3438                                      text => $token->{tag_name}, token => $token);
3439                    ## Ignore the token                    ## Ignore the token
3440                      !!!nack ('t239.1');
3441                    !!!next-token;                    !!!next-token;
3442                    redo B;                    next B;
3443                  }                  }
3444                                    
3445                  ## Clear back to table body context                  ## Clear back to table body context
3446                  while (not {                  while (not ($self->{open_elements}->[-1]->[1]
3447                    tbody => 1, tfoot => 1, thead => 1, html => 1,                                  & TABLE_ROWS_SCOPING_EL)) {
                 }->{$self->{open_elements}->[-1]->[1]}) {  
3448                    !!!cp ('t240');                    !!!cp ('t240');
3449                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
3450                  }                  }
# Line 4666  sub _tree_construction_main ($) { Line 3470  sub _tree_construction_main ($) {
3470                my $i;                my $i;
3471                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
3472                  my $node = $self->{open_elements}->[$_];                  my $node = $self->{open_elements}->[$_];
3473                  if ($node->[1] eq $token->{tag_name}) {                  if ($node->[1] == TABLE_EL) {
3474                    !!!cp ('t241');                    !!!cp ('t241');
3475                    $i = $_;                    $i = $_;
3476                    last INSCOPE;                    last INSCOPE;
3477                  } elsif ({                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           table => 1, html => 1,  
                          }->{$node->[1]}) {  
3478                    !!!cp ('t242');                    !!!cp ('t242');
3479                    last INSCOPE;                    last INSCOPE;
3480                  }                  }
3481                } # INSCOPE                } # INSCOPE
3482                unless (defined $i) {                unless (defined $i) {
3483                  !!!cp ('t243');                  !!!cp ('t243');
3484                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                  !!!parse-error (type => 'unmatched end tag',
3485                                    text => $token->{tag_name}, token => $token);
3486                  ## Ignore the token                  ## Ignore the token
3487                    !!!nack ('t243.1');
3488                  !!!next-token;                  !!!next-token;
3489                  redo B;                  next B;
3490                }                }
3491                                    
3492                splice @{$self->{open_elements}}, $i;                splice @{$self->{open_elements}}, $i;
# Line 4691  sub _tree_construction_main ($) { Line 3495  sub _tree_construction_main ($) {
3495                $self->_reset_insertion_mode;                $self->_reset_insertion_mode;
3496                                
3497                !!!next-token;                !!!next-token;
3498                redo B;                next B;
3499              } elsif ({              } elsif ({
3500                        tbody => 1, tfoot => 1, thead => 1,                        tbody => 1, tfoot => 1, thead => 1,
3501                       }->{$token->{tag_name}} and                       }->{$token->{tag_name}} and
3502                       $self->{insertion_mode} & ROW_IMS) {                       $self->{insertion_mode} & ROW_IMS) {
3503                if ($self->{insertion_mode} == IN_ROW_IM) {                if (($self->{insertion_mode} & IM_MASK) == IN_ROW_IM) {
3504                  ## have an element in table scope                  ## have an element in table scope
3505                  my $i;                  my $i;
3506                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
3507                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
3508                    if ($node->[1] eq $token->{tag_name}) {                    if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
3509                      !!!cp ('t247');                      !!!cp ('t247');
3510                      $i = $_;                      $i = $_;
3511                      last INSCOPE;                      last INSCOPE;
3512                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
3513                      !!!cp ('t248');                      !!!cp ('t248');
3514                      last INSCOPE;                      last INSCOPE;
3515                    }                    }
3516                  } # INSCOPE                  } # INSCOPE
3517                    unless (defined $i) {                    unless (defined $i) {
3518                      !!!cp ('t249');                      !!!cp ('t249');
3519                      !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                      !!!parse-error (type => 'unmatched end tag',
3520                                        text => $token->{tag_name}, token => $token);
3521                      ## Ignore the token                      ## Ignore the token
3522                        !!!nack ('t249.1');
3523                      !!!next-token;                      !!!next-token;
3524                      redo B;                      next B;
3525                    }                    }
3526                                    
3527                  ## As if </tr>                  ## As if </tr>
# Line 4725  sub _tree_construction_main ($) { Line 3529  sub _tree_construction_main ($) {
3529                  my $i;                  my $i;
3530                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
3531                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
3532                    if ($node->[1] eq 'tr') {                    if ($node->[1] == TABLE_ROW_EL) {
3533                      !!!cp ('t250');                      !!!cp ('t250');
3534                      $i = $_;                      $i = $_;
3535                      last INSCOPE;                      last INSCOPE;
3536                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
3537                      !!!cp ('t251');                      !!!cp ('t251');
3538                      last INSCOPE;                      last INSCOPE;
3539                    }                    }
3540                  } # INSCOPE                  } # INSCOPE
3541                    unless (defined $i) {                    unless (defined $i) {
3542                      !!!cp ('t252');                      !!!cp ('t252');
3543                      !!!parse-error (type => 'unmatched end tag:tr');                      !!!parse-error (type => 'unmatched end tag',
3544                                        text => 'tr', token => $token);
3545                      ## Ignore the token                      ## Ignore the token
3546                        !!!nack ('t252.1');
3547                      !!!next-token;                      !!!next-token;
3548                      redo B;                      next B;
3549                    }                    }
3550                                    
3551                  ## Clear back to table row context                  ## Clear back to table row context
3552                  while (not {                  while (not ($self->{open_elements}->[-1]->[1]
3553                    tr => 1, html => 1,                                  & TABLE_ROW_SCOPING_EL)) {
                 }->{$self->{open_elements}->[-1]->[1]}) {  
3554                    !!!cp ('t253');                    !!!cp ('t253');
3555  ## ISSUE: Can this case be reached?  ## ISSUE: Can this case be reached?
3556                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
# Line 4762  sub _tree_construction_main ($) { Line 3565  sub _tree_construction_main ($) {
3565                my $i;                my $i;
3566                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
3567                  my $node = $self->{open_elements}->[$_];                  my $node = $self->{open_elements}->[$_];
3568                  if ($node->[1] eq $token->{tag_name}) {                  if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
3569                    !!!cp ('t254');                    !!!cp ('t254');
3570                    $i = $_;                    $i = $_;
3571                    last INSCOPE;                    last INSCOPE;
3572                  } elsif ({                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           table => 1, html => 1,  
                          }->{$node->[1]}) {  
3573                    !!!cp ('t255');                    !!!cp ('t255');
3574                    last INSCOPE;                    last INSCOPE;
3575                  }                  }
3576                } # INSCOPE                } # INSCOPE
3577                unless (defined $i) {                unless (defined $i) {
3578                  !!!cp ('t256');                  !!!cp ('t256');
3579                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                  !!!parse-error (type => 'unmatched end tag',
3580                                    text => $token->{tag_name}, token => $token);
3581                  ## Ignore the token                  ## Ignore the token
3582                    !!!nack ('t256.1');
3583                  !!!next-token;                  !!!next-token;
3584                  redo B;                  next B;
3585                }                }
3586    
3587                ## Clear back to table body context                ## Clear back to table body context
3588                while (not {                while (not ($self->{open_elements}->[-1]->[1]
3589                  tbody => 1, tfoot => 1, thead => 1, html => 1,                                & TABLE_ROWS_SCOPING_EL)) {
               }->{$self->{open_elements}->[-1]->[1]}) {  
3590                  !!!cp ('t257');                  !!!cp ('t257');
3591  ## ISSUE: Can this case be reached?  ## ISSUE: Can this case be reached?
3592                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
# Line 4792  sub _tree_construction_main ($) { Line 3594  sub _tree_construction_main ($) {
3594    
3595                pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
3596                $self->{insertion_mode} = IN_TABLE_IM;                $self->{insertion_mode} = IN_TABLE_IM;
3597                  !!!nack ('t257.1');
3598                !!!next-token;                !!!next-token;
3599                redo B;                next B;
3600              } elsif ({              } elsif ({
3601                        body => 1, caption => 1, col => 1, colgroup => 1,                        body => 1, caption => 1, col => 1, colgroup => 1,
3602                        html => 1, td => 1, th => 1,                        html => 1, td => 1, th => 1,
3603                        tr => 1, # $self->{insertion_mode} == IN_ROW_IM                        tr => 1, # $self->{insertion_mode} == IN_ROW_IM
3604                        tbody => 1, tfoot => 1, thead => 1, # $self->{insertion_mode} == IN_TABLE_IM                        tbody => 1, tfoot => 1, thead => 1, # $self->{insertion_mode} == IN_TABLE_IM
3605                       }->{$token->{tag_name}}) {                       }->{$token->{tag_name}}) {
3606                !!!cp ('t258');            !!!cp ('t258');
3607                !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            !!!parse-error (type => 'unmatched end tag',
3608                ## Ignore the token                            text => $token->{tag_name}, token => $token);
3609                !!!next-token;            ## Ignore the token
3610                redo B;            !!!nack ('t258.1');
3611               !!!next-token;
3612              next B;
3613          } else {          } else {
3614            !!!cp ('t259');            !!!cp ('t259');
3615            !!!parse-error (type => 'in table:/'.$token->{tag_name});            !!!parse-error (type => 'in table:/',
3616                              text => $token->{tag_name}, token => $token);
3617    
3618            $insert = $insert_to_foster;            $insert = $insert_to_foster;
3619            #            #
3620          }          }
3621          } elsif ($token->{type} == END_OF_FILE_TOKEN) {
3622            unless ($self->{open_elements}->[-1]->[1] == HTML_EL and
3623                    @{$self->{open_elements}} == 1) { # redundant, maybe
3624              !!!parse-error (type => 'in body:#eof', token => $token);
3625              !!!cp ('t259.1');
3626              #
3627            } else {
3628              !!!cp ('t259.2');
3629              #
3630            }
3631    
3632            ## Stop parsing
3633            last B;
3634        } else {        } else {
3635          die "$0: $token->{type}: Unknown token type";          die "$0: $token->{type}: Unknown token type";
3636        }        }
3637      } elsif ($self->{insertion_mode} == IN_COLUMN_GROUP_IM) {      } elsif (($self->{insertion_mode} & IM_MASK) == IN_COLUMN_GROUP_IM) {
3638            if ($token->{type} == CHARACTER_TOKEN) {            if ($token->{type} == CHARACTER_TOKEN) {
3639              if ($token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) {              if ($token->{data} =~ s/^([\x09\x0A\x0C\x20]+)//) {
3640                $self->{open_elements}->[-1]->[0]->manakai_append_text ($1);                $self->{open_elements}->[-1]->[0]->manakai_append_text ($1);
3641                unless (length $token->{data}) {                unless (length $token->{data}) {
3642                  !!!cp ('t260');                  !!!cp ('t260');
3643                  !!!next-token;                  !!!next-token;
3644                  redo B;                  next B;
3645                }                }
3646              }              }
3647                            
# Line 4831  sub _tree_construction_main ($) { Line 3650  sub _tree_construction_main ($) {
3650            } elsif ($token->{type} == START_TAG_TOKEN) {            } elsif ($token->{type} == START_TAG_TOKEN) {
3651              if ($token->{tag_name} eq 'col') {              if ($token->{tag_name} eq 'col') {
3652                !!!cp ('t262');                !!!cp ('t262');
3653                !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
3654                pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
3655                  !!!ack ('t262.1');
3656                !!!next-token;                !!!next-token;
3657                redo B;                next B;
3658              } else {              } else {
3659                !!!cp ('t263');                !!!cp ('t263');
3660                #                #
3661              }              }
3662            } elsif ($token->{type} == END_TAG_TOKEN) {            } elsif ($token->{type} == END_TAG_TOKEN) {
3663              if ($token->{tag_name} eq 'colgroup') {              if ($token->{tag_name} eq 'colgroup') {
3664                if ($self->{open_elements}->[-1]->[1] eq 'html') {                if ($self->{open_elements}->[-1]->[1] == HTML_EL) {
3665                  !!!cp ('t264');                  !!!cp ('t264');
3666                  !!!parse-error (type => 'unmatched end tag:colgroup');                  !!!parse-error (type => 'unmatched end tag',
3667                                    text => 'colgroup', token => $token);
3668                  ## Ignore the token                  ## Ignore the token
3669                  !!!next-token;                  !!!next-token;
3670                  redo B;                  next B;
3671                } else {                } else {
3672                  !!!cp ('t265');                  !!!cp ('t265');
3673                  pop @{$self->{open_elements}}; # colgroup                  pop @{$self->{open_elements}}; # colgroup
3674                  $self->{insertion_mode} = IN_TABLE_IM;                  $self->{insertion_mode} = IN_TABLE_IM;
3675                  !!!next-token;                  !!!next-token;
3676                  redo B;                              next B;            
3677                }                }
3678              } elsif ($token->{tag_name} eq 'col') {              } elsif ($token->{tag_name} eq 'col') {
3679                !!!cp ('t266');                !!!cp ('t266');
3680                !!!parse-error (type => 'unmatched end tag:col');                !!!parse-error (type => 'unmatched end tag',
3681                                  text => 'col', token => $token);
3682                ## Ignore the token                ## Ignore the token
3683                !!!next-token;                !!!next-token;
3684                redo B;                next B;
3685              } else {              } else {
3686                !!!cp ('t267');                !!!cp ('t267');
3687                #                #
3688              }              }
3689            } else {        } elsif ($token->{type} == END_OF_FILE_TOKEN) {
3690              die "$0: $token->{type}: Unknown token type";          if ($self->{open_elements}->[-1]->[1] == HTML_EL and
3691            }              @{$self->{open_elements}} == 1) { # redundant, maybe
3692              !!!cp ('t270.2');
3693              ## Stop parsing.
3694              last B;
3695            } else {
3696              ## NOTE: As if </colgroup>.
3697              !!!cp ('t270.1');
3698              pop @{$self->{open_elements}}; # colgroup
3699              $self->{insertion_mode} = IN_TABLE_IM;
3700              ## Reprocess.
3701              next B;
3702            }
3703          } else {
3704            die "$0: $token->{type}: Unknown token type";
3705          }
3706    
3707            ## As if </colgroup>            ## As if </colgroup>
3708            if ($self->{open_elements}->[-1]->[1] eq 'html') {            if ($self->{open_elements}->[-1]->[1] == HTML_EL) {
3709              !!!cp ('t269');              !!!cp ('t269');
3710              !!!parse-error (type => 'unmatched end tag:colgroup');  ## TODO: Wrong error type?
3711                !!!parse-error (type => 'unmatched end tag',
3712                                text => 'colgroup', token => $token);
3713              ## Ignore the token              ## Ignore the token
3714                !!!nack ('t269.1');
3715              !!!next-token;              !!!next-token;
3716              redo B;              next B;
3717            } else {            } else {
3718              !!!cp ('t270');              !!!cp ('t270');
3719              pop @{$self->{open_elements}}; # colgroup              pop @{$self->{open_elements}}; # colgroup
3720              $self->{insertion_mode} = IN_TABLE_IM;              $self->{insertion_mode} = IN_TABLE_IM;
3721                !!!ack-later;
3722              ## reprocess              ## reprocess
3723              redo B;              next B;
3724            }            }
3725      } elsif ($self->{insertion_mode} == IN_SELECT_IM) {      } elsif ($self->{insertion_mode} & SELECT_IMS) {
3726        if ($token->{type} == CHARACTER_TOKEN) {        if ($token->{type} == CHARACTER_TOKEN) {
3727          !!!cp ('t271');          !!!cp ('t271');
3728          $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});          $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});
3729          !!!next-token;          !!!next-token;
3730          redo B;          next B;
3731        } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
3732              if ($token->{tag_name} eq 'option') {          if ($token->{tag_name} eq 'option') {
3733                if ($self->{open_elements}->[-1]->[1] eq 'option') {            if ($self->{open_elements}->[-1]->[1] == OPTION_EL) {
3734                  !!!cp ('t272');              !!!cp ('t272');
3735                  ## As if </option>              ## As if </option>
3736                  pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
3737                } else {            } else {
3738                  !!!cp ('t273');              !!!cp ('t273');
3739                }            }
3740    
3741                !!!insert-element ($token->{tag_name}, $token->{attributes});            !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
3742                !!!next-token;            !!!nack ('t273.1');
3743                redo B;            !!!next-token;
3744              } elsif ($token->{tag_name} eq 'optgroup') {            next B;
3745                if ($self->{open_elements}->[-1]->[1] eq 'option') {          } elsif ($token->{tag_name} eq 'optgroup') {
3746                  !!!cp ('t274');            if ($self->{open_elements}->[-1]->[1] == OPTION_EL) {
3747                  ## As if </option>              !!!cp ('t274');
3748                  pop @{$self->{open_elements}};              ## As if </option>
3749                } else {              pop @{$self->{open_elements}};
3750                  !!!cp ('t275');            } else {
3751                }              !!!cp ('t275');
3752              }
3753    
3754                if ($self->{open_elements}->[-1]->[1] eq 'optgroup') {            if ($self->{open_elements}->[-1]->[1] == OPTGROUP_EL) {
3755                  !!!cp ('t276');              !!!cp ('t276');
3756                  ## As if </optgroup>              ## As if </optgroup>
3757                  pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
3758                } else {            } else {
3759                  !!!cp ('t277');              !!!cp ('t277');
3760                }            }
3761    
3762                !!!insert-element ($token->{tag_name}, $token->{attributes});            !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
3763                !!!next-token;            !!!nack ('t277.1');
3764                redo B;            !!!next-token;
3765              } elsif ($token->{tag_name} eq 'select') {            next B;
3766  ## TODO: The type below is not good - <select> is replaced by </select>          } elsif ({
3767                !!!parse-error (type => 'not closed:select');                     select => 1, input => 1, textarea => 1, keygen => 1,
3768                ## As if </select> instead                   }->{$token->{tag_name}} or
3769                ## have an element in table scope                   (($self->{insertion_mode} & IM_MASK)
3770                my $i;                        == IN_SELECT_IN_TABLE_IM and
3771                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                    {
3772                  my $node = $self->{open_elements}->[$_];                     caption => 1, table => 1,
3773                  if ($node->[1] eq $token->{tag_name}) {                     tbody => 1, tfoot => 1, thead => 1,
3774                    !!!cp ('t278');                     tr => 1, td => 1, th => 1,
3775                    $i = $_;                    }->{$token->{tag_name}})) {
3776                    last INSCOPE;  
3777                  } elsif ({            ## 1. Parse error.
3778                            table => 1, html => 1,            if ($token->{tag_name} eq 'select') {
3779                           }->{$node->[1]}) {                !!!parse-error (type => 'select in select', ## XXX: documentation
3780                    !!!cp ('t279');                                token => $token);
3781                    last INSCOPE;            } else {
3782                  }              !!!parse-error (type => 'not closed', text => 'select',
3783                } # INSCOPE                              token => $token);
3784                unless (defined $i) {            }
3785                  !!!cp ('t280');  
3786                  !!!parse-error (type => 'unmatched end tag:select');            ## 2./<select>-1. Unless "have an element in table scope" (select):
3787                  ## Ignore the token            my $i;
3788                  !!!next-token;            INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
3789                  redo B;              my $node = $self->{open_elements}->[$_];
3790                }              if ($node->[1] == SELECT_EL) {
3791                  !!!cp ('t278');
3792                  $i = $_;
3793                  last INSCOPE;
3794                } elsif ($node->[1] & TABLE_SCOPING_EL) {
3795                  !!!cp ('t279');
3796                  last INSCOPE;
3797                }
3798              } # INSCOPE
3799              unless (defined $i) {
3800                !!!cp ('t280');
3801                if ($token->{tag_name} eq 'select') {
3802                  ## NOTE: This error would be raised when
3803                  ## |select.innerHTML = '<select>'| is executed; in this
3804                  ## case two errors, "select in select" and "unmatched
3805                  ## end tags" are reported to the user, the latter might
3806                  ## be confusing but this is what the spec requires.
3807                  !!!parse-error (type => 'unmatched end tag',
3808                                  text => 'select',
3809                                  token => $token);
3810                }
3811                ## Ignore the token.
3812                !!!nack ('t280.1');
3813                !!!next-token;
3814                next B;
3815              }
3816    
3817              ## 3. Otherwise, as if there were <select>:
3818                                
3819                !!!cp ('t281');            !!!cp ('t281');
3820                splice @{$self->{open_elements}}, $i;            splice @{$self->{open_elements}}, $i;
3821    
3822                $self->_reset_insertion_mode;            $self->_reset_insertion_mode;
3823    
3824                !!!next-token;            if ($token->{tag_name} eq 'select') {
3825                redo B;              !!!nack ('t281.2');
3826                !!!next-token;
3827                next B;
3828              } else {
3829                !!!cp ('t281.1');
3830                !!!ack-later;
3831                ## Reprocess the token.
3832                next B;
3833              }
3834            } elsif ($token->{tag_name} eq 'script') {
3835              !!!cp ('t281.3');
3836              ## NOTE: This is an "as if in head" code clone
3837              $script_start_tag->();
3838              next B;
3839          } else {          } else {
3840            !!!cp ('t282');            !!!cp ('t282');
3841            !!!parse-error (type => 'in select:'.$token->{tag_name});            !!!parse-error (type => 'in select',
3842                              text => $token->{tag_name}, token => $token);
3843            ## Ignore the token            ## Ignore the token
3844              !!!nack ('t282.1');
3845            !!!next-token;            !!!next-token;
3846            redo B;            next B;
3847          }          }
3848        } elsif ($token->{type} == END_TAG_TOKEN) {        } elsif ($token->{type} == END_TAG_TOKEN) {
3849              if ($token->{tag_name} eq 'optgroup') {          if ($token->{tag_name} eq 'optgroup') {
3850                if ($self->{open_elements}->[-1]->[1] eq 'option' and            if ($self->{open_elements}->[-1]->[1] == OPTION_EL and
3851                    $self->{open_elements}->[-2]->[1] eq 'optgroup') {                $self->{open_elements}->[-2]->[1] == OPTGROUP_EL) {
3852                  !!!cp ('t283');              !!!cp ('t283');
3853                  ## As if </option>              ## As if </option>
3854                  splice @{$self->{open_elements}}, -2;              splice @{$self->{open_elements}}, -2;
3855                } elsif ($self->{open_elements}->[-1]->[1] eq 'optgroup') {            } elsif ($self->{open_elements}->[-1]->[1] == OPTGROUP_EL) {
3856                  !!!cp ('t284');              !!!cp ('t284');
3857                  pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
3858                } else {            } else {
3859                  !!!cp ('t285');              !!!cp ('t285');
3860                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});              !!!parse-error (type => 'unmatched end tag',
3861                  ## Ignore the token                              text => $token->{tag_name}, token => $token);
3862                }              ## Ignore the token
3863                !!!next-token;            }
3864                redo B;            !!!nack ('t285.1');
3865              } elsif ($token->{tag_name} eq 'option') {            !!!next-token;
3866                if ($self->{open_elements}->[-1]->[1] eq 'option') {            next B;
3867                  !!!cp ('t286');          } elsif ($token->{tag_name} eq 'option') {
3868                  pop @{$self->{open_elements}};            if ($self->{open_elements}->[-1]->[1] == OPTION_EL) {
3869                } else {              !!!cp ('t286');
3870                  !!!cp ('t287');              pop @{$self->{open_elements}};
3871                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            } else {
3872                  ## Ignore the token              !!!cp ('t287');
3873                }              !!!parse-error (type => 'unmatched end tag',
3874                !!!next-token;                              text => $token->{tag_name}, token => $token);
3875                redo B;              ## Ignore the token
3876              } elsif ($token->{tag_name} eq 'select') {            }
3877                ## have an element in table scope            !!!nack ('t287.1');
3878                my $i;            !!!next-token;
3879                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {            next B;
3880                  my $node = $self->{open_elements}->[$_];          } elsif ($token->{tag_name} eq 'select') {
3881                  if ($node->[1] eq $token->{tag_name}) {            ## have an element in table scope
3882                    !!!cp ('t288');            my $i;
3883                    $i = $_;            INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
3884                    last INSCOPE;              my $node = $self->{open_elements}->[$_];
3885                  } elsif ({              if ($node->[1] == SELECT_EL) {
3886                            table => 1, html => 1,                !!!cp ('t288');
3887                           }->{$node->[1]}) {                $i = $_;
3888                    !!!cp ('t289');                last INSCOPE;
3889                    last INSCOPE;              } elsif ($node->[1] & TABLE_SCOPING_EL) {
3890                  }                !!!cp ('t289');
3891                } # INSCOPE                last INSCOPE;
3892                unless (defined $i) {              }
3893                  !!!cp ('t290');            } # INSCOPE
3894                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            unless (defined $i) {
3895                  ## Ignore the token              !!!cp ('t290');
3896                  !!!next-token;              !!!parse-error (type => 'unmatched end tag',
3897                  redo B;                              text => $token->{tag_name}, token => $token);
3898                }              ## Ignore the token
3899                !!!nack ('t290.1');
3900                !!!next-token;
3901                next B;
3902              }
3903                                
3904                !!!cp ('t291');            !!!cp ('t291');
3905                splice @{$self->{open_elements}}, $i;            splice @{$self->{open_elements}}, $i;
3906    
3907                $self->_reset_insertion_mode;            $self->_reset_insertion_mode;
3908    
3909                !!!next-token;            !!!nack ('t291.1');
3910                redo B;            !!!next-token;
3911              } elsif ({            next B;
3912                        caption => 1, table => 1, tbody => 1,          } elsif (($self->{insertion_mode} & IM_MASK)
3913                        tfoot => 1, thead => 1, tr => 1, td => 1, th => 1,                       == IN_SELECT_IN_TABLE_IM and
3914                       }->{$token->{tag_name}}) {                   {
3915                      caption => 1, table => 1, tbody => 1,
3916                      tfoot => 1, thead => 1, tr => 1, td => 1, th => 1,
3917                     }->{$token->{tag_name}}) {
3918  ## TODO: The following is wrong?  ## TODO: The following is wrong?
3919                !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            !!!parse-error (type => 'unmatched end tag',
3920                              text => $token->{tag_name}, token => $token);
3921                                
3922                ## have an element in table scope            ## have an element in table scope
3923                my $i;            my $i;
3924                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {            INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
3925                  my $node = $self->{open_elements}->[$_];              my $node = $self->{open_elements}->[$_];
3926                  if ($node->[1] eq $token->{tag_name}) {              if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
3927                    !!!cp ('t292');                !!!cp ('t292');
3928                    $i = $_;                $i = $_;
3929                    last INSCOPE;                last INSCOPE;
3930                  } elsif ({              } elsif ($node->[1] & TABLE_SCOPING_EL) {
3931                            table => 1, html => 1,                !!!cp ('t293');
3932                           }->{$node->[1]}) {                last INSCOPE;
3933                    !!!cp ('t293');              }
3934                    last INSCOPE;            } # INSCOPE
3935                  }            unless (defined $i) {
3936                } # INSCOPE              !!!cp ('t294');
3937                unless (defined $i) {              ## Ignore the token
3938                  !!!cp ('t294');              !!!nack ('t294.1');
3939                  ## Ignore the token              !!!next-token;
3940                  !!!next-token;              next B;
3941                  redo B;            }
               }  
3942                                
3943                ## As if </select>            ## As if </select>
3944                ## have an element in table scope            ## have an element in table scope
3945                undef $i;            undef $i;
3946                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {            INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
3947                  my $node = $self->{open_elements}->[$_];              my $node = $self->{open_elements}->[$_];
3948                  if ($node->[1] eq 'select') {              if ($node->[1] == SELECT_EL) {
3949                    !!!cp ('t295');                !!!cp ('t295');
3950                    $i = $_;                $i = $_;
3951                    last INSCOPE;                last INSCOPE;
3952                  } elsif ({              } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           table => 1, html => 1,  
                          }->{$node->[1]}) {  
3953  ## ISSUE: Can this state be reached?  ## ISSUE: Can this state be reached?
3954                    !!!cp ('t296');                !!!cp ('t296');
3955                    last INSCOPE;                last INSCOPE;
3956                  }              }
3957                } # INSCOPE            } # INSCOPE
3958                unless (defined $i) {            unless (defined $i) {
3959                  !!!cp ('t297');              !!!cp ('t297');
3960  ## TODO: The following error type is correct?  ## TODO: The following error type is correct?
3961                  !!!parse-error (type => 'unmatched end tag:select');              !!!parse-error (type => 'unmatched end tag',
3962                  ## Ignore the </select> token                              text => 'select', token => $token);
3963                  !!!next-token; ## TODO: ok?              ## Ignore the </select> token
3964                  redo B;              !!!nack ('t297.1');
3965                }              !!!next-token; ## TODO: ok?
3966                next B;
3967              }
3968                                
3969                !!!cp ('t298');            !!!cp ('t298');
3970                splice @{$self->{open_elements}}, $i;            splice @{$self->{open_elements}}, $i;
3971    
3972                $self->_reset_insertion_mode;            $self->_reset_insertion_mode;
3973    
3974                ## reprocess            !!!ack-later;
3975                redo B;            ## reprocess
3976              next B;
3977          } else {          } else {
3978            !!!cp ('t299');            !!!cp ('t299');
3979            !!!parse-error (type => 'in select:/'.$token->{tag_name});            !!!parse-error (type => 'in select:/',
3980                              text => $token->{tag_name}, token => $token);
3981            ## Ignore the token            ## Ignore the token
3982              !!!nack ('t299.3');
3983            !!!next-token;            !!!next-token;
3984            redo B;            next B;
3985          }          }
3986          } elsif ($token->{type} == END_OF_FILE_TOKEN) {
3987            unless ($self->{open_elements}->[-1]->[1] == HTML_EL and
3988                    @{$self->{open_elements}} == 1) { # redundant, maybe
3989              !!!cp ('t299.1');
3990              !!!parse-error (type => 'in body:#eof', token => $token);
3991            } else {
3992              !!!cp ('t299.2');
3993            }
3994    
3995            ## Stop parsing.
3996            last B;
3997        } else {        } else {
3998          die "$0: $token->{type}: Unknown token type";          die "$0: $token->{type}: Unknown token type";
3999        }        }
4000      } elsif ($self->{insertion_mode} & BODY_AFTER_IMS) {      } elsif ($self->{insertion_mode} & BODY_AFTER_IMS) {
4001        if ($token->{type} == CHARACTER_TOKEN) {        if ($token->{type} == CHARACTER_TOKEN) {
4002          if ($token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) {          if ($token->{data} =~ s/^([\x09\x0A\x0C\x20]+)//) {
4003            my $data = $1;            my $data = $1;
4004            ## As if in body            ## As if in body
4005            $reconstruct_active_formatting_elements->($insert_to_current);            $reconstruct_active_formatting_elements->($insert_to_current);
# Line 5105  sub _tree_construction_main ($) { Line 4009  sub _tree_construction_main ($) {
4009            unless (length $token->{data}) {            unless (length $token->{data}) {
4010              !!!cp ('t300');              !!!cp ('t300');
4011              !!!next-token;              !!!next-token;
4012              redo B;              next B;
4013            }            }
4014          }          }
4015                    
4016          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {
4017            !!!cp ('t301');            !!!cp ('t301');
4018            !!!parse-error (type => 'after html:#character');            !!!parse-error (type => 'after html:#text', token => $token);
4019              #
           ## Reprocess in the "after body" insertion mode.  
4020          } else {          } else {
4021            !!!cp ('t302');            !!!cp ('t302');
4022              ## "after body" insertion mode
4023              !!!parse-error (type => 'after body:#text', token => $token);
4024              #
4025          }          }
           
         ## "after body" insertion mode  
         !!!parse-error (type => 'after body:#character');  
4026    
4027          $self->{insertion_mode} = IN_BODY_IM;          $self->{insertion_mode} = IN_BODY_IM;
4028          ## reprocess          ## reprocess
4029          redo B;          next B;
4030        } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
4031          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {
4032            !!!cp ('t303');            !!!cp ('t303');
4033            !!!parse-error (type => 'after html:'.$token->{tag_name});            !!!parse-error (type => 'after html',
4034                                        text => $token->{tag_name}, token => $token);
4035            ## Reprocess in the "after body" insertion mode.            #
4036          } else {          } else {
4037            !!!cp ('t304');            !!!cp ('t304');
4038              ## "after body" insertion mode
4039              !!!parse-error (type => 'after body',
4040                              text => $token->{tag_name}, token => $token);
4041              #
4042          }          }
4043    
         ## "after body" insertion mode  
         !!!parse-error (type => 'after body:'.$token->{tag_name});  
   
4044          $self->{insertion_mode} = IN_BODY_IM;          $self->{insertion_mode} = IN_BODY_IM;
4045            !!!ack-later;
4046          ## reprocess          ## reprocess
4047          redo B;          next B;
4048        } elsif ($token->{type} == END_TAG_TOKEN) {        } elsif ($token->{type} == END_TAG_TOKEN) {
4049          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {
4050            !!!cp ('t305');            !!!cp ('t305');
4051            !!!parse-error (type => 'after html:/'.$token->{tag_name});            !!!parse-error (type => 'after html:/',
4052                              text => $token->{tag_name}, token => $token);
4053                        
4054            $self->{insertion_mode} = AFTER_BODY_IM;            $self->{insertion_mode} = IN_BODY_IM;
4055            ## Reprocess in the "after body" insertion mode.            ## Reprocess.
4056              next B;
4057          } else {          } else {
4058            !!!cp ('t306');            !!!cp ('t306');
4059          }          }
# Line 5155  sub _tree_construction_main ($) { Line 4062  sub _tree_construction_main ($) {
4062          if ($token->{tag_name} eq 'html') {          if ($token->{tag_name} eq 'html') {
4063            if (defined $self->{inner_html_node}) {            if (defined $self->{inner_html_node}) {
4064              !!!cp ('t307');              !!!cp ('t307');
4065              !!!parse-error (type => 'unmatched end tag:html');              !!!parse-error (type => 'unmatched end tag',
4066                                text => 'html', token => $token);
4067              ## Ignore the token              ## Ignore the token
4068              !!!next-token;              !!!next-token;
4069              redo B;              next B;
4070            } else {            } else {
4071              !!!cp ('t308');              !!!cp ('t308');
4072              $self->{insertion_mode} = AFTER_HTML_BODY_IM;              $self->{insertion_mode} = AFTER_HTML_BODY_IM;
4073              !!!next-token;              !!!next-token;
4074              redo B;              next B;
4075            }            }
4076          } else {          } else {
4077            !!!cp ('t309');            !!!cp ('t309');
4078            !!!parse-error (type => 'after body:/'.$token->{tag_name});            !!!parse-error (type => 'after body:/',
4079                              text => $token->{tag_name}, token => $token);
4080    
4081            $self->{insertion_mode} = IN_BODY_IM;            $self->{insertion_mode} = IN_BODY_IM;
4082            ## reprocess            ## reprocess
4083            redo B;            next B;
4084          }          }
4085          } elsif ($token->{type} == END_OF_FILE_TOKEN) {
4086            !!!cp ('t309.2');
4087            ## Stop parsing
4088            last B;
4089        } else {        } else {
4090          die "$0: $token->{type}: Unknown token type";          die "$0: $token->{type}: Unknown token type";
4091        }        }
4092      } elsif ($self->{insertion_mode} & FRAME_IMS) {      } elsif ($self->{insertion_mode} & FRAME_IMS) {
4093        if ($token->{type} == CHARACTER_TOKEN) {        if ($token->{type} == CHARACTER_TOKEN) {
4094          if ($token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) {          if ($token->{data} =~ s/^([\x09\x0A\x0C\x20]+)//) {
4095            $self->{open_elements}->[-1]->[0]->manakai_append_text ($1);            $self->{open_elements}->[-1]->[0]->manakai_append_text ($1);
4096                        
4097            unless (length $token->{data}) {            unless (length $token->{data}) {
4098              !!!cp ('t310');              !!!cp ('t310');
4099              !!!next-token;              !!!next-token;
4100              redo B;              next B;
4101            }            }
4102          }          }
4103                    
4104          if ($token->{data} =~ s/^[^\x09\x0A\x0B\x0C\x20]+//) {          if ($token->{data} =~ s/^[^\x09\x0A\x0C\x20]+//) {
4105            if ($self->{insertion_mode} == IN_FRAMESET_IM) {            if ($self->{insertion_mode} == IN_FRAMESET_IM) {
4106              !!!cp ('t311');              !!!cp ('t311');
4107              !!!parse-error (type => 'in frameset:#character');              !!!parse-error (type => 'in frameset:#text', token => $token);
4108            } elsif ($self->{insertion_mode} == AFTER_FRAMESET_IM) {            } elsif ($self->{insertion_mode} == AFTER_FRAMESET_IM) {
4109              !!!cp ('t312');              !!!cp ('t312');
4110              !!!parse-error (type => 'after frameset:#character');              !!!parse-error (type => 'after frameset:#text', token => $token);
4111            } else { # "after html frameset"            } else { # "after after frameset"
4112              !!!cp ('t313');              !!!cp ('t313');
4113              !!!parse-error (type => 'after html:#character');              !!!parse-error (type => 'after html:#text', token => $token);
   
             $self->{insertion_mode} = AFTER_FRAMESET_IM;  
             ## Reprocess in the "after frameset" insertion mode.  
             !!!parse-error (type => 'after frameset:#character');  
4114            }            }
4115                        
4116            ## Ignore the token.            ## Ignore the token.
# Line 5212  sub _tree_construction_main ($) { Line 4121  sub _tree_construction_main ($) {
4121              !!!cp ('t315');              !!!cp ('t315');
4122              !!!next-token;              !!!next-token;
4123            }            }
4124            redo B;            next B;
4125          }          }
4126                    
4127          die qq[$0: Character "$token->{data}"];          die qq[$0: Character "$token->{data}"];
4128        } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
         if ($self->{insertion_mode} == AFTER_HTML_FRAMESET_IM) {  
           !!!cp ('t316');  
           !!!parse-error (type => 'after html:'.$token->{tag_name});  
   
           $self->{insertion_mode} = AFTER_FRAMESET_IM;  
           ## Process in the "after frameset" insertion mode.  
         } else {  
           !!!cp ('t317');  
         }  
   
4129          if ($token->{tag_name} eq 'frameset' and          if ($token->{tag_name} eq 'frameset' and
4130              $self->{insertion_mode} == IN_FRAMESET_IM) {              $self->{insertion_mode} == IN_FRAMESET_IM) {
4131            !!!cp ('t318');            !!!cp ('t318');
4132            !!!insert-element ($token->{tag_name}, $token->{attributes});            !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
4133              !!!nack ('t318.1');
4134            !!!next-token;            !!!next-token;
4135            redo B;            next B;
4136          } elsif ($token->{tag_name} eq 'frame' and          } elsif ($token->{tag_name} eq 'frame' and
4137                   $self->{insertion_mode} == IN_FRAMESET_IM) {                   $self->{insertion_mode} == IN_FRAMESET_IM) {
4138            !!!cp ('t319');            !!!cp ('t319');
4139            !!!insert-element ($token->{tag_name}, $token->{attributes});            !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
4140            pop @{$self->{open_elements}};            pop @{$self->{open_elements}};
4141              !!!ack ('t319.1');
4142            !!!next-token;            !!!next-token;
4143            redo B;            next B;
4144          } elsif ($token->{tag_name} eq 'noframes') {          } elsif ($token->{tag_name} eq 'noframes') {
4145            !!!cp ('t320');            !!!cp ('t320');
4146            ## NOTE: As if in body.            ## NOTE: As if in head.
4147            $parse_rcdata->(CDATA_CONTENT_MODEL);            $parse_rcdata->(CDATA_CONTENT_MODEL);
4148            redo B;            next B;
4149    
4150              ## NOTE: |<!DOCTYPE HTML><frameset></frameset></html><noframes></noframes>|
4151              ## has no parse error.
4152          } else {          } else {
4153            if ($self->{insertion_mode} == IN_FRAMESET_IM) {            if ($self->{insertion_mode} == IN_FRAMESET_IM) {
4154              !!!cp ('t321');              !!!cp ('t321');
4155              !!!parse-error (type => 'in frameset:'.$token->{tag_name});              !!!parse-error (type => 'in frameset',
4156            } else {                              text => $token->{tag_name}, token => $token);
4157              } elsif ($self->{insertion_mode} == AFTER_FRAMESET_IM) {
4158              !!!cp ('t322');              !!!cp ('t322');
4159              !!!parse-error (type => 'after frameset:'.$token->{tag_name});              !!!parse-error (type => 'after frameset',
4160                                text => $token->{tag_name}, token => $token);
4161              } else { # "after after frameset"
4162                !!!cp ('t322.2');
4163                !!!parse-error (type => 'after after frameset',
4164                                text => $token->{tag_name}, token => $token);
4165            }            }
4166            ## Ignore the token            ## Ignore the token
4167              !!!nack ('t322.1');
4168            !!!next-token;            !!!next-token;
4169            redo B;            next B;
4170          }          }
4171        } elsif ($token->{type} == END_TAG_TOKEN) {        } elsif ($token->{type} == END_TAG_TOKEN) {
         if ($self->{insertion_mode} == AFTER_HTML_FRAMESET_IM) {  
           !!!cp ('t323');  
           !!!parse-error (type => 'after html:/'.$token->{tag_name});  
   
           $self->{insertion_mode} = AFTER_FRAMESET_IM;  
           ## Process in the "after frameset" insertion mode.  
         } else {  
           !!!cp ('t324');  
         }  
   
4172          if ($token->{tag_name} eq 'frameset' and          if ($token->{tag_name} eq 'frameset' and
4173              $self->{insertion_mode} == IN_FRAMESET_IM) {              $self->{insertion_mode} == IN_FRAMESET_IM) {
4174            if ($self->{open_elements}->[-1]->[1] eq 'html' and            if ($self->{open_elements}->[-1]->[1] == HTML_EL and
4175                @{$self->{open_elements}} == 1) {                @{$self->{open_elements}} == 1) {
4176              !!!cp ('t325');              !!!cp ('t325');
4177              !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});              !!!parse-error (type => 'unmatched end tag',
4178                                text => $token->{tag_name}, token => $token);
4179              ## Ignore the token              ## Ignore the token
4180              !!!next-token;              !!!next-token;
4181            } else {            } else {
# Line 5283  sub _tree_construction_main ($) { Line 4185  sub _tree_construction_main ($) {
4185            }            }
4186    
4187            if (not defined $self->{inner_html_node} and            if (not defined $self->{inner_html_node} and
4188                $self->{open_elements}->[-1]->[1] ne 'frameset') {                not ($self->{open_elements}->[-1]->[1] == FRAMESET_EL)) {
4189              !!!cp ('t327');              !!!cp ('t327');
4190              $self->{insertion_mode} = AFTER_FRAMESET_IM;              $self->{insertion_mode} = AFTER_FRAMESET_IM;
4191            } else {            } else {
4192              !!!cp ('t328');              !!!cp ('t328');
4193            }            }
4194            redo B;            next B;
4195          } elsif ($token->{tag_name} eq 'html' and          } elsif ($token->{tag_name} eq 'html' and
4196                   $self->{insertion_mode} == AFTER_FRAMESET_IM) {                   $self->{insertion_mode} == AFTER_FRAMESET_IM) {
4197            !!!cp ('t329');            !!!cp ('t329');
4198            $self->{insertion_mode} = AFTER_HTML_FRAMESET_IM;            $self->{insertion_mode} = AFTER_HTML_FRAMESET_IM;
4199            !!!next-token;            !!!next-token;
4200            redo B;            next B;
4201          } else {          } else {
4202            if ($self->{insertion_mode} == IN_FRAMESET_IM) {            if ($self->{insertion_mode} == IN_FRAMESET_IM) {
4203              !!!cp ('t330');              !!!cp ('t330');
4204              !!!parse-error (type => 'in frameset:/'.$token->{tag_name});              !!!parse-error (type => 'in frameset:/',
4205            } else {                              text => $token->{tag_name}, token => $token);
4206              } elsif ($self->{insertion_mode} == AFTER_FRAMESET_IM) {
4207                !!!cp ('t330.1');
4208                !!!parse-error (type => 'after frameset:/',
4209                                text => $token->{tag_name}, token => $token);
4210              } else { # "after after html"
4211              !!!cp ('t331');              !!!cp ('t331');
4212              !!!parse-error (type => 'after frameset:/'.$token->{tag_name});              !!!parse-error (type => 'after after frameset:/',
4213                                text => $token->{tag_name}, token => $token);
4214            }            }
4215            ## Ignore the token            ## Ignore the token
4216            !!!next-token;            !!!next-token;
4217            redo B;            next B;
4218            }
4219          } elsif ($token->{type} == END_OF_FILE_TOKEN) {
4220            unless ($self->{open_elements}->[-1]->[1] == HTML_EL and
4221                    @{$self->{open_elements}} == 1) { # redundant, maybe
4222              !!!cp ('t331.1');
4223              !!!parse-error (type => 'in body:#eof', token => $token);
4224            } else {
4225              !!!cp ('t331.2');
4226          }          }
4227            
4228            ## Stop parsing
4229            last B;
4230        } else {        } else {
4231          die "$0: $token->{type}: Unknown token type";          die "$0: $token->{type}: Unknown token type";
4232        }        }
   
       ## ISSUE: An issue in spec here  
4233      } else {      } else {
4234        die "$0: $self->{insertion_mode}: Unknown insertion mode";        die "$0: $self->{insertion_mode}: Unknown insertion mode";
4235      }      }
# Line 5322  sub _tree_construction_main ($) { Line 4239  sub _tree_construction_main ($) {
4239        if ($token->{tag_name} eq 'script') {        if ($token->{tag_name} eq 'script') {
4240          !!!cp ('t332');          !!!cp ('t332');
4241          ## NOTE: This is an "as if in head" code clone          ## NOTE: This is an "as if in head" code clone
4242          $script_start_tag->($insert);          $script_start_tag->();
4243          redo B;          next B;
4244        } elsif ($token->{tag_name} eq 'style') {        } elsif ($token->{tag_name} eq 'style') {
4245          !!!cp ('t333');          !!!cp ('t333');
4246          ## NOTE: This is an "as if in head" code clone          ## NOTE: This is an "as if in head" code clone
4247          $parse_rcdata->(CDATA_CONTENT_MODEL);          $parse_rcdata->(CDATA_CONTENT_MODEL);
4248          redo B;          next B;
4249        } elsif ({        } elsif ({
4250                  base => 1, link => 1,                  base => 1, command => 1, link => 1,
4251                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
4252          !!!cp ('t334');          !!!cp ('t334');
4253          ## NOTE: This is an "as if in head" code clone, only "-t" differs          ## NOTE: This is an "as if in head" code clone, only "-t" differs
4254          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
4255          pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.          pop @{$self->{open_elements}};
4256            !!!ack ('t334.1');
4257          !!!next-token;          !!!next-token;
4258          redo B;          next B;
4259        } elsif ($token->{tag_name} eq 'meta') {        } elsif ($token->{tag_name} eq 'meta') {
4260          ## NOTE: This is an "as if in head" code clone, only "-t" differs          ## NOTE: This is an "as if in head" code clone, only "-t" differs
4261          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
4262          my $meta_el = pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.          my $meta_el = pop @{$self->{open_elements}};
4263    
4264          unless ($self->{confident}) {          unless ($self->{confident}) {
4265            if ($token->{attributes}->{charset}) { ## TODO: And if supported            if ($token->{attributes}->{charset}) {
4266              !!!cp ('t335');              !!!cp ('t335');
4267                ## NOTE: Whether the encoding is supported or not is handled
4268                ## in the {change_encoding} callback.
4269              $self->{change_encoding}              $self->{change_encoding}
4270                  ->($self, $token->{attributes}->{charset}->{value});                  ->($self, $token->{attributes}->{charset}->{value}, $token);
4271                            
4272              $meta_el->[0]->get_attribute_node_ns (undef, 'charset')              $meta_el->[0]->get_attribute_node_ns (undef, 'charset')
4273                  ->set_user_data (manakai_has_reference =>                  ->set_user_data (manakai_has_reference =>
4274                                       $token->{attributes}->{charset}                                       $token->{attributes}->{charset}
4275                                           ->{has_reference});                                           ->{has_reference});
4276            } elsif ($token->{attributes}->{content}) {            } elsif ($token->{attributes}->{content}) {
             ## ISSUE: Algorithm name in the spec was incorrect so that not linked to the definition.  
4277              if ($token->{attributes}->{content}->{value}              if ($token->{attributes}->{content}->{value}
4278                  =~ /\A[^;]*;[\x09-\x0D\x20]*[Cc][Hh][Aa][Rr][Ss][Ee][Tt]                  =~ /[Cc][Hh][Aa][Rr][Ss][Ee][Tt]
4279                      [\x09-\x0D\x20]*=                      [\x09\x0A\x0C\x0D\x20]*=
4280                      [\x09-\x0D\x20]*(?>"([^"]*)"|'([^']*)'|                      [\x09\x0A\x0C\x0D\x20]*(?>"([^"]*)"|'([^']*)'|
4281                      ([^"'\x09-\x0D\x20][^\x09-\x0D\x20]*))/x) {                      ([^"'\x09\x0A\x0C\x0D\x20][^\x09\x0A\x0C\x0D\x20\x3B]*))
4282                       /x) {
4283                !!!cp ('t336');                !!!cp ('t336');
4284                  ## NOTE: Whether the encoding is supported or not is handled
4285                  ## in the {change_encoding} callback.
4286                $self->{change_encoding}                $self->{change_encoding}
4287                    ->($self, defined $1 ? $1 : defined $2 ? $2 : $3);                    ->($self, defined $1 ? $1 : defined $2 ? $2 : $3, $token);
4288                $meta_el->[0]->get_attribute_node_ns (undef, 'content')                $meta_el->[0]->get_attribute_node_ns (undef, 'content')
4289                    ->set_user_data (manakai_has_reference =>                    ->set_user_data (manakai_has_reference =>
4290                                         $token->{attributes}->{content}                                         $token->{attributes}->{content}
# Line 5386  sub _tree_construction_main ($) { Line 4308  sub _tree_construction_main ($) {
4308            }            }
4309          }          }
4310    
4311            !!!ack ('t338.1');
4312          !!!next-token;          !!!next-token;
4313          redo B;          next B;
4314        } elsif ($token->{tag_name} eq 'title') {        } elsif ($token->{tag_name} eq 'title') {
4315          !!!cp ('t341');          !!!cp ('t341');
4316          ## NOTE: This is an "as if in head" code clone          ## NOTE: This is an "as if in head" code clone
4317          $parse_rcdata->(RCDATA_CONTENT_MODEL);          $parse_rcdata->(RCDATA_CONTENT_MODEL);
4318          redo B;          next B;
4319        } elsif ($token->{tag_name} eq 'body') {        } elsif ($token->{tag_name} eq 'body') {
4320          !!!parse-error (type => 'in body:body');          !!!parse-error (type => 'in body', text => 'body', token => $token);
4321                                
4322          if (@{$self->{open_elements}} == 1 or          if (@{$self->{open_elements}} == 1 or
4323              $self->{open_elements}->[1]->[1] ne 'body') {              not ($self->{open_elements}->[1]->[1] == BODY_EL)) {
4324            !!!cp ('t342');            !!!cp ('t342');
4325            ## Ignore the token            ## Ignore the token
4326          } else {          } else {
# Line 5411  sub _tree_construction_main ($) { Line 4334  sub _tree_construction_main ($) {
4334              }              }
4335            }            }
4336          }          }
4337            !!!nack ('t343.1');
4338          !!!next-token;          !!!next-token;
4339          redo B;          next B;
4340        } elsif ({        } elsif ({
4341                  address => 1, blockquote => 1, center => 1, dir => 1,                  ## NOTE: Start tags for non-phrasing flow content elements
4342                  div => 1, dl => 1, fieldset => 1,  
4343                  h1 => 1, h2 => 1, h3 => 1, h4 => 1, h5 => 1, h6 => 1,                  ## NOTE: The normal one
4344                  menu => 1, ol => 1, p => 1, ul => 1,                  address => 1, article => 1, aside => 1, blockquote => 1,
4345                    center => 1, datagrid => 1, details => 1, dialog => 1,
4346                    dir => 1, div => 1, dl => 1, fieldset => 1, figure => 1,
4347                    footer => 1, h1 => 1, h2 => 1, h3 => 1, h4 => 1, h5 => 1,
4348                    h6 => 1, header => 1, hgroup => 1,
4349                    menu => 1, nav => 1, ol => 1, p => 1,
4350                    section => 1, ul => 1,
4351                    ## NOTE: As normal, but drops leading newline
4352                  pre => 1, listing => 1,                  pre => 1, listing => 1,
4353                    ## NOTE: As normal, but interacts with the form element pointer
4354                    form => 1,
4355                    
4356                    table => 1,
4357                    hr => 1,
4358                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
4359          ## has a p element in scope  
4360          INSCOPE: for (reverse @{$self->{open_elements}}) {          ## 1. When there is an opening |form| element:
4361            if ($_->[1] eq 'p') {          if ($token->{tag_name} eq 'form' and defined $self->{form_element}) {
4362              !!!cp ('t344');            !!!cp ('t350');
4363              !!!back-token;            !!!parse-error (type => 'in form:form', token => $token);
4364              $token = {type => END_TAG_TOKEN, tag_name => 'p'};            ## Ignore the token
4365              redo B;            !!!nack ('t350.1');
4366            } elsif ({            !!!next-token;
4367                      table => 1, caption => 1, td => 1, th => 1,            next B;
4368                      button => 1, marquee => 1, object => 1, html => 1,          }
4369                     }->{$_->[1]}) {  
4370              !!!cp ('t345');          ## 2. Close the |p| element, if any.
4371              last INSCOPE;          if ($token->{tag_name} ne 'table' or # The Hixie Quirk
4372                $self->{document}->manakai_compat_mode ne 'quirks') {
4373              ## has a p element in scope
4374              INSCOPE: for (reverse @{$self->{open_elements}}) {
4375                if ($_->[1] == P_EL) {
4376                  !!!cp ('t344');
4377                  !!!back-token; # <form>
4378                  $token = {type => END_TAG_TOKEN, tag_name => 'p',
4379                            line => $token->{line}, column => $token->{column}};
4380                  next B;
4381                } elsif ($_->[1] & SCOPING_EL) {
4382                  !!!cp ('t345');
4383                  last INSCOPE;
4384                }
4385              } # INSCOPE
4386            }
4387    
4388            ## 3. Close the opening <hn> element, if any.
4389            if ({h1 => 1, h2 => 1, h3 => 1,
4390                 h4 => 1, h5 => 1, h6 => 1}->{$token->{tag_name}}) {
4391              if ($self->{open_elements}->[-1]->[1] == HEADING_EL) {
4392                !!!parse-error (type => 'not closed',
4393                                text => $self->{open_elements}->[-1]->[0]->manakai_local_name,
4394                                token => $token);
4395                pop @{$self->{open_elements}};
4396            }            }
4397          } # INSCOPE          }
4398              
4399          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          ## 4. Insertion.
4400            !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
4401          if ($token->{tag_name} eq 'pre' or $token->{tag_name} eq 'listing') {          if ($token->{tag_name} eq 'pre' or $token->{tag_name} eq 'listing') {
4402              !!!nack ('t346.1');
4403            !!!next-token;            !!!next-token;
4404            if ($token->{type} == CHARACTER_TOKEN) {            if ($token->{type} == CHARACTER_TOKEN) {
4405              $token->{data} =~ s/^\x0A//;              $token->{data} =~ s/^\x0A//;
# Line 5450  sub _tree_construction_main ($) { Line 4412  sub _tree_construction_main ($) {
4412            } else {            } else {
4413              !!!cp ('t348');              !!!cp ('t348');
4414            }            }
4415          } else {          } elsif ($token->{tag_name} eq 'form') {
4416            !!!cp ('t347');            !!!cp ('t347.1');
4417              $self->{form_element} = $self->{open_elements}->[-1]->[0];
4418    
4419              !!!nack ('t347.2');
4420            !!!next-token;            !!!next-token;
4421          }          } elsif ($token->{tag_name} eq 'table') {
4422          redo B;            !!!cp ('t382');
4423        } elsif ($token->{tag_name} eq 'form') {            push @{$open_tables}, [$self->{open_elements}->[-1]->[0]];
4424          if (defined $self->{form_element}) {            
4425            !!!cp ('t350');            $self->{insertion_mode} = IN_TABLE_IM;
4426            !!!parse-error (type => 'in form:form');  
4427            ## Ignore the token            !!!nack ('t382.1');
4428              !!!next-token;
4429            } elsif ($token->{tag_name} eq 'hr') {
4430              !!!cp ('t386');
4431              pop @{$self->{open_elements}};
4432            
4433              !!!ack ('t386.1');
4434            !!!next-token;            !!!next-token;
           redo B;  
4435          } else {          } else {
4436            ## has a p element in scope            !!!nack ('t347.1');
           INSCOPE: for (reverse @{$self->{open_elements}}) {  
             if ($_->[1] eq 'p') {  
               !!!cp ('t351');  
               !!!back-token;  
               $token = {type => END_TAG_TOKEN, tag_name => 'p'};  
               redo B;  
             } elsif ({  
                       table => 1, caption => 1, td => 1, th => 1,  
                       button => 1, marquee => 1, object => 1, html => 1,  
                      }->{$_->[1]}) {  
               !!!cp ('t352');  
               last INSCOPE;  
             }  
           } # INSCOPE  
               
           !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
           $self->{form_element} = $self->{open_elements}->[-1]->[0];  
4437            !!!next-token;            !!!next-token;
           redo B;  
4438          }          }
4439            next B;
4440        } elsif ($token->{tag_name} eq 'li') {        } elsif ($token->{tag_name} eq 'li') {
4441          ## has a p element in scope          ## NOTE: As normal, but imply </li> when there's another <li> ...
4442          INSCOPE: for (reverse @{$self->{open_elements}}) {  
4443            if ($_->[1] eq 'p') {          ## NOTE: Special, Scope (<li><foo><li> == <li><foo><li/></foo></li>)::
4444              !!!cp ('t353');            ## Interpreted as <li><foo/></li><li/> (non-conforming):
4445              !!!back-token;            ## blockquote (O9.27), center (O), dd (Fx3, O, S3.1.2, IE7),
4446              $token = {type => END_TAG_TOKEN, tag_name => 'p'};            ## dt (Fx, O, S, IE), dl (O), fieldset (O, S, IE), form (Fx, O, S),
4447              redo B;            ## hn (O), pre (O), applet (O, S), button (O, S), marquee (Fx, O, S),
4448            } elsif ({            ## object (Fx)
4449                      table => 1, caption => 1, td => 1, th => 1,            ## Generate non-tree (non-conforming):
4450                      button => 1, marquee => 1, object => 1, html => 1,            ## basefont (IE7 (where basefont is non-void)), center (IE),
4451                     }->{$_->[1]}) {            ## form (IE), hn (IE)
4452              !!!cp ('t354');          ## address, div, p (<li><foo><li> == <li><foo/></li><li/>)::
4453              last INSCOPE;            ## Interpreted as <li><foo><li/></foo></li> (non-conforming):
4454            }            ## div (Fx, S)
4455          } # INSCOPE  
4456                      my $non_optional;
         ## Step 1  
4457          my $i = -1;          my $i = -1;
4458          my $node = $self->{open_elements}->[$i];  
4459          LI: {          ## 1.
4460            ## Step 2          for my $node (reverse @{$self->{open_elements}}) {
4461            if ($node->[1] eq 'li') {            if ($node->[1] == LI_EL) {
4462              if ($i != -1) {              ## 2. (a) As if </li>
4463                !!!cp ('t355');              {
4464                !!!parse-error (type => 'end tag missing:'.                ## If no </li> - not applied
4465                                $self->{open_elements}->[-1]->[1]);                #
4466              } else {  
4467                !!!cp ('t356');                ## Otherwise
4468    
4469                  ## 1. generate implied end tags, except for </li>
4470                  #
4471    
4472                  ## 2. If current node != "li", parse error
4473                  if ($non_optional) {
4474                    !!!parse-error (type => 'not closed',
4475                                    text => $non_optional->[0]->manakai_local_name,
4476                                    token => $token);
4477                    !!!cp ('t355');
4478                  } else {
4479                    !!!cp ('t356');
4480                  }
4481    
4482                  ## 3. Pop
4483                  splice @{$self->{open_elements}}, $i;
4484              }              }
4485              splice @{$self->{open_elements}}, $i;  
4486              last LI;              last; ## 2. (b) goto 5.
4487            } else {            } elsif (
4488                       ## NOTE: not "formatting" and not "phrasing"
4489                       ($node->[1] & SPECIAL_EL or
4490                        $node->[1] & SCOPING_EL) and
4491                       ## NOTE: "li", "dt", and "dd" are in |SPECIAL_EL|.
4492                       (not $node->[1] & ADDRESS_DIV_P_EL)
4493                      ) {
4494                ## 3.
4495              !!!cp ('t357');              !!!cp ('t357');
4496            }              last; ## goto 5.
4497                        } elsif ($node->[1] & END_TAG_OPTIONAL_EL) {
           ## Step 3  
           if (not $formatting_category->{$node->[1]} and  
               #not $phrasing_category->{$node->[1]} and  
               ($special_category->{$node->[1]} or  
                $scoping_category->{$node->[1]}) and  
               $node->[1] ne 'address' and $node->[1] ne 'div') {  
4498              !!!cp ('t358');              !!!cp ('t358');
4499              last LI;              #
4500              } else {
4501                !!!cp ('t359');
4502                $non_optional ||= $node;
4503                #
4504            }            }
4505                        ## 4.
4506            !!!cp ('t359');            ## goto 2.
           ## Step 4  
4507            $i--;            $i--;
4508            $node = $self->{open_elements}->[$i];          }
4509            redo LI;  
4510          } # LI          ## 5. (a) has a |p| element in scope
             
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
         !!!next-token;  
         redo B;  
       } elsif ($token->{tag_name} eq 'dd' or $token->{tag_name} eq 'dt') {  
         ## has a p element in scope  
4511          INSCOPE: for (reverse @{$self->{open_elements}}) {          INSCOPE: for (reverse @{$self->{open_elements}}) {
4512            if ($_->[1] eq 'p') {            if ($_->[1] == P_EL) {
4513              !!!cp ('t360');              !!!cp ('t353');
4514              !!!back-token;  
4515              $token = {type => END_TAG_TOKEN, tag_name => 'p'};              ## NOTE: |<p><li>|, for example.
4516              redo B;  
4517            } elsif ({              !!!back-token; # <x>
4518                      table => 1, caption => 1, td => 1, th => 1,              $token = {type => END_TAG_TOKEN, tag_name => 'p',
4519                      button => 1, marquee => 1, object => 1, html => 1,                        line => $token->{line}, column => $token->{column}};
4520                     }->{$_->[1]}) {              next B;
4521              !!!cp ('t361');            } elsif ($_->[1] & SCOPING_EL) {
4522                !!!cp ('t354');
4523              last INSCOPE;              last INSCOPE;
4524            }            }
4525          } # INSCOPE          } # INSCOPE
4526              
4527          ## Step 1          ## 5. (b) insert
4528            !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
4529            !!!nack ('t359.1');
4530            !!!next-token;
4531            next B;
4532          } elsif ($token->{tag_name} eq 'dt' or
4533                   $token->{tag_name} eq 'dd') {
4534            ## NOTE: As normal, but imply </dt> or </dd> when ...
4535    
4536            my $non_optional;
4537          my $i = -1;          my $i = -1;
4538          my $node = $self->{open_elements}->[$i];  
4539          LI: {          ## 1.
4540            ## Step 2          for my $node (reverse @{$self->{open_elements}}) {
4541            if ($node->[1] eq 'dt' or $node->[1] eq 'dd') {            if ($node->[1] == DTDD_EL) {
4542              if ($i != -1) {              ## 2. (a) As if </li>
4543                !!!cp ('t362');              {
4544                !!!parse-error (type => 'end tag missing:'.                ## If no </li> - not applied
4545                                $self->{open_elements}->[-1]->[1]);                #
4546              } else {  
4547                !!!cp ('t363');                ## Otherwise
4548    
4549                  ## 1. generate implied end tags, except for </dt> or </dd>
4550                  #
4551    
4552                  ## 2. If current node != "dt"|"dd", parse error
4553                  if ($non_optional) {
4554                    !!!parse-error (type => 'not closed',
4555                                    text => $non_optional->[0]->manakai_local_name,
4556                                    token => $token);
4557                    !!!cp ('t355.1');
4558                  } else {
4559                    !!!cp ('t356.1');
4560                  }
4561    
4562                  ## 3. Pop
4563                  splice @{$self->{open_elements}}, $i;
4564              }              }
4565              splice @{$self->{open_elements}}, $i;  
4566              last LI;              last; ## 2. (b) goto 5.
4567              } elsif (
4568                       ## NOTE: not "formatting" and not "phrasing"
4569                       ($node->[1] & SPECIAL_EL or
4570                        $node->[1] & SCOPING_EL) and
4571                       ## NOTE: "li", "dt", and "dd" are in |SPECIAL_EL|.
4572    
4573                       (not $node->[1] & ADDRESS_DIV_P_EL)
4574                      ) {
4575                ## 3.
4576                !!!cp ('t357.1');
4577                last; ## goto 5.
4578              } elsif ($node->[1] & END_TAG_OPTIONAL_EL) {
4579                !!!cp ('t358.1');
4580                #
4581            } else {            } else {
4582              !!!cp ('t364');              !!!cp ('t359.1');
4583            }              $non_optional ||= $node;
4584                          #
           ## Step 3  
           if (not $formatting_category->{$node->[1]} and  
               #not $phrasing_category->{$node->[1]} and  
               ($special_category->{$node->[1]} or  
                $scoping_category->{$node->[1]}) and  
               $node->[1] ne 'address' and $node->[1] ne 'div') {  
             !!!cp ('t365');  
             last LI;  
4585            }            }
4586                        ## 4.
4587            !!!cp ('t366');            ## goto 2.
           ## Step 4  
4588            $i--;            $i--;
4589            $node = $self->{open_elements}->[$i];          }
4590            redo LI;  
4591          } # LI          ## 5. (a) has a |p| element in scope
4592                      INSCOPE: for (reverse @{$self->{open_elements}}) {
4593          !!!insert-element-t ($token->{tag_name}, $token->{attributes});            if ($_->[1] == P_EL) {
4594                !!!cp ('t353.1');
4595                !!!back-token; # <x>
4596                $token = {type => END_TAG_TOKEN, tag_name => 'p',
4597                          line => $token->{line}, column => $token->{column}};
4598                next B;
4599              } elsif ($_->[1] & SCOPING_EL) {
4600                !!!cp ('t354.1');
4601                last INSCOPE;
4602              }
4603            } # INSCOPE
4604    
4605            ## 5. (b) insert
4606            !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
4607            !!!nack ('t359.2');
4608          !!!next-token;          !!!next-token;
4609          redo B;          next B;
4610        } elsif ($token->{tag_name} eq 'plaintext') {        } elsif ($token->{tag_name} eq 'plaintext') {
4611            ## NOTE: As normal, but effectively ends parsing
4612    
4613          ## has a p element in scope          ## has a p element in scope
4614          INSCOPE: for (reverse @{$self->{open_elements}}) {          INSCOPE: for (reverse @{$self->{open_elements}}) {
4615            if ($_->[1] eq 'p') {            if ($_->[1] == P_EL) {
4616              !!!cp ('t367');              !!!cp ('t367');
4617              !!!back-token;              !!!back-token; # <plaintext>
4618              $token = {type => END_TAG_TOKEN, tag_name => 'p'};              $token = {type => END_TAG_TOKEN, tag_name => 'p',
4619              redo B;                        line => $token->{line}, column => $token->{column}};
4620            } elsif ({              next B;
4621                      table => 1, caption => 1, td => 1, th => 1,            } elsif ($_->[1] & SCOPING_EL) {
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$_->[1]}) {  
4622              !!!cp ('t368');              !!!cp ('t368');
4623              last INSCOPE;              last INSCOPE;
4624            }            }
4625          } # INSCOPE          } # INSCOPE
4626                        
4627          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
4628                        
4629          $self->{content_model} = PLAINTEXT_CONTENT_MODEL;          $self->{content_model} = PLAINTEXT_CONTENT_MODEL;
4630                        
4631            !!!nack ('t368.1');
4632          !!!next-token;          !!!next-token;
4633          redo B;          next B;
4634        } elsif ($token->{tag_name} eq 'a') {        } elsif ($token->{tag_name} eq 'a') {
4635          AFE: for my $i (reverse 0..$#$active_formatting_elements) {          AFE: for my $i (reverse 0..$#$active_formatting_elements) {
4636            my $node = $active_formatting_elements->[$i];            my $node = $active_formatting_elements->[$i];
4637            if ($node->[1] eq 'a') {            if ($node->[1] == A_EL) {
4638              !!!cp ('t371');              !!!cp ('t371');
4639              !!!parse-error (type => 'in a:a');              !!!parse-error (type => 'in a:a', token => $token);
4640                            
4641              !!!back-token;              !!!back-token; # <a>
4642              $token = {type => END_TAG_TOKEN, tag_name => 'a'};              $token = {type => END_TAG_TOKEN, tag_name => 'a',
4643              $formatting_end_tag->($token->{tag_name});                        line => $token->{line}, column => $token->{column}};
4644                $formatting_end_tag->($token);
4645                            
4646              AFE2: for (reverse 0..$#$active_formatting_elements) {              AFE2: for (reverse 0..$#$active_formatting_elements) {
4647                if ($active_formatting_elements->[$_]->[0] eq $node->[0]) {                if ($active_formatting_elements->[$_]->[0] eq $node->[0]) {
# Line 5653  sub _tree_construction_main ($) { Line 4666  sub _tree_construction_main ($) {
4666                        
4667          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
4668    
4669          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
4670          push @$active_formatting_elements, $self->{open_elements}->[-1];          push @$active_formatting_elements, $self->{open_elements}->[-1];
4671    
4672            !!!nack ('t374.1');
4673          !!!next-token;          !!!next-token;
4674          redo B;          next B;
       } elsif ({  
                 b => 1, big => 1, em => 1, font => 1, i => 1,  
                 s => 1, small => 1, strile => 1,  
                 strong => 1, tt => 1, u => 1,  
                }->{$token->{tag_name}}) {  
         !!!cp ('t375');  
         $reconstruct_active_formatting_elements->($insert_to_current);  
           
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
         push @$active_formatting_elements, $self->{open_elements}->[-1];  
           
         !!!next-token;  
         redo B;  
4675        } elsif ($token->{tag_name} eq 'nobr') {        } elsif ($token->{tag_name} eq 'nobr') {
4676          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
4677    
4678          ## has a |nobr| element in scope          ## has a |nobr| element in scope
4679          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
4680            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
4681            if ($node->[1] eq 'nobr') {            if ($node->[1] == NOBR_EL) {
4682              !!!cp ('t376');              !!!cp ('t376');
4683              !!!parse-error (type => 'in nobr:nobr');              !!!parse-error (type => 'in nobr:nobr', token => $token);
4684              !!!back-token;              !!!back-token; # <nobr>
4685              $token = {type => END_TAG_TOKEN, tag_name => 'nobr'};              $token = {type => END_TAG_TOKEN, tag_name => 'nobr',
4686              redo B;                        line => $token->{line}, column => $token->{column}};
4687            } elsif ({              next B;
4688                      table => 1, caption => 1, td => 1, th => 1,            } elsif ($node->[1] & SCOPING_EL) {
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
4689              !!!cp ('t377');              !!!cp ('t377');
4690              last INSCOPE;              last INSCOPE;
4691            }            }
4692          } # INSCOPE          } # INSCOPE
4693                    
4694          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
4695          push @$active_formatting_elements, $self->{open_elements}->[-1];          push @$active_formatting_elements, $self->{open_elements}->[-1];
4696                    
4697            !!!nack ('t377.1');
4698          !!!next-token;          !!!next-token;
4699          redo B;          next B;
4700        } elsif ($token->{tag_name} eq 'button') {        } elsif ($token->{tag_name} eq 'button') {
4701          ## has a button element in scope          ## has a button element in scope
4702          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
4703            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
4704            if ($node->[1] eq 'button') {            if ($node->[1] == BUTTON_EL) {
4705              !!!cp ('t378');              !!!cp ('t378');
4706              !!!parse-error (type => 'in button:button');              !!!parse-error (type => 'in button:button', token => $token);
4707              !!!back-token;              !!!back-token; # <button>
4708              $token = {type => END_TAG_TOKEN, tag_name => 'button'};              $token = {type => END_TAG_TOKEN, tag_name => 'button',
4709              redo B;                        line => $token->{line}, column => $token->{column}};
4710            } elsif ({              next B;
4711                      table => 1, caption => 1, td => 1, th => 1,            } elsif ($node->[1] & SCOPING_EL) {
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
4712              !!!cp ('t379');              !!!cp ('t379');
4713              last INSCOPE;              last INSCOPE;
4714            }            }
# Line 5718  sub _tree_construction_main ($) { Line 4716  sub _tree_construction_main ($) {
4716                        
4717          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
4718                        
4719          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
4720    
4721          ## TODO: associate with $self->{form_element} if defined          ## TODO: associate with $self->{form_element} if defined
4722    
4723          push @$active_formatting_elements, ['#marker', ''];          push @$active_formatting_elements, ['#marker', ''];
4724    
4725            !!!nack ('t379.1');
4726          !!!next-token;          !!!next-token;
4727          redo B;          next B;
       } elsif ($token->{tag_name} eq 'marquee' or  
                $token->{tag_name} eq 'object') {  
         !!!cp ('t380');  
         $reconstruct_active_formatting_elements->($insert_to_current);  
           
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
         push @$active_formatting_elements, ['#marker', ''];  
           
         !!!next-token;  
         redo B;  
       } elsif ($token->{tag_name} eq 'xmp') {  
         !!!cp ('t381');  
         $reconstruct_active_formatting_elements->($insert_to_current);  
         $parse_rcdata->(CDATA_CONTENT_MODEL);  
         redo B;  
       } elsif ($token->{tag_name} eq 'table') {  
         ## has a p element in scope  
         INSCOPE: for (reverse @{$self->{open_elements}}) {  
           if ($_->[1] eq 'p') {  
             !!!cp ('t382');  
             !!!back-token;  
             $token = {type => END_TAG_TOKEN, tag_name => 'p'};  
             redo B;  
           } elsif ({  
                     table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$_->[1]}) {  
             !!!cp ('t383');  
             last INSCOPE;  
           }  
         } # INSCOPE  
             
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
         push @{$open_tables}, [$self->{open_elements}->[-1]->[0]];  
   
         $self->{insertion_mode} = IN_TABLE_IM;  
             
         !!!next-token;  
         redo B;  
4728        } elsif ({        } elsif ({
4729                  area => 1, basefont => 1, bgsound => 1, br => 1,                  xmp => 1,
4730                  embed => 1, img => 1, param => 1, spacer => 1, wbr => 1,                  iframe => 1,
4731                  image => 1,                  noembed => 1,
4732                    noframes => 1, ## NOTE: This is an "as if in head" code clone.
4733                    noscript => 0, ## TODO: 1 if scripting is enabled
4734                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
4735          if ($token->{tag_name} eq 'image') {          if ($token->{tag_name} eq 'xmp') {
4736            !!!cp ('t384');            !!!cp ('t381');
4737            !!!parse-error (type => 'image');            $reconstruct_active_formatting_elements->($insert_to_current);
           $token->{tag_name} = 'img';  
4738          } else {          } else {
4739            !!!cp ('t385');            !!!cp ('t399');
4740          }          }
4741            ## NOTE: There is an "as if in body" code clone.
4742          ## NOTE: There is an "as if <br>" code clone.          $parse_rcdata->(CDATA_CONTENT_MODEL);
4743          $reconstruct_active_formatting_elements->($insert_to_current);          next B;
           
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
         pop @{$self->{open_elements}};  
           
         !!!next-token;  
         redo B;  
       } elsif ($token->{tag_name} eq 'hr') {  
         ## has a p element in scope  
         INSCOPE: for (reverse @{$self->{open_elements}}) {  
           if ($_->[1] eq 'p') {  
             !!!cp ('t386');  
             !!!back-token;  
             $token = {type => END_TAG_TOKEN, tag_name => 'p'};  
             redo B;  
           } elsif ({  
                     table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$_->[1]}) {  
             !!!cp ('t387');  
             last INSCOPE;  
           }  
         } # INSCOPE  
             
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
         pop @{$self->{open_elements}};  
             
         !!!next-token;  
         redo B;  
       } elsif ($token->{tag_name} eq 'input') {  
         !!!cp ('t388');  
         $reconstruct_active_formatting_elements->($insert_to_current);  
           
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
         ## TODO: associate with $self->{form_element} if defined  
         pop @{$self->{open_elements}};  
           
         !!!next-token;  
         redo B;  
4744        } elsif ($token->{tag_name} eq 'isindex') {        } elsif ($token->{tag_name} eq 'isindex') {
4745          !!!parse-error (type => 'isindex');          !!!parse-error (type => 'isindex', token => $token);
4746                    
4747          if (defined $self->{form_element}) {          if (defined $self->{form_element}) {
4748            !!!cp ('t389');            !!!cp ('t389');
4749            ## Ignore the token            ## Ignore the token
4750              !!!nack ('t389'); ## NOTE: Not acknowledged.
4751            !!!next-token;            !!!next-token;
4752            redo B;            next B;
4753          } else {          } else {
4754              !!!ack ('t391.1');
4755    
4756            my $at = $token->{attributes};            my $at = $token->{attributes};
4757            my $form_attrs;            my $form_attrs;
4758            $form_attrs->{action} = $at->{action} if $at->{action};            $form_attrs->{action} = $at->{action} if $at->{action};
# Line 5836  sub _tree_construction_main ($) { Line 4762  sub _tree_construction_main ($) {
4762            delete $at->{prompt};            delete $at->{prompt};
4763            my @tokens = (            my @tokens = (
4764                          {type => START_TAG_TOKEN, tag_name => 'form',                          {type => START_TAG_TOKEN, tag_name => 'form',
4765                           attributes => $form_attrs},                           attributes => $form_attrs,
4766                          {type => START_TAG_TOKEN, tag_name => 'hr'},                           line => $token->{line}, column => $token->{column}},
4767                          {type => START_TAG_TOKEN, tag_name => 'p'},                          {type => START_TAG_TOKEN, tag_name => 'hr',
4768                          {type => START_TAG_TOKEN, tag_name => 'label'},                           line => $token->{line}, column => $token->{column}},
4769                            {type => START_TAG_TOKEN, tag_name => 'label',
4770                             line => $token->{line}, column => $token->{column}},
4771                         );                         );
4772            if ($prompt_attr) {            if ($prompt_attr) {
4773              !!!cp ('t390');              !!!cp ('t390');
4774              push @tokens, {type => CHARACTER_TOKEN, data => $prompt_attr->{value}};              push @tokens, {type => CHARACTER_TOKEN, data => $prompt_attr->{value},
4775                               #line => $token->{line}, column => $token->{column},
4776                              };
4777            } else {            } else {
4778              !!!cp ('t391');              !!!cp ('t391');
4779              push @tokens, {type => CHARACTER_TOKEN,              push @tokens, {type => CHARACTER_TOKEN,
4780                             data => 'This is a searchable index. Insert your search keywords here: '}; # SHOULD                             data => 'This is a searchable index. Insert your search keywords here: ',
4781                               #line => $token->{line}, column => $token->{column},
4782                              }; # SHOULD
4783              ## TODO: make this configurable              ## TODO: make this configurable
4784            }            }
4785            push @tokens,            push @tokens,
4786                          {type => START_TAG_TOKEN, tag_name => 'input', attributes => $at},                          {type => START_TAG_TOKEN, tag_name => 'input', attributes => $at,
4787                             line => $token->{line}, column => $token->{column}},
4788                          #{type => CHARACTER_TOKEN, data => ''}, # SHOULD                          #{type => CHARACTER_TOKEN, data => ''}, # SHOULD
4789                          {type => END_TAG_TOKEN, tag_name => 'label'},                          {type => END_TAG_TOKEN, tag_name => 'label',
4790                          {type => END_TAG_TOKEN, tag_name => 'p'},                           line => $token->{line}, column => $token->{column}},
4791                          {type => START_TAG_TOKEN, tag_name => 'hr'},                          {type => START_TAG_TOKEN, tag_name => 'hr',
4792                          {type => END_TAG_TOKEN, tag_name => 'form'};                           line => $token->{line}, column => $token->{column}},
4793            $token = shift @tokens;                          {type => END_TAG_TOKEN, tag_name => 'form',
4794                             line => $token->{line}, column => $token->{column}};
4795            !!!back-token (@tokens);            !!!back-token (@tokens);
4796            redo B;            !!!next-token;
4797              next B;
4798          }          }
4799        } elsif ($token->{tag_name} eq 'textarea') {        } elsif ($token->{tag_name} eq 'textarea') {
4800          my $tag_name = $token->{tag_name};          ## 1. Insert
4801          my $el;          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
         !!!create-element ($el, $token->{tag_name}, $token->{attributes});  
4802                    
4803            ## Step 2 # XXX
4804          ## TODO: $self->{form_element} if defined          ## TODO: $self->{form_element} if defined
4805    
4806            ## 2. Drop U+000A LINE FEED
4807            $self->{ignore_newline} = 1;
4808    
4809            ## 3. RCDATA
4810          $self->{content_model} = RCDATA_CONTENT_MODEL;          $self->{content_model} = RCDATA_CONTENT_MODEL;
4811          delete $self->{escape}; # MUST          delete $self->{escape}; # MUST
4812            
4813          $insert->($el);          ## 4., 6. Insertion mode
4814                    $self->{insertion_mode} |= IN_CDATA_RCDATA_IM;
4815          my $text = '';  
4816            ## XXX: 5. frameset-ok flag
4817    
4818            !!!nack ('t392.1');
4819          !!!next-token;          !!!next-token;
4820          if ($token->{type} == CHARACTER_TOKEN) {          next B;
4821            $token->{data} =~ s/^\x0A//;        } elsif ($token->{tag_name} eq 'optgroup' or
4822            unless (length $token->{data}) {                 $token->{tag_name} eq 'option') {
4823              !!!cp ('t392');          ## has an |option| element in scope
4824              !!!next-token;          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
4825            } else {            my $node = $self->{open_elements}->[$_];
4826              !!!cp ('t393');            if ($node->[1] == OPTION_EL) {
4827                !!!cp ('t397.1');
4828                ## NOTE: As if </option>
4829                !!!back-token; # <option> or <optgroup>
4830                $token = {type => END_TAG_TOKEN, tag_name => 'option',
4831                          line => $token->{line}, column => $token->{column}};
4832                next B;
4833              } elsif ($node->[1] & SCOPING_EL) {
4834                !!!cp ('t397.2');
4835                last INSCOPE;
4836            }            }
4837          } else {          } # INSCOPE
4838            !!!cp ('t394');  
4839          }          $reconstruct_active_formatting_elements->($insert_to_current);
4840          while ($token->{type} == CHARACTER_TOKEN) {  
4841            !!!cp ('t395');          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
4842            $text .= $token->{data};  
4843            !!!next-token;          !!!nack ('t397.3');
         }  
         if (length $text) {  
           !!!cp ('t396');  
           $el->manakai_append_text ($text);  
         }  
           
         $self->{content_model} = PCDATA_CONTENT_MODEL;  
           
         if ($token->{type} == END_TAG_TOKEN and  
             $token->{tag_name} eq $tag_name) {  
           !!!cp ('t397');  
           ## Ignore the token  
         } else {  
           !!!cp ('t398');  
           !!!parse-error (type => 'in RCDATA:#'.$token->{type});  
         }  
4844          !!!next-token;          !!!next-token;
4845          redo B;          redo B;
4846        } elsif ({        } elsif ($token->{tag_name} eq 'rt' or
4847                  iframe => 1,                 $token->{tag_name} eq 'rp') {
4848                  noembed => 1,          ## has a |ruby| element in scope
4849                  noframes => 1,          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
4850                  noscript => 0, ## TODO: 1 if scripting is enabled            my $node = $self->{open_elements}->[$_];
4851                 }->{$token->{tag_name}}) {            if ($node->[1] == RUBY_EL) {
4852          !!!cp ('t399');              !!!cp ('t398.1');
4853          ## NOTE: There is an "as if in body" code clone.              ## generate implied end tags
4854          $parse_rcdata->(CDATA_CONTENT_MODEL);              while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
4855                  !!!cp ('t398.2');
4856                  pop @{$self->{open_elements}};
4857                }
4858                unless ($self->{open_elements}->[-1]->[1] == RUBY_EL) {
4859                  !!!cp ('t398.3');
4860                  !!!parse-error (type => 'not closed',
4861                                  text => $self->{open_elements}->[-1]->[0]
4862                                      ->manakai_local_name,
4863                                  token => $token);
4864                  pop @{$self->{open_elements}}
4865                      while not $self->{open_elements}->[-1]->[1] == RUBY_EL;
4866                }
4867                last INSCOPE;
4868              } elsif ($node->[1] & SCOPING_EL) {
4869                !!!cp ('t398.4');
4870                last INSCOPE;
4871              }
4872            } # INSCOPE
4873              
4874            ## TODO: <non-ruby><rt> is not allowed.
4875    
4876            !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
4877    
4878            !!!nack ('t398.5');
4879            !!!next-token;
4880          redo B;          redo B;
4881        } elsif ($token->{tag_name} eq 'select') {        } elsif ($token->{tag_name} eq 'math' or
4882          !!!cp ('t400');                 $token->{tag_name} eq 'svg') {
4883          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
           
         !!!insert-element-t ($token->{tag_name}, $token->{attributes});  
4884    
4885          ## TODO: associate with $self->{form_element} if defined          ## "Adjust MathML attributes" ('math' only) - done in insert-element-f
4886    
4887            ## "adjust SVG attributes" ('svg' only) - done in insert-element-f
4888    
4889            ## "adjust foreign attributes" - done in insert-element-f
4890                    
4891          $self->{insertion_mode} = IN_SELECT_IM;          !!!insert-element-f ($token->{tag_name} eq 'math' ? $MML_NS : $SVG_NS, $token->{tag_name}, $token->{attributes}, $token);
4892            
4893            if ($self->{self_closing}) {
4894              pop @{$self->{open_elements}};
4895              !!!ack ('t398.6');
4896            } else {
4897              !!!cp ('t398.7');
4898              $self->{insertion_mode} |= IN_FOREIGN_CONTENT_IM;
4899              ## NOTE: |<body><math><mi><svg>| -> "in foreign content" insertion
4900              ## mode, "in body" (not "in foreign content") secondary insertion
4901              ## mode, maybe.
4902            }
4903    
4904          !!!next-token;          !!!next-token;
4905          redo B;          next B;
4906        } elsif ({        } elsif ({
4907                  caption => 1, col => 1, colgroup => 1, frame => 1,                  caption => 1, col => 1, colgroup => 1, frame => 1,
4908                  frameset => 1, head => 1, option => 1, optgroup => 1,                  frameset => 1, head => 1,
4909                  tbody => 1, td => 1, tfoot => 1, th => 1,                  tbody => 1, td => 1, tfoot => 1, th => 1,
4910                  thead => 1, tr => 1,                  thead => 1, tr => 1,
4911                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
4912          !!!cp ('t401');          !!!cp ('t401');
4913          !!!parse-error (type => 'in body:'.$token->{tag_name});          !!!parse-error (type => 'in body',
4914                            text => $token->{tag_name}, token => $token);
4915          ## Ignore the token          ## Ignore the token
4916            !!!nack ('t401.1'); ## NOTE: |<col/>| or |<frame/>| here is an error.
4917            !!!next-token;
4918            next B;
4919          } elsif ($token->{tag_name} eq 'param' or
4920                   $token->{tag_name} eq 'source') {
4921            !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
4922            pop @{$self->{open_elements}};
4923    
4924            !!!ack ('t398.5');
4925          !!!next-token;          !!!next-token;
4926          redo B;          redo B;
           
         ## ISSUE: An issue on HTML5 new elements in the spec.  
4927        } else {        } else {
4928          !!!cp ('t402');          if ($token->{tag_name} eq 'image') {
4929              !!!cp ('t384');
4930              !!!parse-error (type => 'image', token => $token);
4931              $token->{tag_name} = 'img';
4932            } else {
4933              !!!cp ('t385');
4934            }
4935    
4936            ## NOTE: There is an "as if <br>" code clone.
4937          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
4938                    
4939          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
4940    
4941            if ({
4942                 applet => 1, marquee => 1, object => 1,
4943                }->{$token->{tag_name}}) {
4944              !!!cp ('t380');
4945              push @$active_formatting_elements, ['#marker', ''];
4946              !!!nack ('t380.1');
4947            } elsif ({
4948                      b => 1, big => 1, em => 1, font => 1, i => 1,
4949                      s => 1, small => 1, strike => 1,
4950                      strong => 1, tt => 1, u => 1,
4951                     }->{$token->{tag_name}}) {
4952              !!!cp ('t375');
4953              push @$active_formatting_elements, $self->{open_elements}->[-1];
4954              !!!nack ('t375.1');
4955            } elsif ($token->{tag_name} eq 'input') {
4956              !!!cp ('t388');
4957              ## TODO: associate with $self->{form_element} if defined
4958              pop @{$self->{open_elements}};
4959              !!!ack ('t388.2');
4960            } elsif ({
4961                      area => 1, basefont => 1, bgsound => 1, br => 1,
4962                      embed => 1, img => 1, spacer => 1, wbr => 1,
4963                      keygen => 1,
4964                     }->{$token->{tag_name}}) {
4965              !!!cp ('t388.1');
4966              pop @{$self->{open_elements}};
4967              !!!ack ('t388.3');
4968            } elsif ($token->{tag_name} eq 'select') {
4969              ## TODO: associate with $self->{form_element} if defined
4970            
4971              if ($self->{insertion_mode} & TABLE_IMS or
4972                  $self->{insertion_mode} & BODY_TABLE_IMS or
4973                  ($self->{insertion_mode} & IM_MASK) == IN_COLUMN_GROUP_IM) {
4974                !!!cp ('t400.1');
4975                $self->{insertion_mode} = IN_SELECT_IN_TABLE_IM;
4976              } else {
4977                !!!cp ('t400.2');
4978                $self->{insertion_mode} = IN_SELECT_IM;
4979              }
4980              !!!nack ('t400.3');
4981            } else {
4982              !!!nack ('t402');
4983            }
4984                    
4985          !!!next-token;          !!!next-token;
4986          redo B;          next B;
4987        }        }
4988      } elsif ($token->{type} == END_TAG_TOKEN) {      } elsif ($token->{type} == END_TAG_TOKEN) {
4989        if ($token->{tag_name} eq 'body') {        if ($token->{tag_name} eq 'body' or $token->{tag_name} eq 'html') {
4990          if (@{$self->{open_elements}} > 1 and  
4991              $self->{open_elements}->[1]->[1] eq 'body') {          ## 1. If not "have an element in scope":
4992            for (@{$self->{open_elements}}) {          ## "has a |body| element in scope"
4993              unless ({          my $i;
4994                         dd => 1, dt => 1, li => 1, p => 1, td => 1,          INSCOPE: {
4995                         th => 1, tr => 1, body => 1, html => 1,            for (reverse @{$self->{open_elements}}) {
4996                       tbody => 1, tfoot => 1, thead => 1,              if ($_->[1] == BODY_EL) {
4997                      }->{$_->[1]}) {                !!!cp ('t405');
4998                !!!cp ('t403');                $i = $_;
4999                !!!parse-error (type => 'not closed:'.$_->[1]);                last INSCOPE;
5000              } else {              } elsif ($_->[1] & SCOPING_EL) {
5001                !!!cp ('t404');                !!!cp ('t405.1');
5002                  last;
5003              }              }
5004            }            }
5005    
5006            $self->{insertion_mode} = AFTER_BODY_IM;            ## NOTE: |<marquee></body>|, |<svg><foreignobject></body>|,
5007            !!!next-token;            ## and fragment cases.
5008            redo B;  
5009          } else {            !!!parse-error (type => 'unmatched end tag',
5010            !!!cp ('t405');                            text => $token->{tag_name}, token => $token);
5011            !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            ## Ignore the token.  (</body> or </html>)
           ## Ignore the token  
5012            !!!next-token;            !!!next-token;
5013            redo B;            next B;
5014          }          } # INSCOPE
5015        } elsif ($token->{tag_name} eq 'html') {  
5016          if (@{$self->{open_elements}} > 1 and $self->{open_elements}->[1]->[1] eq 'body') {          ## 2. If unclosed elements:
5017            ## ISSUE: There is an issue in the spec.          for (@{$self->{open_elements}}) {
5018            if ($self->{open_elements}->[-1]->[1] ne 'body') {            unless ($_->[1] & ALL_END_TAG_OPTIONAL_EL ||
5019              !!!cp ('t406');                    $_->[1] == OPTGROUP_EL ||
5020              !!!parse-error (type => 'not closed:'.$self->{open_elements}->[1]->[1]);                    $_->[1] == OPTION_EL ||
5021                      $_->[1] == RUBY_COMPONENT_EL) {
5022                !!!cp ('t403');
5023                !!!parse-error (type => 'not closed',
5024                                text => $_->[0]->manakai_local_name,
5025                                token => $token);
5026                last;
5027            } else {            } else {
5028              !!!cp ('t407');              !!!cp ('t404');
5029            }            }
5030            $self->{insertion_mode} = AFTER_BODY_IM;          }
5031            ## reprocess  
5032            redo B;          ## 3. Switch the insertion mode.
5033          } else {          $self->{insertion_mode} = AFTER_BODY_IM;
5034            !!!cp ('t408');          if ($token->{tag_name} eq 'body') {
           !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});  
           ## Ignore the token  
5035            !!!next-token;            !!!next-token;
5036            redo B;          } else { # html
5037              ## Reprocess.
5038          }          }
5039            next B;
5040        } elsif ({        } elsif ({
5041                  address => 1, blockquote => 1, center => 1, dir => 1,                  ## NOTE: End tags for non-phrasing flow content elements
5042                  div => 1, dl => 1, fieldset => 1, listing => 1,  
5043                  menu => 1, ol => 1, pre => 1, ul => 1,                  ## NOTE: The normal ones
5044                    address => 1, article => 1, aside => 1, blockquote => 1,
5045                    center => 1, datagrid => 1, details => 1, dialog => 1,
5046                    dir => 1, div => 1, dl => 1, fieldset => 1, figure => 1,
5047                    footer => 1, header => 1, hgroup => 1,
5048                    listing => 1, menu => 1, nav => 1,
5049                    ol => 1, pre => 1, section => 1, ul => 1,
5050    
5051                    ## NOTE: As normal, but ... optional tags
5052                  dd => 1, dt => 1, li => 1,                  dd => 1, dt => 1, li => 1,
5053                  button => 1, marquee => 1, object => 1,  
5054                    applet => 1, button => 1, marquee => 1, object => 1,
5055                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
5056            ## NOTE: Code for <li> start tags includes "as if </li>" code.
5057            ## Code for <dt> or <dd> start tags includes "as if </dt> or
5058            ## </dd>" code.
5059    
5060          ## has an element in scope          ## has an element in scope
5061          my $i;          my $i;
5062          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5063            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
5064            if ($node->[1] eq $token->{tag_name}) {            if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
5065              !!!cp ('t410');              !!!cp ('t410');
5066              $i = $_;              $i = $_;
5067              last INSCOPE;              last INSCOPE;
5068            } elsif ({            } elsif ($node->[1] & SCOPING_EL) {
                     table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
5069              !!!cp ('t411');              !!!cp ('t411');
5070              last INSCOPE;              last INSCOPE;
5071            }            }
# Line 6022  sub _tree_construction_main ($) { Line 5073  sub _tree_construction_main ($) {
5073    
5074          unless (defined $i) { # has an element in scope          unless (defined $i) { # has an element in scope
5075            !!!cp ('t413');            !!!cp ('t413');
5076            !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            !!!parse-error (type => 'unmatched end tag',
5077                              text => $token->{tag_name}, token => $token);
5078              ## NOTE: Ignore the token.
5079          } else {          } else {
5080            ## Step 1. generate implied end tags            ## Step 1. generate implied end tags
5081            while ({            while ({
5082                      ## END_TAG_OPTIONAL_EL
5083                    dd => ($token->{tag_name} ne 'dd'),                    dd => ($token->{tag_name} ne 'dd'),
5084                    dt => ($token->{tag_name} ne 'dt'),                    dt => ($token->{tag_name} ne 'dt'),
5085                    li => ($token->{tag_name} ne 'li'),                    li => ($token->{tag_name} ne 'li'),
5086                      option => 1,
5087                      optgroup => 1,
5088                    p => 1,                    p => 1,
5089                   }->{$self->{open_elements}->[-1]->[1]}) {                    rt => 1,
5090                      rp => 1,
5091                     }->{$self->{open_elements}->[-1]->[0]->manakai_local_name}) {
5092              !!!cp ('t409');              !!!cp ('t409');
5093              pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
5094            }            }
5095    
5096            ## Step 2.            ## Step 2.
5097            if ($self->{open_elements}->[-1]->[1] ne $token->{tag_name}) {            if ($self->{open_elements}->[-1]->[0]->manakai_local_name
5098                      ne $token->{tag_name}) {
5099              !!!cp ('t412');              !!!cp ('t412');
5100              !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);              !!!parse-error (type => 'not closed',
5101                                text => $self->{open_elements}->[-1]->[0]
5102                                    ->manakai_local_name,
5103                                token => $token);
5104            } else {            } else {
5105              !!!cp ('t414');              !!!cp ('t414');
5106            }            }
# Line 6049  sub _tree_construction_main ($) { Line 5111  sub _tree_construction_main ($) {
5111            ## Step 4.            ## Step 4.
5112            $clear_up_to_marker->()            $clear_up_to_marker->()
5113                if {                if {
5114                  button => 1, marquee => 1, object => 1,                  applet => 1, button => 1, marquee => 1, object => 1,
5115                }->{$token->{tag_name}};                }->{$token->{tag_name}};
5116          }          }
5117          !!!next-token;          !!!next-token;
5118          redo B;          next B;
5119        } elsif ($token->{tag_name} eq 'form') {        } elsif ($token->{tag_name} eq 'form') {
5120            ## NOTE: As normal, but interacts with the form element pointer
5121    
5122          undef $self->{form_element};          undef $self->{form_element};
5123    
5124          ## has an element in scope          ## has an element in scope
5125          my $i;          my $i;
5126          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5127            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
5128            if ($node->[1] eq $token->{tag_name}) {            if ($node->[1] == FORM_EL) {
5129              !!!cp ('t418');              !!!cp ('t418');
5130              $i = $_;              $i = $_;
5131              last INSCOPE;              last INSCOPE;
5132            } elsif ({            } elsif ($node->[1] & SCOPING_EL) {
                     table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
5133              !!!cp ('t419');              !!!cp ('t419');
5134              last INSCOPE;              last INSCOPE;
5135            }            }
# Line 6076  sub _tree_construction_main ($) { Line 5137  sub _tree_construction_main ($) {
5137    
5138          unless (defined $i) { # has an element in scope          unless (defined $i) { # has an element in scope
5139            !!!cp ('t421');            !!!cp ('t421');
5140            !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            !!!parse-error (type => 'unmatched end tag',
5141                              text => $token->{tag_name}, token => $token);
5142              ## NOTE: Ignore the token.
5143          } else {          } else {
5144            ## Step 1. generate implied end tags            ## Step 1. generate implied end tags
5145            while ({            while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
                   dd => 1, dt => 1, li => 1, p => 1,  
                  }->{$self->{open_elements}->[-1]->[1]}) {  
5146              !!!cp ('t417');              !!!cp ('t417');
5147              pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
5148            }            }
5149                        
5150            ## Step 2.            ## Step 2.
5151            if ($self->{open_elements}->[-1]->[1] ne $token->{tag_name}) {            if ($self->{open_elements}->[-1]->[0]->manakai_local_name
5152                      ne $token->{tag_name}) {
5153              !!!cp ('t417.1');              !!!cp ('t417.1');
5154              !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);              !!!parse-error (type => 'not closed',
5155                                text => $self->{open_elements}->[-1]->[0]
5156                                    ->manakai_local_name,
5157                                token => $token);
5158            } else {            } else {
5159              !!!cp ('t420');              !!!cp ('t420');
5160            }              }  
# Line 6099  sub _tree_construction_main ($) { Line 5164  sub _tree_construction_main ($) {
5164          }          }
5165    
5166          !!!next-token;          !!!next-token;
5167          redo B;          next B;
5168        } elsif ({        } elsif ({
5169                    ## NOTE: As normal, except acts as a closer for any ...
5170                  h1 => 1, h2 => 1, h3 => 1, h4 => 1, h5 => 1, h6 => 1,                  h1 => 1, h2 => 1, h3 => 1, h4 => 1, h5 => 1, h6 => 1,
5171                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
5172          ## has an element in scope          ## has an element in scope
5173          my $i;          my $i;
5174          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5175            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
5176            if ({            if ($node->[1] == HEADING_EL) {
                h1 => 1, h2 => 1, h3 => 1, h4 => 1, h5 => 1, h6 => 1,  
               }->{$node->[1]}) {  
5177              !!!cp ('t423');              !!!cp ('t423');
5178              $i = $_;              $i = $_;
5179              last INSCOPE;              last INSCOPE;
5180            } elsif ({            } elsif ($node->[1] & SCOPING_EL) {
                     table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
5181              !!!cp ('t424');              !!!cp ('t424');
5182              last INSCOPE;              last INSCOPE;
5183            }            }
# Line 6124  sub _tree_construction_main ($) { Line 5185  sub _tree_construction_main ($) {
5185    
5186          unless (defined $i) { # has an element in scope          unless (defined $i) { # has an element in scope
5187            !!!cp ('t425.1');            !!!cp ('t425.1');
5188            !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            !!!parse-error (type => 'unmatched end tag',
5189                              text => $token->{tag_name}, token => $token);
5190              ## NOTE: Ignore the token.
5191          } else {          } else {
5192            ## Step 1. generate implied end tags            ## Step 1. generate implied end tags
5193            while ({            while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
                   dd => 1, dt => 1, li => 1, p => 1,  
                  }->{$self->{open_elements}->[-1]->[1]}) {  
5194              !!!cp ('t422');              !!!cp ('t422');
5195              pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
5196            }            }
5197                        
5198            ## Step 2.            ## Step 2.
5199            if ($self->{open_elements}->[-1]->[1] ne $token->{tag_name}) {            if ($self->{open_elements}->[-1]->[0]->manakai_local_name
5200                      ne $token->{tag_name}) {
5201              !!!cp ('t425');              !!!cp ('t425');
5202              !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});              !!!parse-error (type => 'unmatched end tag',
5203                                text => $token->{tag_name}, token => $token);
5204            } else {            } else {
5205              !!!cp ('t426');              !!!cp ('t426');
5206            }            }
# Line 6147  sub _tree_construction_main ($) { Line 5210  sub _tree_construction_main ($) {
5210          }          }
5211                    
5212          !!!next-token;          !!!next-token;
5213          redo B;          next B;
5214        } elsif ($token->{tag_name} eq 'p') {        } elsif ($token->{tag_name} eq 'p') {
5215            ## NOTE: As normal, except </p> implies <p> and ...
5216    
5217          ## has an element in scope          ## has an element in scope
5218            my $non_optional;
5219          my $i;          my $i;
5220          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5221            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
5222            if ($node->[1] eq $token->{tag_name}) {            if ($node->[1] == P_EL) {
5223              !!!cp ('t410.1');              !!!cp ('t410.1');
5224              $i = $_;              $i = $_;
5225              last INSCOPE;              last INSCOPE;
5226            } elsif ({            } elsif ($node->[1] & SCOPING_EL) {
                     table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
5227              !!!cp ('t411.1');              !!!cp ('t411.1');
5228              last INSCOPE;              last INSCOPE;
5229              } elsif ($node->[1] & END_TAG_OPTIONAL_EL) {
5230                ## NOTE: |END_TAG_OPTIONAL_EL| includes "p"
5231                !!!cp ('t411.2');
5232                #
5233              } else {
5234                !!!cp ('t411.3');
5235                $non_optional ||= $node;
5236                #
5237            }            }
5238          } # INSCOPE          } # INSCOPE
5239    
5240          if (defined $i) {          if (defined $i) {
5241            if ($self->{open_elements}->[-1]->[1] ne $token->{tag_name}) {            ## 1. Generate implied end tags
5242              #
5243    
5244              ## 2. If current node != "p", parse error
5245              if ($non_optional) {
5246              !!!cp ('t412.1');              !!!cp ('t412.1');
5247              !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);              !!!parse-error (type => 'not closed',
5248                                text => $non_optional->[0]->manakai_local_name,
5249                                token => $token);
5250            } else {            } else {
5251              !!!cp ('t414.1');              !!!cp ('t414.1');
5252            }            }
5253    
5254              ## 3. Pop
5255            splice @{$self->{open_elements}}, $i;            splice @{$self->{open_elements}}, $i;
5256          } else {          } else {
5257            !!!cp ('t413.1');            !!!cp ('t413.1');
5258            !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});            !!!parse-error (type => 'unmatched end tag',
5259                              text => $token->{tag_name}, token => $token);
5260    
5261            !!!cp ('t415.1');            !!!cp ('t415.1');
5262            ## As if <p>, then reprocess the current token            ## As if <p>, then reprocess the current token
5263            my $el;            my $el;
5264            !!!create-element ($el, 'p');            !!!create-element ($el, $HTML_NS, 'p',, $token);
5265            $insert->($el);            $insert->($el);
5266            ## NOTE: Not inserted into |$self->{open_elements}|.            ## NOTE: Not inserted into |$self->{open_elements}|.
5267          }          }
5268    
5269          !!!next-token;          !!!next-token;
5270          redo B;          next B;
5271        } elsif ({        } elsif ({
5272                  a => 1,                  a => 1,
5273                  b => 1, big => 1, em => 1, font => 1, i => 1,                  b => 1, big => 1, em => 1, font => 1, i => 1,
5274                  nobr => 1, s => 1, small => 1, strile => 1,                  nobr => 1, s => 1, small => 1, strike => 1,
5275                  strong => 1, tt => 1, u => 1,                  strong => 1, tt => 1, u => 1,
5276                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
5277          !!!cp ('t427');          !!!cp ('t427');
5278          $formatting_end_tag->($token->{tag_name});          $formatting_end_tag->($token);
5279          redo B;          next B;
5280        } elsif ($token->{tag_name} eq 'br') {        } elsif ($token->{tag_name} eq 'br') {
5281          !!!cp ('t428');          !!!cp ('t428');
5282          !!!parse-error (type => 'unmatched end tag:br');          !!!parse-error (type => 'unmatched end tag',
5283                            text => 'br', token => $token);
5284    
5285          ## As if <br>          ## As if <br>
5286          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
5287                    
5288          my $el;          my $el;
5289          !!!create-element ($el, 'br');          !!!create-element ($el, $HTML_NS, 'br',, $token);
5290          $insert->($el);          $insert->($el);
5291                    
5292          ## Ignore the token.          ## Ignore the token.
5293          !!!next-token;          !!!next-token;
5294          redo B;          next B;
       } elsif ({  
                 caption => 1, col => 1, colgroup => 1, frame => 1,  
                 frameset => 1, head => 1, option => 1, optgroup => 1,  
                 tbody => 1, td => 1, tfoot => 1, th => 1,  
                 thead => 1, tr => 1,  
                 area => 1, basefont => 1, bgsound => 1,  
                 embed => 1, hr => 1, iframe => 1, image => 1,  
                 img => 1, input => 1, isindex => 1, noembed => 1,  
                 noframes => 1, param => 1, select => 1, spacer => 1,  
                 table => 1, textarea => 1, wbr => 1,  
                 noscript => 0, ## TODO: if scripting is enabled  
                }->{$token->{tag_name}}) {  
         !!!cp ('t429');  
         !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});  
         ## Ignore the token  
         !!!next-token;  
         redo B;  
           
         ## ISSUE: Issue on HTML5 new elements in spec  
           
5295        } else {        } else {
5296            if ($token->{tag_name} eq 'sarcasm') {
5297              sleep 0.001; # take a deep breath
5298            }
5299    
5300          ## Step 1          ## Step 1
5301          my $node_i = -1;          my $node_i = -1;
5302          my $node = $self->{open_elements}->[$node_i];          my $node = $self->{open_elements}->[$node_i];
5303    
5304          ## Step 2          ## Step 2
5305          S2: {          S2: {
5306            if ($node->[1] eq $token->{tag_name}) {            my $node_tag_name = $node->[0]->manakai_local_name;
5307              $node_tag_name =~ tr/A-Z/a-z/; # for SVG camelCase tag names
5308              if ($node_tag_name eq $token->{tag_name}) {
5309              ## Step 1              ## Step 1
5310              ## generate implied end tags              ## generate implied end tags
5311              while ({              while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
                     dd => 1, dt => 1, li => 1, p => 1,  
                    }->{$self->{open_elements}->[-1]->[1]}) {  
5312                !!!cp ('t430');                !!!cp ('t430');
5313                ## ISSUE: Can this case be reached?                ## NOTE: |<ruby><rt></ruby>|.
5314                  ## ISSUE: <ruby><rt></rt> will also take this code path,
5315                  ## which seems wrong.
5316                pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
5317                  $node_i++;
5318              }              }
5319                    
5320              ## Step 2              ## Step 2
5321              if ($token->{tag_name} ne $self->{open_elements}->[-1]->[1]) {              my $current_tag_name
5322                    = $self->{open_elements}->[-1]->[0]->manakai_local_name;
5323                $current_tag_name =~ tr/A-Z/a-z/;
5324                if ($current_tag_name ne $token->{tag_name}) {
5325                !!!cp ('t431');                !!!cp ('t431');
5326                ## NOTE: <x><y></x>                ## NOTE: <x><y></x>
5327                !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1]);                !!!parse-error (type => 'not closed',
5328                                  text => $self->{open_elements}->[-1]->[0]
5329                                      ->manakai_local_name,
5330                                  token => $token);
5331              } else {              } else {
5332                !!!cp ('t432');                !!!cp ('t432');
5333              }              }
5334                            
5335              ## Step 3              ## Step 3
5336              splice @{$self->{open_elements}}, $node_i;              splice @{$self->{open_elements}}, $node_i if $node_i < 0;
5337    
5338              !!!next-token;              !!!next-token;
5339              last S2;              last S2;
5340            } else {            } else {
5341              ## Step 3              ## Step 3
5342              if (not $formatting_category->{$node->[1]} and              if (not ($node->[1] & FORMATTING_EL) and
5343                  #not $phrasing_category->{$node->[1]} and                  #not $phrasing_category->{$node->[1]} and
5344                  ($special_category->{$node->[1]} or                  ($node->[1] & SPECIAL_EL or
5345                   $scoping_category->{$node->[1]})) {                   $node->[1] & SCOPING_EL)) {
5346                !!!cp ('t433');                !!!cp ('t433');
5347                !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name});                !!!parse-error (type => 'unmatched end tag',
5348                                  text => $token->{tag_name}, token => $token);
5349                ## Ignore the token                ## Ignore the token
5350                !!!next-token;                !!!next-token;
5351                last S2;                last S2;
             }  
5352    
5353                  ## NOTE: |<span><dd></span>a|: In Safari 3.1.2 and Opera
5354                  ## 9.27, "a" is a child of <dd> (conforming).  In
5355                  ## Firefox 3.0.2, "a" is a child of <body>.  In WinIE 7,
5356                  ## "a" is a child of both <body> and <dd>.
5357                }
5358                
5359              !!!cp ('t434');              !!!cp ('t434');
5360            }            }
5361                        
# Line 6287  sub _tree_construction_main ($) { Line 5366  sub _tree_construction_main ($) {
5366            ## Step 5;            ## Step 5;
5367            redo S2;            redo S2;
5368          } # S2          } # S2
5369          redo B;          next B;
5370        }        }
5371      }      }
5372      redo B;      next B;
5373      } continue { # B
5374        if ($self->{insertion_mode} & IN_FOREIGN_CONTENT_IM) {
5375          ## NOTE: The code below is executed in cases where it does not have
5376          ## to be, but it it is harmless even in those cases.
5377          ## has an element in scope
5378          INSCOPE: {
5379            for (reverse 0..$#{$self->{open_elements}}) {
5380              my $node = $self->{open_elements}->[$_];
5381              if ($node->[1] & FOREIGN_EL) {
5382                last INSCOPE;
5383              } elsif ($node->[1] & SCOPING_EL) {
5384                last;
5385              }
5386            }
5387            
5388            ## NOTE: No foreign element in scope.
5389            $self->{insertion_mode} &= ~ IN_FOREIGN_CONTENT_IM;
5390          } # INSCOPE
5391        }
5392    } # B    } # B
5393    
5394    ## Stop parsing # MUST    ## Stop parsing # MUST
# Line 6298  sub _tree_construction_main ($) { Line 5396  sub _tree_construction_main ($) {
5396    ## TODO: script stuffs    ## TODO: script stuffs
5397  } # _tree_construct_main  } # _tree_construct_main
5398    
5399  sub set_inner_html ($$$) {  ## XXX: How this method is organized is somewhat out of date, although
5400    ## it still does what the current spec documents.
5401    sub set_inner_html ($$$$;$) {
5402    my $class = shift;    my $class = shift;
5403    my $node = shift;    my $node = shift; # /context/
5404    my $s = \$_[0];    #my $s = \$_[0];
5405    my $onerror = $_[1];    my $onerror = $_[1];
5406      my $get_wrapper = $_[2] || sub ($) { return $_[0] };
   ## ISSUE: Should {confident} be true?  
5407    
5408    my $nt = $node->node_type;    my $nt = $node->node_type;
5409    if ($nt == 9) {    if ($nt == 9) { # Document (invoke the algorithm with no /context/ element)
5410      # MUST      # MUST
5411            
5412      ## Step 1 # MUST      ## Step 1 # MUST
# Line 6321  sub set_inner_html ($$$) { Line 5420  sub set_inner_html ($$$) {
5420      }      }
5421    
5422      ## Step 3, 4, 5 # MUST      ## Step 3, 4, 5 # MUST
5423      $class->parse_string ($$s => $node, $onerror);      $class->parse_char_string ($_[0] => $node, $onerror, $get_wrapper);
5424    } elsif ($nt == 1) {    } elsif ($nt == 1) { # Element (invoke the algorithm with /context/ element)
5425      ## TODO: If non-html element      ## TODO: If non-html element
5426    
5427      ## NOTE: Most of this code is copied from |parse_string|      ## NOTE: Most of this code is copied from |parse_string|
5428    
5429      ## Step 1 # MUST  ## TODO: Support for $get_wrapper
5430    
5431        ## F1. Create an HTML document.
5432      my $this_doc = $node->owner_document;      my $this_doc = $node->owner_document;
5433      my $doc = $this_doc->implementation->create_document;      my $doc = $this_doc->implementation->create_document;
5434      $doc->manakai_is_html (1);      $doc->manakai_is_html (1);
5435    
5436        ## F2. Propagate quirkness flag
5437        my $node_doc = $node->owner_document;
5438        $doc->manakai_compat_mode ($node_doc->manakai_compat_mode);
5439    
5440        ## F3. Create an HTML parser
5441      my $p = $class->new;      my $p = $class->new;
5442      $p->{document} = $doc;      $p->{document} = $doc;
5443    
5444      ## Step 8 # MUST      ## Step 8 # MUST
5445      my $i = 0;      my $i = 0;
5446      my $line = 1;      $p->{line_prev} = $p->{line} = 1;
5447      my $column = 0;      $p->{column_prev} = $p->{column} = 0;
5448      $p->{set_next_char} = sub {      require Whatpm::Charset::DecodeHandle;
5449        my $input = Whatpm::Charset::DecodeHandle::CharString->new (\($_[0]));
5450        $input = $get_wrapper->($input);
5451        $p->{set_nc} = sub {
5452        my $self = shift;        my $self = shift;
5453    
5454        pop @{$self->{prev_char}};        my $char = '';
5455        unshift @{$self->{prev_char}}, $self->{next_char};        if (defined $self->{next_nc}) {
5456            $char = $self->{next_nc};
5457            delete $self->{next_nc};
5458            $self->{nc} = ord $char;
5459          } else {
5460            $self->{char_buffer} = '';
5461            $self->{char_buffer_pos} = 0;
5462            
5463            my $count = $input->manakai_read_until
5464                ($self->{char_buffer}, qr/[^\x00\x0A\x0D]/,
5465                 $self->{char_buffer_pos});
5466            if ($count) {
5467              $self->{line_prev} = $self->{line};
5468              $self->{column_prev} = $self->{column};
5469              $self->{column}++;
5470              $self->{nc}
5471                  = ord substr ($self->{char_buffer},
5472                                $self->{char_buffer_pos}++, 1);
5473              return;
5474            }
5475            
5476            if ($input->read ($char, 1)) {
5477              $self->{nc} = ord $char;
5478            } else {
5479              $self->{nc} = -1;
5480              return;
5481            }
5482          }
5483    
5484        $self->{next_char} = -1 and return if $i >= length $$s;        ($p->{line_prev}, $p->{column_prev}) = ($p->{line}, $p->{column});
5485        $self->{next_char} = ord substr $$s, $i++, 1;        $p->{column}++;
5486        $column++;  
5487          if ($self->{nc} == 0x000A) { # LF
5488        if ($self->{next_char} == 0x000A) { # LF          $p->{line}++;
5489          $line++;          $p->{column} = 0;
         $column = 0;  
5490          !!!cp ('i1');          !!!cp ('i1');
5491        } elsif ($self->{next_char} == 0x000D) { # CR        } elsif ($self->{nc} == 0x000D) { # CR
5492          $i++ if substr ($$s, $i, 1) eq "\x0A";  ## TODO: support for abort/streaming
5493          $self->{next_char} = 0x000A; # LF # MUST          my $next = '';
5494          $line++;          if ($input->read ($next, 1) and $next ne "\x0A") {
5495          $column = 0;            $self->{next_nc} = $next;
5496            }
5497            $self->{nc} = 0x000A; # LF # MUST
5498            $p->{line}++;
5499            $p->{column} = 0;
5500          !!!cp ('i2');          !!!cp ('i2');
5501        } elsif ($self->{next_char} > 0x10FFFF) {        } elsif ($self->{nc} == 0x0000) { # NULL
         $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST  
         !!!cp ('i3');  
       } elsif ($self->{next_char} == 0x0000) { # NULL  
5502          !!!cp ('i4');          !!!cp ('i4');
5503          !!!parse-error (type => 'NULL');          !!!parse-error (type => 'NULL');
5504          $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST          $self->{nc} = 0xFFFD; # REPLACEMENT CHARACTER # MUST
5505        }        }
5506      };      };
5507      $p->{prev_char} = [-1, -1, -1];  
5508      $p->{next_char} = -1;      $p->{read_until} = sub {
5509              #my ($scalar, $specials_range, $offset) = @_;
5510          return 0 if defined $p->{next_nc};
5511    
5512          my $pattern = qr/[^$_[1]\x00\x0A\x0D]/;
5513          my $offset = $_[2] || 0;
5514          
5515          if ($p->{char_buffer_pos} < length $p->{char_buffer}) {
5516            pos ($p->{char_buffer}) = $p->{char_buffer_pos};
5517            if ($p->{char_buffer} =~ /\G(?>$pattern)+/) {
5518              substr ($_[0], $offset)
5519                  = substr ($p->{char_buffer}, $-[0], $+[0] - $-[0]);
5520              my $count = $+[0] - $-[0];
5521              if ($count) {
5522                $p->{column} += $count;
5523                $p->{char_buffer_pos} += $count;
5524                $p->{line_prev} = $p->{line};
5525                $p->{column_prev} = $p->{column} - 1;
5526                $p->{nc} = -1;
5527              }
5528              return $count;
5529            } else {
5530              return 0;
5531            }
5532          } else {
5533            my $count = $input->manakai_read_until ($_[0], $pattern, $_[2]);
5534            if ($count) {
5535              $p->{column} += $count;
5536              $p->{column_prev} += $count;
5537              $p->{nc} = -1;
5538            }
5539            return $count;
5540          }
5541        }; # $p->{read_until}
5542    
5543      my $ponerror = $onerror || sub {      my $ponerror = $onerror || sub {
5544        my (%opt) = @_;        my (%opt) = @_;
5545        warn "Parse error ($opt{type}) at line $opt{line} column $opt{column}\n";        my $line = $opt{line};
5546          my $column = $opt{column};
5547          if (defined $opt{token} and defined $opt{token}->{line}) {
5548            $line = $opt{token}->{line};
5549            $column = $opt{token}->{column};
5550          }
5551          warn "Parse error ($opt{type}) at line $line column $column\n";
5552      };      };
5553      $p->{parse_error} = sub {      $p->{parse_error} = sub {
5554        $ponerror->(@_, line => $line, column => $column);        $ponerror->(line => $p->{line}, column => $p->{column}, @_);
5555      };      };
5556            
5557        my $char_onerror = sub {
5558          my (undef, $type, %opt) = @_;
5559          $ponerror->(layer => 'encode',
5560                      line => $p->{line}, column => $p->{column} + 1,
5561                      %opt, type => $type);
5562        }; # $char_onerror
5563        $input->onerror ($char_onerror);
5564    
5565      $p->_initialize_tokenizer;      $p->_initialize_tokenizer;
5566      $p->_initialize_tree_constructor;      $p->_initialize_tree_constructor;
5567    
5568      ## Step 2      ## F4. If /context/ is not undef...
5569    
5570        ## F4.1. content model flag
5571      my $node_ln = $node->manakai_local_name;      my $node_ln = $node->manakai_local_name;
5572      $p->{content_model} = {      $p->{content_model} = {
5573        title => RCDATA_CONTENT_MODEL,        title => RCDATA_CONTENT_MODEL,
# Line 6397  sub set_inner_html ($$$) { Line 5583  sub set_inner_html ($$$) {
5583      }->{$node_ln};      }->{$node_ln};
5584      $p->{content_model} = PCDATA_CONTENT_MODEL      $p->{content_model} = PCDATA_CONTENT_MODEL
5585          unless defined $p->{content_model};          unless defined $p->{content_model};
         ## ISSUE: What is "the name of the element"? local name?  
5586    
5587      $p->{inner_html_node} = [$node, $node_ln];      $p->{inner_html_node} = [$node, $el_category->{$node_ln}];
5588          ## TODO: Foreign element OK?
5589    
5590      ## Step 3      ## F4.2. Root |html| element
5591      my $root = $doc->create_element_ns      my $root = $doc->create_element_ns
5592        ('http://www.w3.org/1999/xhtml', [undef, 'html']);        ('http://www.w3.org/1999/xhtml', [undef, 'html']);
5593    
5594      ## Step 4 # MUST      ## F4.3.
5595      $doc->append_child ($root);      $doc->append_child ($root);
5596    
5597      ## Step 5 # MUST      ## F4.4.
5598      push @{$p->{open_elements}}, [$root, 'html'];      push @{$p->{open_elements}}, [$root, $el_category->{html}];
5599    
5600      undef $p->{head_element};      undef $p->{head_element};
5601        undef $p->{head_element_inserted};
5602    
5603      ## Step 6 # MUST      ## F4.5.
5604      $p->_reset_insertion_mode;      $p->_reset_insertion_mode;
5605    
5606      ## Step 7 # MUST      ## F4.6.
5607      my $anode = $node;      my $anode = $node;
5608      AN: while (defined $anode) {      AN: while (defined $anode) {
5609        if ($anode->node_type == 1) {        if ($anode->node_type == 1) {
# Line 6431  sub set_inner_html ($$$) { Line 5618  sub set_inner_html ($$$) {
5618        }        }
5619        $anode = $anode->parent_node;        $anode = $anode->parent_node;
5620      } # AN      } # AN
5621        
5622      ## Step 9 # MUST      ## F.5. Set the input stream.
5623        $p->{confident} = 1; ## Confident: irrelevant.
5624    
5625        ## F.6. Start the parser.
5626      {      {
5627        my $self = $p;        my $self = $p;
5628        !!!next-token;        !!!next-token;
5629      }      }
5630      $p->_tree_construction_main;      $p->_tree_construction_main;
5631    
5632      ## Step 10 # MUST      ## F.7.
5633      my @cn = @{$node->child_nodes};      my @cn = @{$node->child_nodes};
5634      for (@cn) {      for (@cn) {
5635        $node->remove_child ($_);        $node->remove_child ($_);
# Line 6455  sub set_inner_html ($$$) { Line 5645  sub set_inner_html ($$$) {
5645      ## ISSUE: mutation events?      ## ISSUE: mutation events?
5646    
5647      $p->_terminate_tree_constructor;      $p->_terminate_tree_constructor;
5648    
5649        delete $p->{parse_error}; # delete loop
5650    } else {    } else {
5651      die "$0: |set_inner_html| is not defined for node of type $nt";      die "$0: |set_inner_html| is not defined for node of type $nt";
5652    }    }

Legend:
Removed from v.1.99  
changed lines
  Added in v.1.240

admin@suikawiki.org
ViewVC Help
Powered by ViewVC 1.1.24