[2] 仕様書:
- [CITE[robotstxt.org]]
-- [ROBOTS94] [CITE[A Standard for Robot Exclusion]]
-- [ROBOTS97] [CITE[A Standard for Robot Exclusion]]
- [[HTML 4]]
-- [CITE[The robots.txt file]]
[ROBOTS94] が1994年の合意で、その後1997年に [[Internet Draft]] [ROBOTS97]
が書かれましたが、未完成のままです。 HTML 4 は附属書 B (参考)
の中で解説していますが、規定はしていません。
[1] ''robotはぢきについて''
[3]
HTML 4.0 の解説には間違いが沢山ありました。
HTML 4.01 では修正されています。
HTML 4.01
[CSECTION[A.1.2 Errors that were corrected]]
([[名無しさん]] [sage])
[4]
[CITE[sitemaps.org - Protocol]] ([TIME[2007-04-11 20:52:23 +09:00]] 版)
([[名無しさん]] [WEAK[2007-04-12 11:00:38 +00:00]])
[5] [CITE[Creating Video Sitemaps - Webmasters/Site owners Help]] ([TIME[2009-02-08 17:41:37 +09:00]] 版)
[6] [CITE[自分のサイトを更新チェックされたくない - はてなアンテナのヘルプ]]
([TIME[2011-09-09 12:18:55 +09:00]] 版)
[7] [CITE[ACAP - Automated Content Access Protocol v1]]
( ([[IPTC PR Team]] 著, [TIME[2012-09-19 08:03:13 +09:00]] 版))
[8] [CITE[WWW::RobotsRules - search.cpan.org]]
( ([TIME[2013-03-10 05:21:28 +09:00]] 版))
[9] [CITE[WWW::RobotRules::Parser - search.cpan.org]]
( ([TIME[2013-03-10 05:22:34 +09:00]] 版))
[10] [CITE[WWW::RobotRules - search.cpan.org]]
( ([TIME[2013-03-10 05:23:35 +09:00]] 版))
[11] [CITE[WWW::RobotRules::Extended - search.cpan.org]]
( ([TIME[2013-03-10 05:28:09 +09:00]] 版))
[12] [CITE[robots.txtにおけるAllowとDisallowとSitemapの優先順位 - 45式::雑記]]
( ([[渡辺四ん五(4n5)]] 著, [TIME[2012-02-29 17:58:01 +09:00]] 版))
[13] [CITE@en[Robots exclusion standard - Wikipedia, the free encyclopedia]]
( ([TIME[2013-03-10 00:00:25 +09:00]] 版))
[14] [CITE[Official Google Webmaster Central Blog: Improving on Robots Exclusion Protocol]]
( ([TIME[2014-03-19 08:31:54 +09:00]] 版))
[15] [CITE[The Web Robots Pages]]
( ([TIME[2013-12-03 09:21:42 +09:00]] 版))