- Vikipediyanın robots.txt faylı üçün: https://az.wikipedia.org/robots.txt
robots.txt — veb-saytlar tərəfindən axtarış botlarına və digər botlara veb-saytın hansı hissələrinə daxil olmağa icazə verildiyini göstərmək üçün istifadə edilən standart olan "Robots Exclusion Protocol" protokolunu həyata keçirmək üçün istifadə edilən fayl adı.
Bu, könüllü razılığa əsaslanır. Bütün botlar standarta əməl etmir. Əksinə, təhlükəsizlik boşluqlarını skan edən e-poçt spamçıları, spam-botlar, zərərli proqramlar və robotlar veb-saytın onlardan kənarda qalmaları xahiş edilən hissələrdən (Robots Exclusion Protocol ilə) başlaya bilər.
"robots.txt" faylı veb-saytlar üçün digər robot daxiletmə standartı olan Sitemaps ilə birlikdə istifadə edilə bilər.
Standart Martin Koster tərəfindən[1][2] 1994-cü ilin fevralında[3] "Nexor"da işləyərkən,[4] o zaman WWW ilə əlaqəli fəaliyyətlər üçün əsas kommunikasiya kanalı olan "www-talk" poçt siyahısında təklif edilmişdir. Çarlz Stross iddia edir ki, təsadüfən Kosterin serverinə DoS-hücum etməsinə səbəb olan bot yazdıqdan sonra Kosterə "robots.txt" yaratmağı təklif edib.[5]
O tez bir zamanda "WebCrawler", "Lycos" və "AltaVista" kimi axtarış motorları tərəfindən idarə olunanlar da daxil olmaqla, ən çox uyğun gələn indiki və gələcək veb skanerlərinin əməl edəcəyi de-fakto standarta çevrildi.[6]
1 iyul 2019-cu ildə "Google" IETF çərçivəsində rəsmi standart olaraq "Robots Exclusion Protocol"nu təklif etdi.[7] Təklif olunan standart 2022-ci ilin sentyabrında RFC 9309 olaraq nəşr olundu.[8]
- ↑ "Historical". Greenhills.co.uk. 3 aprel 2017 tarixində arxivləşdirilib. İstifadə tarixi: 3 mart 2017.
- ↑ Fielding, Roy. "Maintaining Distributed Hypertext Infostructures: Welcome to MOMspider's Web" (PostScript). First International Conference on the World Wide Web. Geneva. 1994. 27 sentyabr 2013 tarixində arxivləşdirilib. İstifadə tarixi: 25 sentyabr 2013.
- ↑ Koster, Martijn. "Important: Spiders, Robots and Web Wanderers". www-talk mailing list. 25 fevral 1994. 29 oktyabr 2013 tarixində orijinalından (Hypermail archived message) arxivləşdirilib.
- ↑ "The Web Robots Pages". Robotstxt.org. 30 iyun 1994. 12 yanvar 2014 tarixində arxivləşdirilib. İstifadə tarixi: 29 dekabr 2013.
- ↑ "How I got here in the end, part five: "things can only get better!"". Charlie's Diary. 19 iyun 2006. 25 noyabr 2013 tarixində arxivləşdirilib. İstifadə tarixi: 19 aprel 2014.
- ↑ Barry Schwartz. "Robots.txt Celebrates 20 Years Of Blocking Search Engines". Search Engine Land. 30 iyun 2014. 7 sentyabr 2015 tarixində arxivləşdirilib. İstifadə tarixi: 19 noyabr 2015.
- ↑ "Formalizing the Robots Exclusion Protocol Specification". Official Google Webmaster Central Blog (ingilis). 10 iyul 2019 tarixində arxivləşdirilib. İstifadə tarixi: 10 iyul 2019.
- ↑ Koster, M.; Illyes, G.; Zeller, H.; Sassman, L. "Robots Exclusion Protocol". IETF Documents. 14 sentyabr 2022. 22 sentyabr 2022 tarixində arxivləşdirilib. İstifadə tarixi: 22 sentyabr 2022.
- robotstxt.org — rəsmi saytı
- Koster, Martijn; Illyes, Gary; Zeller, Henner; Sassman, Lizzi. "Robots Exclusion Protocol". Internet Engineering Task Force. sentyabr 2022.