SEO դասընթաց․ Ի՞նչ է robots.txt ֆայլը

Ի՞նչ է Robots.txt ֆայլը և ինչու՞ է այն օգտագործվում SEO-ում

Robots.txt-ին տեքստային ֆայլ է, որի օգնությամբ վերահսկում ենք կայքի ինդեքսացիան որոնողական համակարգերում։

Robots.txt ֆայլն ունի հետևյալ տեսքը՝

Robots.txt ֆայլով կարող ենք.

✅ Կանխել կայքի ոչ որակյալ էջերի ինդեքսավորումը` բացառելով ոչ կարևոր կամ կրկնվող էջերի ինդեքսավորումը

✅ Նշել՝ կայքի որ էջերը/ֆայլերը ինդեքսավորվեն, իսկ որոնք՝ ոչ

✅ Կարգավորել ռոբոտների այցելության հաճախականությունը (crawl-delay)

✅ Նշել, թե որ որոնողական ռոբոտներին ինչ թույլտվություններ է տրվում կայքի ինֆեքսացիայի ժամանակ

✅ Նշել կայքի հիմնական դոմեյնը (Host)

✅ Տալ sitemap-ի ճշգրիտ հասցեն, որպեսզի բովանդակությունը ամբողջությամբ ինդեքսավորվի

Robots.txt ֆայլի միջոցով տրվող հիմնական հրամաններից կարող ենք առանձնացնել հետևյալները.

User-agent – նշում ենք, թե որ բոտին ենք տալիս հրահանգը։

▪️ User-agent: * — վերաբերում է բոլոր որոնողական համակարգերին

▪️ User-agent: Googlebot — վերաբերում է միայն Google-ի ռոբոտին

Disallow – սահմանում ենք, թե որ էջերն ու director-իաները չպետք է ինդեքսավորվեն

▪️ Disallow: /search/ — սահմանում ենք, թե որ որոնման էջերը չպետք է ինդեքսավորվեն

▪️ Disallow: /*?sort=* — սահմանում ենք, որ չպետք է ինդեքսավորվեն այն բոլոր URL-ները, որոնք պարունակում են sort query

Allow – թույլ ենք տալիս կոնկրետ էջի ինդեքսացիան, նույնիսկ եթե վերևում disallow կա

▪️ Allow: /public-content/

Disallow: / – ամբողջ կայքը արգելափակվում է ինդեքսացիայից

Allow: / – կայքը բաց է ինդեքսացիայի համար

Host & Sitemap հրամաններ՝

✅ Host - եթե կայքը հասանելի է տարբեր դոմեյններով (օր. .com, .net), կարող ենք նշել, թե որն է հիմնական դոմեյնը՝

Host: www.example.com

✅ Sitemap: Robots.txt ֆայլի ամենավերջում գրում ենք, թե որտեղ է գտնվում կայքի sitemap-ը`

Sitemap: https://example.com/sitemap.xml