XML sitemap és robots.txt: mire valók, és mire nem?

A sitemap segít felsorolni a fontos URL-eket, a robots.txt pedig a feltérképezést szabályozza. Egyik sem garantál indexelést, és egyik sem alkalmas bizalmas tartalom védelmére.

A sitemap csak értékes végleges URL-t tartalmazzon

200-as, indexelhető és canonical oldalak kerüljenek bele. Ne listázz 404-et, átirányítást, noindex oldalt, adminfelületet vagy titkos projektlinket. Dinamikus tartalomnál az adatbázis publikációs állapotát vedd figyelembe.

A robots tiltás nem noindex

A letiltott oldalt a kereső nem tudja bejárni, de külső link alapján az URL még megjelenhet. Indexből kivételhez elérhető noindex vagy megfelelő státuszkód kell; érzékeny tartalomhoz hitelesítés.

Ne tiltsd le a szükséges erőforrásokat

Ha a CSS és JavaScript kell a mobilos tartalom értelmezéséhez, a kereső is férjen hozzá. Fejlesztési környezetet viszont jelszóval vagy hálózati korláttal védj, ne csak robots.txt-vel.

Küldd be és figyeld az eredményt

A sitemap helyét add meg robotsban és Search Console-ban. Az elküldött és indexelt URL-ek eltérése tartalmi, canonical- vagy minőségi problémát jelezhet.

Gyakorlati ellenőrzőlista

• csak indexelhető 200-as URL
• canonical egyezés
• admin és privát oldalak kizárása
• robots nem biztonsági eszköz
• Search Console követés

Egy konkrét példa

Egy jövőbeli dátumú blogcikk ne kerüljön a publikus sitemapba, amíg nem olvasható. Közzététel után dinamikusan megjelenhet, saját canonicalnal.

Kapcsolódó útmutatók és szolgáltatások

• technikai SEO audit
• canonical URL
• tartalmi átfedések

Következő lépés

Nyisd meg a sitemapot, és mintavétellel ellenőrizz tíz URL-t. Ha átirányítás vagy noindex szerepel benne, javítsd a generálás forrását. Kérj személyre szabott egyeztetést, vagy nézd meg az árkalkulátort.