Qui ce qu'un fichier Robots.txt?
Robots.txt est un fichier texte placé dans le répertoire racine du serveur Web d’un site Web et qui indique aux robots des moteurs de recherche les pages qu’ils peuvent indexer ou ne peuvent pas indexer sur votre site.
Tout le monde peut accéder au contenu du fichier robot.txt de votre site web sur l’url monsite.com /robots.txt.
Les principales fonctions d'un robots.txt
"User-agent: *" signifie que les instructions du fichier s'appliquent à tous les robots.
" Disallow : / " indique au robot de ne parcourir aucune page du site.
" User-agent : Googlebot" signifie que les instructions s'appliquent uniquement à Googlebot.
"Allow: " Dites à un robot qu'il est normal de voir un fichier dans un dossier qui a été rejeté par d'autres instructions.
Pour désindexer des pages il faut utiliser la base noindex sur votre fichier html. <meta name= " robots" content= "noindex">.
Comment ajouter un fichier robots.txt sur blogger ?
Aller vers le menu principal de votre blog.
Cliquer sur paramètres puis vers Robots d'exploration et indexation.
Activer le fichier robots.txt personnalisé.
Après ajouter le fichier robots.txt personnalisé.
Réaliser un Google mapping
Pour faire un mapping de votre site sur Google il faut créer un fichier sitemap.xml. Le fichier sitemap représente une carte de votre site internet qui va lister les différents liens et qui va aider le moteur de recherche Google pour mieux indexer vos pages.
Les principales balises d’un fichier sitemep.xml
<urlset> : est une balise de début de chaque fichier sitemap, son rôle est de résumer le fichier et indique le standard de protocole actuel.
<url> : est une balise d'entrée de chaque URL et qui indique le début et la fin de chaque sous page.
<loc> : est une balise qui identifie les URL des pages. Chaque URL doit commencer par un protocole (‘http’ par exemple) et se terminer par une barre oblique de fermeture si le serveur Web l’exige. L’URL ne doit pas dépasser une longueur de 2048.
Comment créer un fichier sitemap sur blogger ?
Aller vers le menu principal de votre blog puis cliquer sur paramètres
Aller vers Google Search console.
Après dans la barre gauche appuyer sur sitemaps.
Puis dans la case ajouter un sitemap, saisir l’URL du sitemap comme suite : (exemple : https://edukelectro.blogspot.com/sitemap.xml) et envoyer.
Il existe plusieurs formats de sitemaps :
XML
RSS, mRSS, Atom
Texte
Comment créer un fichier sitemap pour un site WordPress ?
All In One SEO Pack
Yoast
Google Sitemap by BestWebSoft
Google XML Sitemaps