Xenu Link Sleuth : audit de site

Comment connaître rapidement le nombre de pages indexables de votre site, le format et l’exactitude de vos balises title et méta-description, la profondeur de navigation, et toutes ces erreurs qui passent inaperçues et pénalisent votre référencement naturel ? C’est le challenge lancé à Xenu Link Sleuth (“limier” en bon français), un logiciel totalement gratuit qui explore et analyse la totalité des pages en suivant les liens.

Xenu, logiciel pour le référencement naturel ?

Auditer un site internet, c’est souvent analyser des centaines de pages (si ce n’est plus), de balises et d’erreurs en tous genres. Le référenceur ou le propriétaire du site recherche en effet les facteurs bloquants qui pénaliseront soit le référencement d’un contenu, soit sa correcte exploration par les moteurs de recherche, donc son indexation : mauvais title, erreurs 404 ou de redirections, contenus dupliqués, pages orphelines ou trop profondes dans l’arborescence du site, etc.

Pour évaluer la santé de votre site, vous avez la possibilité de réaliser une analyse manuelle sur Google en utilisant des opérateurs de recherche, mais vous n’atteindrez pas les pages inaccessibles au moteur ou non référencées qui peuvent poser problème à votre visibilité.

Vous pouvez aussi utiliser Google Webmaster Tool pour identifier vos erreurs 404 ou vos title en double, mais le traitement est fastidieux.

L’intérêt de Xenu est donc de pouvoir explorer l’ensemble des fichiers de votre site (les « crawler »), quel que soit leur format, les compulser dans un fichier, et vous proposer un joli rapport à décrypter.

Xenu pas à pas

Lancez votre premier scan

Cliquez sur File > Check url.. Nous vous recommandons de décocher l’option d’analyse des liens sortants (External url) qui prend du temps et de la ressource système, sauf si vous souhaitez contrôler les éventuels liens sortants cassés. Dans la boîte de dialogue, entrez l’url complète du site, puis cliquez sur « Option ». La boîte de dialogue ci-dessous s’ouvre :

Attardons-nous sur quelques fonctions essentielles :

• Parallel Thread : le nombre de requêtes simultanées envoyées au serveur de l’hébergeur. Trop de requêtes, votre adresse ip risque d’être bloquée : votre exploration pourrait être perçue comme une attaque. La bonne mesure se situe sous les 10 requêtes simultanées pour ne pas éveiller la suspicion… surtour si vous analysez le site d’un concurrent.
• Maximum depth : la profondeur d’exploration. 1 étant votre page d’accueil, un niveau de 4 correspond à une page accessible en 3 clics depuis l’arrivée sur le site. Tout l’intérêt est de laisser ce nombre à son maximum pour détecter les pages trop profondes
• Ask for password : Xenu peut en effet explorer les pages protégées, pour un site en développement par exemple.
• Report : ces options conditionnent le rendu du rapport : types de liens cassés, redirections, url exactes,  pages orphelines, statistiques et même la génération d’un sitemap html.

Exploiter un rapport Xenu

Une fois le scan accompli (de quelques minutes à plusieurs heures selon l’importance du site), l’interface du rapport Xenu ressemblera à ceci :

Vous pouvez déjà facilement exploiter ces données en identifiant les pages générant une erreur 404 (introuvable), trop lourdes, le niveau de profondeur de vos contenus, ou les titles et les meta descriptions dupliquées (signes avant-coureurs de pages dupliquées). En effet, le rapport se comporte comme un fichier Excel : vous pouvez donc ordonner les données de chaque colonne comme bon vous semble. Ci-dessous, quelques title d’Objectifpapillon.fr :

C’est aussi ici que vous allez pouvoir découvrir qu’un PDF a priori confidentiel est en fait accessible sans mot de passe !

Une donnée intéressante à analyser en référencement est le nombre de liens internes reçus par chacune de vos pages (colonne in link). En effet, un maillage interne optimisé est concentré sur vos pages stratégiques pour leur donner plus de poids aux yeux de Google : c’est le transfert de « link juice » interne. Donc, si une page reçoit peu de liens internes et qu’elle est capitale pour vous, revoyez votre copie ! Une page recevant peu de liens sera par ailleurs explorée moins souvent : une évolution de son contenu sera pris en compte plus lentement par les robots crawler de Google. Attention, votre navigation génère une quantité importante de ces liens. Dans le rapport Xenu, ce sont toutes ces pages qui reçoivent un nombre identique ou très proche de liens internes. Leur variation (liens reçus depuis vos contenus éditoriaux par exemple) vous donnera un indice de l’importance que peut accorder Google à certaines de ces pages d’atterrissage plutôt qu’à d’autres.

Comment convertir un rapport Xenu en fichier Excel ?

Pour une analyse plus poussée, ou tout simplement envoyer les données à votre webmaster ou votre développeur, vous pouvez importer l’ensemble des données sous Excel. Voici comment faire :

1. Cliquez sur File > Export to TAB separated file et enregistrez le fichier txt ;
2. Ouvrez Excel, option Données > A partir du texte, puis importez votre fichier txt ;
3. Cochez le cases correspondant au fait que vos données sont délimitées par des tabulations ;
4. Validez : les colonnes et les données associées apparaîsent maintenant dans votre feuille de calcul ;
5. Filtrez les colonnes ainsi obtenues pour les expoiter.

Si vous souhaitez  uniquement analyser votre maillage interne, choisissez Export Page Map to TAB separated File et suivez la même procédure. Vous aurez ainsi la liste des url internes qui pointent vers chacune de vos pages et les éventuels liens cassés.

Scénarios d’usage de Xenu

Pour clore cette prise en main de l’outil, nous vous proposons quelques exemples d’utilisation en routine ou pour une analyse plus poussée.

Pré-audit rapide : analyser les erreurs 404, la correcte implémentation des landing pages, les balises dupliquées.

Audit de référencement : ces mêmes données, plus la recherche d’éventuels bugs comme des pages implémentées trop profondément dans l’arborescence, la prise en compte de vos urls dans les sitemaps, les pages malencontreusement dupliquées, les erreurs générées en rafale par votre CMS, le poids de vos pages et images.

Recette d’un site en développement : Xenu pouvant analyser un site hébergé sur un serveur local, sur votre disque dur, ou protégé par un mot de passe, l’intérêt est de valider sa structure avant mise en ligne :

• Les landings pages sont-elles toutes implémentées ?
• Vos title et méta-description respectent-elles les préconisations de votre consultant seo ?
• Reste-t-il des erreurs 404 avant mise en ligne ?
• Les redirections sont-elles bien réalisées ?
• Tout autre bug structurel

Plan de redirections 301 : vous réalisez la refonte de votre site. Il y a de fortes chances pour que les anciennes url soient modifiées ou ne soient pas conservées.

• Réalisez un crawl du site avant refonte pour identifier les urls à conserver ou éliminer ;
• Réalisez un crawl de la nouvelle version du site avant mise en ligne afin de lister l’ensemble des nouvelles urls ;
• Créez un tableau de correspondance qui donnera à votre développeur ou votre webmaster les règles de redirections 301 à configurer dans le fichier .htaccess de votre serveur.

Pour aller plus loin dans l’exploration et l’analyse de vos performances SEO découvrez les 8 outils outils indispensables pour optimiser son référencement naturel.