Je me suis aperçu récemment que les données Majestic SEO n’étaient pas fiables à 100%, tout simplement parce que certains sites n’étaient pas crawlés régulièrement, ce qui peut compromettre certaines données sensibles comme la catégorie ou le pourcentage des ancres. Retour d’expérience.
1and1 mutualisé bloque le bot Majestic SEO
Mon premier constat est que les hébergements 1and1 en mutualisé bloquent les robots de Majestic SEO, très probablement parce que ces derniers réclament trop de ressources et que les serveurs seraient susceptibles de tomber. Une suspicion qui en dit long sur la qualité des serveurs, ce serait d’ailleurs intéressant d’entendre parler 1and1 à ce sujet. C’est pas nouveau, ce constat a été réalisé en début d’année 2014 par JeromeWeb.net, le problème semble persister depuis.
Mon constat s’est fait simplement à la suite d’une campagne de netlinking. Mon annuaire France-echange.fr liste plusieurs sites en page d’accueil et je m’étonnais de ne pas retrouver France-echange.fr dans les tops backlinks de certains sites.
Je vais prendre l’exemple du site http://www.distributeurautomatique.net/ qui est inscrit sur l’annuaire en page d’accueil avec son url visible et cliquable, si je regarde ses backlinks dans Majestic SEO, je ne vois pas du tout France-echange.fr, et pourtant il est bien là le lien hypertexte.
Quand j’utilise AHREF, je vois tout de suite que France-echange.fr est présent :
En fait, c’est tout simplement parce que France-echange.fr est sur un hébergement 1and1 mutualisé et que le bot se heurte régulièrement à un mur en souhaitant crawler l’annuaire, un mur qui s’appelle une 403 (refus d’accès).
Des données Majestic SEO légèrement tronquées
J’imagine que 1and1 ne doit pas être le seul hébergeur à bloquer les bots qui demandent pas mal de ressources (je n’ai pas checké les logs d’un serveur crawlé par Majestic SEO pour connaître la ressource moyenne exploitée). SI votre netlinking repose essentiellement sur des sites hébergés chez 1and1 en mutualisé, ça pose problème mais il y a peu de chances que ça arrive. Cela dit, de gros sites peuvent avoir un hébergement en mutualisé chez 1and1 (et je ne le recommande pas forcément…), ce qui signifie que vous ne les verrez pas dans vos backlinks et qu’il faudra tout de même lister vos backlinks pour garder la main sur les ancres.
Sur certains sites « sensibles », dont les ancres sont volontairement nombreuses sur des mots clés optimisés pour des contraintes de positionnement, il faut garder un œil de près sur le maillage externe car la simple non prise en compte de plusieurs dizaines de domaines non crawlés par Majestic SEO peuvent entrainer de lourdes conséquences, et je parle forcément de Penguin. Autre point important, toutes les metrics sont touchées et notamment le trust flow qui est un indicateur puissant dans la communauté SEO à l’heure actuelle. Sur les sites hébergés en mutualisé 1and1, il est impossible de mesurer les transmissions de jus vers les pages internes, elles ne prennent pas trust flow car les informations de ce côté sont manquantes, à cause des accès bloqués au bot Majestic SEO.