Majestic est un projet de crawler web soutenu par une communauté engagée et contributrice[1].
L'histoire
Le projet initial Majestic-12 a été lancé en 2004 et fondé par Alex Chudnovsky[2],[3].
Caractéristiques
Majestic est un type de moteur de recherche web dérivé d’un crawler web (ou robot) décentralisé appelé MJ12Bot[4]. Majestic cartographie les liens entre les pages web, plutôt que le contenu du web en lui-même. Ce réseau de liens est parfois appelé web graph.
Des routines de compression de données sont utilisées pour stocker des données pour des analyses et des extractions passant à l’échelle via une API ou une interface web.
La donnée vient d’un réseau d'ordinateurs indépendants propres et de fournisseurs d’accès internet crawlant le web depuis des emplacements décentralisées appelés des nœuds, dirigés par un contrôleur central qui envoie des “paquets” d’URLs à chaque nœud pour un crawl indépendant.
Les robots de nœuds collectent l’information à propos de tous les liens sur les URLs de la liste. L’information est organisée dans deux sets de données distincts: l’Historic index et le Fresh index. L’ Historic index est un index du web porté sur un cycle de crawl de 5 ans. Le Fresh index couvre un cycle de crawl de 90 jours[5].
Sont utilisées les informations absolue et relative de liens pour faire des hypothèses sur le pouvoir et l'influence d'une URL à l'Internet par le biais du calcul de la valeur de Citation Flow et Trust Flow[6],[7],[8],[9],[10].
Les données du moteur de recherche de Majestueux sont accessibles via des API, JSON et XML, ou par l'intermédiaire de l'interface web[11].
Les statistiques de crawl absolu depuis 2004 sont représentées quotidiennement[12].
En 2014, le Topical Trust Flow a été introduit pour mesurer l’influence relative de n’importe quelle URL au sein d’un sujet spécifique[13].
En 2016, Majestic a gagné le prix Queen's Awards for Enterprise dans la catégorie Innovation[14].
Controverse
En février 2014, Nicolas JEAN[15] met en évidence la différence de traitement pouvant être exploitée entre les outils dédiés aux professionnels du référencement tel que MajesticSEO ou Ahrefs et les moteurs de recherche utilisés par le grand public[16],[17].
Notes et références
