Majestic est un type de moteur de recherche web dérivé d’un crawler web (ou robot) décentralisé appelé MJ12Bot[3]. Majestic cartographie les liens entre les pages web, plutôt que le contenu du web en lui-même. Ce réseau de liens est parfois appelé web graph.
Des routines de compression de données sont utilisées pour stocker des données pour des analyses et des extractions passant à l’échelle via une API ou une interface web.
La donnée vient d’un réseau d'ordinateurs indépendants propres et de fournisseurs d’accès internet crawlant le web depuis des emplacements décentralisées appelés des nœuds, dirigés par un contrôleur central qui envoie des “paquets” d’URLs à chaque nœud pour un crawl indépendant.
Les robots de nœuds collectent l’information à propos de tous les liens sur les URLs de la liste. L’information est organisée dans deux sets de données distincts: l’Historic index et le Fresh index. L’ Historic index est un index du web porté sur un cycle de crawl de 5 ans. Le Fresh index couvre un cycle de crawl de 90 jours[4].
Sont utilisées les informations absolue et relative de liens pour faire des hypothèses sur le pouvoir et l'influence d'une URL à l'Internet par le biais du calcul de la valeur de Citation Flow et Trust Flow[5],[6],[7],[8],[9].
Les données du moteur de recherche de Majestic sont accessibles via des API, JSON et XML, ou par l'intermédiaire de l'interface web[10].
