Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 Majestic contourne les blocages Robots.txt et Htaccess


#1 2018-07-24 09:46:01

Mention Boons
🥉 Grade : Scout

AuxiliaireConsomateur de Liens
Lieu : Jerusalem, Israel
Inscription : 2017-04-12
Messages : 44
Likes : 0

Majestic contourne les blocages Robots.txt et Htaccess

Salut les SEO, comme vous avez du vous en rendre compte, Majestic contourne les blocages Robots.txt ou Htaccess et remontent maintenant les liens. J'ai vu ici et là pas mal d'interrogations sur twitter. Certains pensent que Majestic achète la data à d'autres, ou d'autres disent qu'un autre nom de bot a été lancé et c'est via celui-ci que la data est maintenue à jour.

Avez vous remarqué cela également (depuis mai dernier environ) ?
Comment trouver et bloquer ce bot ? Des idées ?

Merci à vous

0
J'aime ❤️

🔴 Hors ligne

#2 2018-07-24 12:00:53

Mention Mitsu
🥉 Grade : Scout

AuxiliaireIngénieur webStratège1000 messagesMembre Hospitalier
Inscription : 2014-11-17
Messages : 2 012
Likes : 9

Développement PHP
Développement JS
Audit et Analyse
Netlinking
Site Web

Re : Majestic contourne les blocages Robots.txt et Htaccess

Yop, le bloquage robots.txt ils peuvent bien le faire sauter si ils veulent mais le htaccess si tu bloque leurs ips, je vois pas bien comment ils peuvent passer outre ? Ils ont tant d'ips que ça qui tourne ?

0
J'aime ❤️

🔴 Hors ligne

#3 2018-07-24 12:03:30

Mention Gelexylophone
🥉 Grade : Scout

Auxiliaire
Inscription : 2017-12-22
Messages : 177
Likes : 1

Re : Majestic contourne les blocages Robots.txt et Htaccess

Mitsu a écrit :

Yop, le bloquage robots.txt ils peuvent bien le faire sauter si ils veulent mais le htaccess si tu bloque leurs ips, je vois pas bien comment ils peuvent passer outre ? Ils ont tant d'ips que ça qui tourne ?

@Mitsu la liste est longue: hxxps://help.ahrefs.com/getting-started-with-ahrefs/ahrefs-explained/what-is-the-list-of-your-ip-ranges

0
J'aime ❤️

🔴 Hors ligne

#4 2018-07-24 13:07:21

Mention DevForEver
🥉 Grade : Scout

AuxiliaireIngénieur web10likes
Lieu : Alsace
Inscription : 2016-02-16
Messages : 178
Likes : 13

PHP
JAVA
DB Admin
Sécurité

Re : Majestic contourne les blocages Robots.txt et Htaccess

Boons a écrit :

Comment trouver et bloquer ce bot ? Des idées ?

p'etre que certains bots Majestic passent par des proxy avec un UserAgent et nom d'hote anonyme,
comme tous ceux qui scrappent big_smile

Le piège est assez facile à mettre en place:
1. sur un site crawlé fréquemment par majestic, mettre un lien sur une page orpheline,
2. blaster un peu l'url de la page orpheline
3. jetter un coup d'oeil dans les logs Apache pour extraire les requêtes vers la page orpheline.
En théorie, il n'y aura que des robots qui auront visité la page puisqu'elle n'est pas maillé dans le site. En surveillant le fresh index de Majestic, y a moyen d'avoir une quasi certitude sur le type de crawl utilisé par Majestic.

Dernière modification par DevForEver (2018-07-24 13:09:35)

0
J'aime ❤️

🔴 Hors ligne

#5 2018-07-24 13:40:33

Mention Mitsu
🥉 Grade : Scout

AuxiliaireIngénieur webStratège1000 messagesMembre Hospitalier
Inscription : 2014-11-17
Messages : 2 012
Likes : 9

Développement PHP
Développement JS
Audit et Analyse
Netlinking
Site Web

Re : Majestic contourne les blocages Robots.txt et Htaccess

@Gelexylophone : Tu parles de ahrefs là, pour le coup la liste est longue bof en fait ils ont très peu de plages ips différentes.

0
J'aime ❤️

🔴 Hors ligne

#6 2018-07-24 14:27:09

Mention Gelexylophone
🥉 Grade : Scout

Auxiliaire
Inscription : 2017-12-22
Messages : 177
Likes : 1

Re : Majestic contourne les blocages Robots.txt et Htaccess

@Mitsu my bad, j'avais mal lu

0
J'aime ❤️

🔴 Hors ligne

#7 2018-07-25 08:30:16

Mention ColdFire
🥈 Grade : Soldier

Membre du CercleOfficierStratègeMembre Hospitalier
Lieu : Dijon
Inscription : 2018-01-04
Messages : 529
Likes : 9

Audit et Analyse
Sémantique
Advertising
Rédaction

Re : Majestic contourne les blocages Robots.txt et Htaccess

Pour le contournement du blocage via htaccess je ne sais pas, par contre je confirme bien que le bot de Majestic passe outre les directives robots.txt depuis cette année, ce qui n'était pas le cas avant.

0
J'aime ❤️

🔴 Hors ligne

#8 2018-07-25 08:42:15

Mention ElFamosoTrolo
🥉 Grade : Scout

Auxiliaire
Inscription : 2018-02-20
Messages : 84
Likes : 0

Re : Majestic contourne les blocages Robots.txt et Htaccess

Oh, c'est bon à savoir, ça. Et ça explique bien des choses ! big_smile
Merci de l'info !


Cultivons l'efficience.

0
J'aime ❤️

🔴 Hors ligne

#9 2018-07-25 13:06:52

Mention jane31
♟️ Grade : Recruit

Disciple
Inscription : 2018-07-09
Messages : 64
Likes : 0

Re : Majestic contourne les blocages Robots.txt et Htaccess

wahouuu !! bonne info , a garder sous le coude


J'ALGORYTHME ma vie ..... et J'adore ça !!

0
J'aime ❤️

🔴 Hors ligne

#10 2018-07-25 20:27:23

Mention jeromeweb
🥉 Grade : Scout

Auxiliaire1000 messages
Lieu : pas loin de paris
Inscription : 2014-10-12
Messages : 1 328
Likes : 5

PHP
Automatisation Web

Re : Majestic contourne les blocages Robots.txt et Htaccess

DevForEver a écrit :

p'etre que certains bots Majestic passent par des proxy avec un UserAgent et nom d'hote anonyme,
comme tous ceux qui scrappent big_smile
.

Je ne pense pas car sur les sites qui ont cette extension d'installée, les BL ne remontent pas dans Majestic : https://fr.wordpress.org/plugins/stopbadbots/
ils doivent acheter à un scrapper "connu"

Dernière modification par jeromeweb (2018-07-25 20:27:37)

0
J'aime ❤️

🔴 Hors ligne

#11 2018-07-26 10:21:00

Mention DevForEver
🥉 Grade : Scout

AuxiliaireIngénieur web10likes
Lieu : Alsace
Inscription : 2016-02-16
Messages : 178
Likes : 13

PHP
JAVA
DB Admin
Sécurité

Re : Majestic contourne les blocages Robots.txt et Htaccess

jeromeweb a écrit :

Je ne pense pas car sur les sites qui ont cette extension d'installée, les BL ne remontent pas dans Majestic : https://fr.wordpress.org/plugins/stopbadbots/
ils doivent acheter à un scrapper "connu"

sacré plugin, d'après les sources ils filtrent sur les plages d'IP, l'UA et p'etre suivant  d'autres critères
merci pour le lien ça donne des idées wink

0
J'aime ❤️

🔴 Hors ligne

#12 2018-07-26 11:54:53

Mention Robespierre
🥉 Grade : Scout

AuxiliaireIngénieur web10likes
Inscription : 2017-09-19
Messages : 98
Likes : 24

Développement C
Développement Ruby (ROR)
Développement Python
Sécurité

Re : Majestic contourne les blocages Robots.txt et Htaccess

C'est une évidence, mais robots.txt n'est pas un blocage, ce sont juste des instructions. Rien n'oblige à les respecter.
Quant au blocage par htaccess, bah, il faut pas oublier que les entreprises comme Majestic font leur beurre sur les données, plus ils en collectent, mieux c'est, donc à mon avis, ils n'hésitent pas à multiplier les bots et surtout à mettre un user agent banal (Chrome, Safari, etc)

Donc bon, c'est un combat un peu perdu d'avance.


Vente de Backlinks thématique Parentalité, lifestyle, bébé/enfants à bon prix. Glissez en MP pour plus d'infos wink

0
J'aime ❤️

🔴 Hors ligne

#13 2018-07-26 18:16:48

Mention Boons
🥉 Grade : Scout

AuxiliaireConsomateur de Liens
Lieu : Jerusalem, Israel
Inscription : 2017-04-12
Messages : 44
Likes : 0

Re : Majestic contourne les blocages Robots.txt et Htaccess

A mon avis, certains SEO ont réussi a trouver le bot. Mais l'info n'est pas encore passée ...

0
J'aime ❤️

🔴 Hors ligne

#14 2018-08-01 09:02:34

Mention Shanwar
🥉 Grade : Scout

Auxiliaire
Lieu : Dans ta SERP
Inscription : 2015-07-22
Messages : 154
Likes : 3

Re : Majestic contourne les blocages Robots.txt et Htaccess

Hello,

Effectivement, j'ai commencé à voir des BL apparaitre sur Majestic depuis des NDD ou je filtrais l'accès aux bots.
Je vais essayer ce qu'a proposé @DevForEver

0
J'aime ❤️

🔴 Hors ligne

#15 2018-08-02 07:20:19

Mention Boons
🥉 Grade : Scout

AuxiliaireConsomateur de Liens
Lieu : Jerusalem, Israel
Inscription : 2017-04-12
Messages : 44
Likes : 0

Re : Majestic contourne les blocages Robots.txt et Htaccess

@Shanwar
Etant trop amateur en logs, impossible pour moi de tester
Tu nous diras si tu as une piste
Faut vraiment faire buter ce bot

0
J'aime ❤️

🔴 Hors ligne

#16 2018-08-29 09:24:57

Mention Boons
🥉 Grade : Scout

AuxiliaireConsomateur de Liens
Lieu : Jerusalem, Israel
Inscription : 2017-04-12
Messages : 44
Likes : 0

Re : Majestic contourne les blocages Robots.txt et Htaccess

Re les seo,
Je suis maintenant à découvert hmm Tous mes liens ou presque ont été découverts par Majestic, depuis l'apparition de leur nouveau bot secret en Avril / Mai

Quelqu'un aurait une piste pour mettre un terme à ce badbot ? Je commence a regarder dans les logs en ce moment pour le trouver, mais étant novice, c'est pas évident.

Dernière modification par Boons (2018-08-29 11:08:10)

0
J'aime ❤️

🔴 Hors ligne

#17 2018-10-13 13:21:03

Mention mrcroft
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManConsomateur de Liens
Inscription : 2018-09-24
Messages : 199
Likes : 5

Audit et Analyse
Marketing
Netlinking
Comunity Management
Site Web

Re : Majestic contourne les blocages Robots.txt et Htaccess

Des nouvelles concernant le bot a bloquer ?


Tu ne sais pas ce que tu ne sais pas cool

0
J'aime ❤️

🔴 Hors ligne

#18 2018-12-25 13:14:21

Mention karapitcho
🥉 Grade : Scout

Auxiliaire
Lieu : bhw
Inscription : 2016-04-15
Messages : 62
Likes : 0

Re : Majestic contourne les blocages Robots.txt et Htaccess

Egalement intéressé par des infos sur le bot de majestic

0
J'aime ❤️

🔴 Hors ligne

#19 2018-12-25 20:41:35

Mention Nitro
🥉 Grade : Scout

Auxiliaire
Inscription : 2015-04-27
Messages : 164
Likes : 0

Re : Majestic contourne les blocages Robots.txt et Htaccess

Y'en a qui ont testé en profondeur le plugin proposé par Jerome web ? Idéal pour planquer un pbn non ?

0
J'aime ❤️

🔴 Hors ligne

#20 2019-07-12 22:05:54

Mention nazim
🥈 Grade : Soldier

Membre du CercleOfficierForce PolyvalenteStratège10likes
Lieu : Nord
Inscription : 2018-03-30
Messages : 191
Likes : 34

Développement PHP
Stratégie
Networking SEO
Marketing

Re : Majestic contourne les blocages Robots.txt et Htaccess

Hello ,

Juste pour répondre en général, les crawlers de Majestic sont des bots distribués, ils ont plusieurs pools d'utilisateurs qui sont rétribués pour faire tourner les crawlers sur leurs propres machines. Il n'y a donc pas de plages d'IP connues pour bloquer Majestic. La façon la plus répandue c'est de bloquer le User Agent : MJ12Bot via .htaccess

Dernière modification par nazim (2019-07-12 22:20:16)

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums