Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 Automatiser une requette sur Google et récupérer la première URL


#1 2016-02-16 09:01:40

Mention mrwn211
♟️ Grade : Recruit

Disciple
Inscription : 2016-02-16
Messages : 26
Likes : 0

Automatiser une requette sur Google et récupérer la première URL

Bonjour à tous,

J'ai besoin de créer une macro me permettant d'aller rechercher un nom d'université sur google et de récupérer le premier résultat.

J'ai tous les  noms que je dois checker dans un tableau excel, et de ce côté là pas de problème. Par contre je n'arrive pas à trouver quel élément de la serp peut faire comprendre à la macro de me récupérer l'URL du premier résultat.

Si quelqu'un veut bien m'aider ce serait cool!

PS: Je suis novice alors pardonnez-moi si cette question est totalement bidon pour vous et que vous le faites tous les jours au petit dej wink

0
J'aime ❤️

🔴 Hors ligne

#2 2016-02-16 09:05:55

Mention Walid
🥉 Grade : Scout

Auxiliaire1000 messagesMembre Hospitalier
Inscription : 2013-02-07
Messages : 1 293
Likes : 2

Sémantique

Re : Automatiser une requette sur Google et récupérer la première URL

Salut à toi,

Je te conseille de te présenter d'abord sur le forum, comme le règlement l'impose, puis de revenir sur le thread smile

0
J'aime ❤️

🔴 Hors ligne

#3 2016-02-16 09:24:31

Mention mrwn211
♟️ Grade : Recruit

Disciple
Inscription : 2016-02-16
Messages : 26
Likes : 0

Re : Automatiser une requette sur Google et récupérer la première URL

C'est fait wink

0
J'aime ❤️

🔴 Hors ligne

#4 2016-02-16 11:30:13

Mention X3SED
🥉 Grade : Scout

AuxiliaireStratège10likesMembre Hospitalier
Inscription : 2015-05-13
Messages : 896
Likes : 13

Netlinking
Scraping
Automatisation Web
Comunity Management
Site Web

Re : Automatiser une requette sur Google et récupérer la première URL

@mrwn211 si ce n'est que pour avoir le premier résultat du SERP... sinon c'est que je n'ai pas bien compris ce que tu cherches :

VERSION BUILD=10022823
TAG POS=1 TYPE=DIV FORM=NAME:f ATTR=ID:sb_ifc0
TAG POS=1 TYPE=INPUT:TEXT FORM=NAME:f ATTR=NAME:q CONTENT=requete
TAG POS=1 TYPE=CITE ATTR=CLASS:_Rm EXTRACT=TXT

Faudra ajouter les lignes pour enregistrer tes données mais bon c'est simple.

PS: Ca ne fonctionnera surement pas avec les longues URL

Dernière modification par X3SED (2016-02-16 14:07:31)


_________
.

0
J'aime ❤️

🔴 Hors ligne

#5 2016-02-16 13:34:13

Mention mrwn211
♟️ Grade : Recruit

Disciple
Inscription : 2016-02-16
Messages : 26
Likes : 0

Re : Automatiser une requette sur Google et récupérer la première URL

Yes c'est bien uniquement le premier résultat du SERP qui m'intéresse !

Merci beaucoup  je vais tester ça !

0
J'aime ❤️

🔴 Hors ligne

#6 2016-02-16 13:49:23

Mention Mitsu
🥉 Grade : Scout

AuxiliaireIngénieur webStratège1000 messagesMembre Hospitalier
Inscription : 2014-11-17
Messages : 2 012
Likes : 9

Développement PHP
Développement JS
Audit et Analyse
Netlinking
Site Web

Re : Automatiser une requette sur Google et récupérer la première URL

Bonjour,
Sinon en partant d'un fichier Excel le plus simple serait peut être pour toi de scrapper directement depuis Excel ou Google Spreadsheet.

Un peu de littérature de @Razbithume et @Cyd sur ces sujets selon si tu souhaites utiliser spreadhseet ou excel, l'un le fait en natif l'autre demande l'installation de SEOtoolsForExcel.

- http://www.canyouseome.com/google-black … readsheet/
- http://cedricguerin.fr/scraper-avec-excel/

0
J'aime ❤️

🔴 Hors ligne

#7 2016-02-16 13:51:44

Mention mrwn211
♟️ Grade : Recruit

Disciple
Inscription : 2016-02-16
Messages : 26
Likes : 0

Re : Automatiser une requette sur Google et récupérer la première URL

J''utilise SEO tools pour crawler mes sites (environ une dizaine).

Mais là ce qui m'intéresse c'est de partir du nom d'une université pour récupérer l'url de la homepage de cette université, sans avoir à googliser à la main chaque école pour trouver son site.

Si je peux le faire avec SEO tools pourquoi pas!

0
J'aime ❤️

🔴 Hors ligne

#8 2016-02-16 14:14:49

Mention Mitsu
🥉 Grade : Scout

AuxiliaireIngénieur webStratège1000 messagesMembre Hospitalier
Inscription : 2014-11-17
Messages : 2 012
Likes : 9

Développement PHP
Développement JS
Audit et Analyse
Netlinking
Site Web

Re : Automatiser une requette sur Google et récupérer la première URL

Du coup tu peux le faire avec SEOtools, tu scrapp l'url google.fr/search?q=nom_université et avec le xpath tu récupère juste l'url du premier résultat, ou est le problème ?

0
J'aime ❤️

🔴 Hors ligne

#9 2016-02-16 14:25:50

Mention mrwn211
♟️ Grade : Recruit

Disciple
Inscription : 2016-02-16
Messages : 26
Likes : 0

Re : Automatiser une requette sur Google et récupérer la première URL

je peux automatiser le changement de "nom_université" dans mon scrap ? J'ai une liste de plus d'une centaine d'université à chercher c'est ça qui m'embête

0
J'aime ❤️

🔴 Hors ligne

#10 2016-02-16 14:43:59

Mention Mitsu
🥉 Grade : Scout

AuxiliaireIngénieur webStratège1000 messagesMembre Hospitalier
Inscription : 2014-11-17
Messages : 2 012
Likes : 9

Développement PHP
Développement JS
Audit et Analyse
Netlinking
Site Web

Re : Automatiser une requette sur Google et récupérer la première URL

Bah ouais comme quand tu fais le suivi de positionnement tu t'amuses pas à seter les url à scrappé une à une non ?

Exempe :
Colonne 1 nom d'université sur ton excel
Colonne 2 : url a scrappé ="http://www.google.fr/search?q="&A1
Colonne 3 : Scrapp avec xpath

A vérifier mais faudra peut être changer les espaces par des %20 pour que ça marche.

0
J'aime ❤️

🔴 Hors ligne

#11 2016-02-16 15:26:02

Mention Walid
🥉 Grade : Scout

Auxiliaire1000 messagesMembre Hospitalier
Inscription : 2013-02-07
Messages : 1 293
Likes : 2

Sémantique

Re : Automatiser une requette sur Google et récupérer la première URL

@mrwn211 voici ta macro pour firefox. Les lignes précédées d'une apostrophe sont des commentaires pour t'aider à comprendre

'd'abbord tu crées un fichier csv contenant les noms des universités'
'dans les noms tu remplaces tous les espaces par le signe +'

VERSION BUILD=8920312 RECORDER=FX
SET ERRORIGNORE YES
SET !EXTRACT_TEST_POPUP NO

'ici tu mets le bon chemin vers ton fichier
SET !DATASOURCE C:\iMacros\Datasources\noms-univ.csv

'ici tu renseignes le nombre de colones de ton fichier source
SET !DATASOURCE_COLUMNS 1

'ici tu renseignes la ligne de ton csv à laquelle la macro doit commencer
SET !LOOP 1

TAB T=1
URL GOTO=https://www.google.fr/?gws_rd=ssl#q={{!col1}}
TAG POS=1 TYPE=H3 ATTR=CLASS:"r" EXTRACT=HTM
SET !EXTRACT EVAL("'{{!EXTRACT}}'.match(/a href=\"(.*)\" onmousedown=/)[1];")
SAVEAS TYPE=EXTRACT FOLDER=C:\iMacros\Datasources\ FILE=urls.csv

0
J'aime ❤️

🔴 Hors ligne

#12 2016-02-16 15:44:57

Mention X3SED
🥉 Grade : Scout

AuxiliaireStratège10likesMembre Hospitalier
Inscription : 2015-05-13
Messages : 896
Likes : 13

Netlinking
Scraping
Automatisation Web
Comunity Management
Site Web

Re : Automatiser une requette sur Google et récupérer la première URL

@Bigorno Excellent ! Je n'avais jamais filtré mes extracts auparavant via Regex sur iMacros !

Merci pour l'astuce !


_________
.

0
J'aime ❤️

🔴 Hors ligne

#13 2016-02-16 15:52:37

Mention mrwn211
♟️ Grade : Recruit

Disciple
Inscription : 2016-02-16
Messages : 26
Likes : 0

Re : Automatiser une requette sur Google et récupérer la première URL

J'ai tester et le problème c'est qu'il arrive à me prendre la première  et la dernière entrée de mon fichier csv et me ressortir les 2 urls

Mais entre les deux il me répète n fois l'url de la deuxième entrée de mon csv.

0
J'aime ❤️

🔴 Hors ligne

#14 2016-02-16 16:23:02

Mention Walid
🥉 Grade : Scout

Auxiliaire1000 messagesMembre Hospitalier
Inscription : 2013-02-07
Messages : 1 293
Likes : 2

Sémantique

Re : Automatiser une requette sur Google et récupérer la première URL

@mrwn211 c'est rien je pense ça doit être la macro qui va plus vite que ton navigateur

Juste après la ligne ou il y a "URL GOTO=............"

ajoute celle ci


WAIT SECONDS=1
 
0
J'aime ❤️

🔴 Hors ligne

#15 2016-02-23 16:05:26

Mention mrwn211
♟️ Grade : Recruit

Disciple
Inscription : 2016-02-16
Messages : 26
Likes : 0

Re : Automatiser une requette sur Google et récupérer la première URL

Je reviens sur ce thread parce que je suis passé à l'étape d'après c'est-à-dire une fois que j'ai récup les url qui m'intéressent maintenant je veux récup le TF et le CF des url en question! roll

J'ai donc essayé de concocter une petite macro mais je ne suis pas parvenu au résultat voulu! et je n'arrive pas à trouver l'erreur dans mon code!

C'est pour ça que je viens solliciter vos conseils!

Donc j'ai mon csv dans lequel il n'y a qu'une seule colonne avec une url. Je veux que iMacro aille récupérer tour à tour les url, ensuite qu'il aille sur majestic et qu'il me récupère le TF et le CF, et qu'il me l'enregistre dans un csv.

Voici mon code (j'ai juste supprimé le mail et le mot de passe de mes logins sur majestic wink):

VERSION BUILD=8920312 RECORDER=FX
TAB T=1
URL GOTO=https://majestic.com/account/logout
TAG POS=1 TYPE=IMG ATTR=ID:login_arrow_image
TAG POS=1 TYPE=INPUT:EMAIL FORM=ID:signin ATTR=NAME:EmailAddress CONTENT
SET !ENCRYPTION NO
TAG POS=1 TYPE=INPUT:PASSWORD FORM=ID:signin ATTR=NAME:Password CONTENT=
TAG POS=1 TYPE=INPUT:SUBMIT FORM=ID:signin ATTR=ID:signin_submit
TAG POS=1 TYPE=A ATTR=TXT:Site<SP>Explorer
TAB T=1
SET !EXTRACT_TEST_POPUP NO
SET !ERRORIGNORE YES
SET !DATASOURCE R:\COMMUN\Assistant_DM\Merwan\SEO\imacro\URL_sites_partenaires.csv
SET !DATASOURCE_COLUMNS 1
SET !DATASOURCE_LINE {{!LOOP}}
SET !TIMEOUT_STEP 1
TAB T=1
URL GOTO=https://fr.majestic.com/reports/site-explorer?q={{!COL1}}
TAG POS=1 TYPE=INPUT:SUBMIT FORM=ID:urlSearch ATTR=ID:explorersubmit
ADD !EXTRACT {{!COL1}}
ADD !EXTRACT {{!URLCURRENT}}
'TF
TAG POS=1 TYPE=SPAN ATTR=class:flow_title_container EXTRACT=TXT
'CF
TAG POS=2 TYPE=SPAN ATTR=class:flow_title_container EXTRACT=TXT

SAVEAS TYPE=EXTRACT FOLDER=R:\COMMUN\Assistant_DM\Merwan\SEO\imacro FILE=TF-CF_sites_partenaires.csv

WAIT SECONDS=2

0
J'aime ❤️

🔴 Hors ligne

#16 2016-02-23 17:17:21

Mention Walid
🥉 Grade : Scout

Auxiliaire1000 messagesMembre Hospitalier
Inscription : 2013-02-07
Messages : 1 293
Likes : 2

Sémantique

Re : Automatiser une requette sur Google et récupérer la première URL

mrwn211 a écrit :

Je reviens sur ce thread parce que je suis passé à l'étape d'après c'est-à-dire une fois que j'ai récup les url qui m'intéressent maintenant je veux récup le TF et le CF des url en question!

J'ai donc essayé de concocter une petite macro mais je ne suis pas parvenu au résultat voulu! et je n'arrive pas à trouver l'erreur dans mon code!

C'est pour ça que je viens solliciter vos conseils!

T'aurais au moins pu dire "merci" pour la première étape avant de solliciter de nouveaux conseils big_smile

Pour Majestic pas besoin de te prendre trop la tête, vu que tu as déjà la liste des urls, tu as la possibilité de faire un bulk check ici https://fr.majestic.com/reports/bulk-backlink-checker

0
J'aime ❤️

🔴 Hors ligne

#17 2016-02-23 21:24:06

Mention mrwn211
♟️ Grade : Recruit

Disciple
Inscription : 2016-02-16
Messages : 26
Likes : 0

Re : Automatiser une requette sur Google et récupérer la première URL

Oh purée j'ai trop honte, j'étais persuadé d'avoir dit merci en plus...:|

Franchement je suis désolé et je remercie les initiateurs et les participants de ce forum parce que c'est une mine d'information et c'est toujours un plaisir de le le parcourir....

On m'y reprendra pas deux fois wink

Merci!

0
J'aime ❤️

🔴 Hors ligne

#18 2016-02-25 15:37:45

Mention mrwn211
♟️ Grade : Recruit

Disciple
Inscription : 2016-02-16
Messages : 26
Likes : 0

Re : Automatiser une requette sur Google et récupérer la première URL

ça a marché nickel en mode bulk, merci pour l'info big_smile

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums