Meilleurs plugins WordPress Scraper – Comment gratter automatiquement le contenu ?

Si vous souhaitez créer un site de comparaison de prix ou une boutique dropshipping, les plugins de scraper WordPress peuvent être très utiles. Le grattage Web consiste à collecter des informations sur le Web. Ces informations sont ensuite organisées ou importées.

Certaines personnes considèrent le grattage comme une activité contraire à l'éthique ou discutable . En réalité, le grattage Web peut vous aider à rester au courant des changements. Les sites de comparaison de prix peuvent utiliser des données grattées pour fournir aux visiteurs les informations les plus précises disponibles.

Il existe de nombreux plugins de grattage WordPress disponibles. Dans cet article, je mentionnerai certains des meilleurs plugins d'exploration de contenu WordPress et leurs fonctionnalités afin que vous puissiez choisir le bon outil pour vos besoins.

Meilleurs plugins de grattoir WordPress

Voici quelques-uns des meilleurs plugins de grattage de contenu WordPress que vous pouvez utiliser. Bien qu'il s'agisse d'options payantes, elles regorgent toutes de fonctionnalités utiles.

Octolooks Grattage

Octolooks Scrapes est de loin le plugin de crawler de contenu et de scraper WordPress le plus avancé. Il utilise un sélecteur visuel pour supprimer automatiquement le contenu de n'importe quel site. Pour fonctionner, vous devez faire correspondre le sélecteur visuel avec le champ WordPress correspondant sur la page cible. Vous n'avez besoin d'aucune connaissance ou expertise en programmation.

L' interface facile à utiliser du plugin a été créée pour offrir la meilleure expérience utilisateur possible. La configuration s'effectue en quelques étapes de base seulement. Vous pouvez le laisser en arrière-plan et les informations seront extraites des sites Web sources.

Vous pouvez créer de nouvelles tâches pour l'exploration ou utiliser les paramètres par défaut. Vous pouvez également utiliser ce plugin comme plugin d' agrégation RSS WordPress.

Scrapes remplit automatiquement tous les champs pris en charge. Le plugin Octolooks WordPress scraper fera automatiquement correspondre la page suivante, l'image en vedette, le contenu et d'autres informations importantes avec les champs correspondants des sites Web sources.

Vous pouvez utiliser l' option de modèle pour personnaliser les mises en page des articles et choisir dans quel ordre les informations que vous récupérez apparaîtront sur votre site Web.

La fonction de recherche et de remplacement d' expression régulière peut supprimer certains mots ou expressions du texte gratté. Vous pouvez également utiliser vos propres mots pour les remplacer. Il n'y a pas de limites au nombre de règles que vous pouvez exécuter.

La soustraction, l'addition, la division, la multiplication et d'autres opérations mathématiques peuvent être exécutées. Ce plugin d'exploration de contenu WordPress peut créer de nouvelles formules et combiner des nombres dans différents champs personnalisés.

Yandex Translate, DeepL Translate, Bing Microsoft Translate ou Google Translate peuvent traduire automatiquement le contenu récupéré . Ou vous pouvez traduire automatiquement le site WordPress à l'aide de plugins tels que Weglot (consultez la revue Weglot) et WPML (voir la revue WPML).

Vous pouvez utiliser l'un des plugins WordPress auto spinner pour modifier le contenu gratté ou laisser un service de spinner tiers comme WordAi (voir la revue WordAi) et Spin Rewriter (voir la revue Spin Rewriter) faire le travail pour vous.

Les informations extraites des sites Web sources peuvent être filtrées pour s'assurer qu'elles respectent les règles définies. Surveillez le contenu pour vous assurer qu'il passe avec succès des filtres à votre site.

La prise en charge des champs personnalisés et le type de publication personnalisé de votre boutique WooCommerce peuvent être utilisés pour gratter le contenu sous forme de produits.

Importateur externe Pro

Le plug-in External Importer Pro vous permet d' extraire les données produit des sites Web de commerce électronique et de les importer dans le site WooCommerce. Aucun accès API, flux CSV ou XML n'est nécessaire.

Le plugin extrait les données complètes du produit directement à partir des sites de magasin. Tout ce que vous avez à faire est d'entrer la liste ou l'URL du produit spécifique. Il n'y a pas de fichiers CSV volumineux ou d'accès API à gérer. La disponibilité des produits et les prix sont automatiquement mis à jour . Vous pouvez gérer tous les aspects des informations importées.

Votre IDS d'affilié existant sera automatiquement utilisé (si vous les avez ajoutés via les options de configuration) lors de la création de liens d'affiliation. Vous pouvez même définir des marges sur les produits de dropshipping si vous souhaitez importer des produits à des fins de dropshipping.

Caractéristiques:

• Synchronisation automatique – Les informations sur la disponibilité et les prix des produits sont automatiquement mises à jour. Tous les produits actuellement en rupture de stock peuvent être supprimés automatiquement. Les mises à jour sont planifiées en arrière-plan afin qu'elles n'interfèrent avec aucune autre opération.
• Importation automatique – Une fois que de nouveaux produits apparaissent sur la page de liste du site cible, ils seront également automatiquement importés sur votre site Web. Vous aurez toujours les produits les plus récents dans votre magasin.
• Produits illimités – La possibilité d'importer autant de produits que vous le souhaitez. Vous pouvez importer un nombre illimité d'articles à partir d'autant de sites de boutiques en ligne que vous le souhaitez.
• Évitez d'être bloqué - Le plugin lira et respectera les sessions de cookies, les quotas de requêtes quotidiens, les intervalles de requêtes aléatoires, les en-têtes des navigateurs réels, les règles robots.txt, la rotation des agents utilisateurs, la limitation des demandes, etc., afin que vous n'obteniez pas bloqué.
• Utiliser des réseaux d'affiliation – Utilisez des liens profonds ou modifiez-les dynamiquement pour générer des liens d'affiliation.
• Fonctionnalités de dropshipping – Vous pouvez créer une boutique de dropshipping et des articles peuvent être ajoutés en tant que produits WooCommerce « simples ». Des règles flexibles peuvent être définies pour les majorations de prix.
• Attributs locaux et globaux – Vous déterminez les spécifications du produit attribuées en tant qu'attributs globaux (ou taxonomies). Vous pouvez ensuite implémenter divers filtres et widgets de catalogue WooCommerce.
• Images externes par URL – La possibilité d'afficher des images externes sans les enregistrer dans une médiathèque locale. Les sites sources externes peuvent être grattés pour extraire les galeries et les images en vedette que vous souhaitez afficher sur votre site. Cela réduira considérablement la quantité de stockage sur le disque dur de votre serveur.
• Catégories dynamiques – Les produits avec des chemins de catégorie extraits seront automatiquement importés dans la catégorie correspondante.

Pour plus d'informations sur ce plugin d'exploration de contenu pour WordPress, vous pouvez consulter mon avis sur External Importer Pro.

WP Content Crawler

Le plugin WP Content Crawler peut extraire automatiquement des informations de presque tous les sites. Il utilise des sélecteurs CSS pour trouver du contenu. Il utilise l'outil Visual Inspector qui simplifie la recherche de sélecteurs CSS en cliquant sur les éléments respectifs sur les sites cibles.

Caractéristiques:

• Inspecteur visuel – Cliquer sur un élément identifiera le sélecteur CSS pour cet élément. Vous pouvez également trouver d'autres sélecteurs CSS qui pourraient être utilisés. Vous n'avez pas besoin de quitter votre panneau d'administration pour accomplir ces tâches.
• Crawl posts (gratter, récupérer et enregistrer) – Une fois les URL de publication définies, ce robot d'exploration de contenu WordPress les explorera automatiquement en arrière-plan. Cela se produira une fois les paramètres configurés.
• Réexplorer (mettre à jour) les publications – Les publications peuvent être réexplorées automatiquement pour vous assurer que vous disposez du contenu le plus à jour. Vous pouvez choisir d'ignorer les publications plus anciennes, sélectionner votre intervalle de mise à jour et limiter le nombre de fois qu'une publication particulière peut être mise à jour.
• Modèles de contenu – Les codes abrégés peuvent être utilisés pour créer une galerie, un élément de liste, un titre, un contenu de publication et des modèles d'extraits. Vous pouvez utiliser la zone d'options pour créer des modèles pour toutes les valeurs de sélecteur CSS.
• Articles paginés – Les articles paginés peuvent également être enregistrés. Vous n'êtes plus obligé de limiter vos recherches aux publications d'une seule page.
• Paramètres généraux personnalisés pour chaque site Web – Des paramètres généraux personnalisés peuvent être définis pour chaque publication.
• Enregistrer toutes les images – Vous pouvez enregistrer toutes les images dans le contenu de la publication.
• Enregistrer les images en tant que galerie – Les images trouvées sur une page cible peuvent être enregistrées en tant que galerie.
• Options de proxy – Si votre adresse IP n'a pas accès à un site particulier, vous pouvez utiliser un ou plusieurs proxy pour extraire des informations des sites cibles.
• Traduction automatique – L'API Amazon Translate, l'API Google Cloud Translation, l'API Microsoft Translator Text ou l'API Yandex Translate peuvent être utilisées pour traduire automatiquement les articles.
• Rotation automatique – La rotation peut réécrire automatiquement le contenu analysé. Cela peut aider à augmenter votre classement dans les moteurs de recherche. Le plugin offre une intégration avec des services payants tels que Turkce Spin API et Spin Rewriter API.
• Enregistrer les produits WooCommerce - Les attributs, les options avancées, l'inventaire, l'expédition et les prix des produits peuvent être enregistrés. Les articles peuvent être enregistrés en tant que produits externes ou simples. Vous pouvez également définir des éléments comme virtuels ou créer une option de fichier téléchargeable.
• Expressions régulières – Les expressions régulières peuvent être spécifiées dans vos options « rechercher-remplacer ». Cela facilite la recherche et le remplacement de quoi que ce soit. Des modificateurs et des délimiteurs peuvent également être implémentés pour affiner davantage les recherches.
• Enregistrer les attributs "alt" et "title" - Tous les attributs "title" et "alt" sont automatiquement récupérés à partir du site cible lorsque vous enregistrez des images. Ces attributs sont ensuite attribués aux images enregistrées respectives. Des modèles peuvent être créés pour s'aligner sur vos stratégies d'optimisation des moteurs de recherche.
• Outil d'exploration manuelle – Vous pouvez saisir différentes URL pour enregistrer plusieurs publications à la fois à l'aide de l'utilitaire d'exploration manuelle. Les URL de catégorie peuvent également être saisies pour que l'outil obtienne les URL de publication appropriées. Vous pouvez configurer le robot d'exploration pour explorer différents messages simultanément.

Scraper – Plugin Content Crawler pour WordPress

Le plugin Scraper Content Crawler pour WordPress est un plugin qui copie automatiquement le contenu et publie à partir de n'importe quel site. Il amène la création de contenu à un autre niveau avec ses caractéristiques et fonctions uniques.

Caractéristiques:

• N'importe quel site Web peut être gratté - L'utilisation des méthodes Regex et Xpath signifie que vous pouvez gratter n'importe quel site que vous voulez.
• Vous pouvez gratter les attributs – Scraper peut également récupérer les attributs des éléments. Cela signifie que vous pouvez obtenir des liens, des sources d'images, des sources vidéo.
• Image en vedette – N'importe quelle image peut être extraite et définie comme image en vedette.
• Content spinner – Le plugin AI Spinner est entièrement pris en charge. Vous pouvez utiliser ce plugin pour créer un contenu unique.
• Traduction de la langue – Le grattoir détectera automatiquement le contenu, qui pourra ensuite être traduit dans la langue de votre choix.
• Images de la galerie – N'importe quelle image peut être analysée. Vous pouvez utiliser ces images pour créer des galeries d'images.
• Produits WooCommerce – Toutes les balises WooCommerce sont également prises en charge. Cela simplifie l'ajout de produits WooCommerce à votre boutique.
• Calculs mathématiques – Les fonctions mathématiques peuvent soustraire, additionner, diviser ou multiplier des nombres. Cela peut être utile dans les calculs de prix.
• Planifier des tâches – Vous pouvez affecter des tâches à effectuer à différents intervalles.
• Supprimer les liens – Supprimez les liens du contenu original de la publication.
• Prise en charge des proxys – Vous pouvez utiliser des proxys à des fins de grattage.

Grattoir multisite Crawlomatic

Le plug-in Crawlomatic Multisite Scraper est un plug-in de création de blogs automatiques pour l' exploration et le grattage de sites Web. Vous n'avez pas besoin d'API pour gratter le contenu.

Ce plugin explorera l'URL (il recherchera tous les liens sur une page), visitera et extraira le contenu de chaque URL explorée. Le processus d' exploration est personnalisable . Vous définissez la profondeur d'exploration, le taux d'exploration, le nombre maximal d'articles explorés, l'exploration uniquement des liens avec une classe ou un ID spécifique, etc.

Vous pouvez extraire le contenu de presque tous les sites. Si le contenu est chargé à l'aide de JavaScript, le plugin peut être combiné avec PhantomJS pour récupérer le contenu généré par JavaScript.

Caractéristiques:

• L'exploration des plans de site est entièrement prise en charge.
• La prise en charge du sélecteur de contenu visuel.
• Vous pouvez paginer l'exploration du site. L'exploration des articles reprendra sur la page suivante du site cible.
• Vous pouvez importer les prix de tous les produits crawlés (pour les sites compatibles WooCommerce). Les prix du dropshipping sont automatiquement ajustés en conséquence.
• Vous pouvez augmenter les prix des articles importés d'un nombre prédéfini. Vous pouvez également multiplier le montant par un nombre défini, ce qui est une option utile pour les dropshippers.
• Les proxys peuvent être utilisés pour l'exploration.
• Si vous ne pouvez pas explorer directement (si vous êtes bloqué, par exemple), vous pouvez toujours explorer la page en particulier à partir du cache Google.
• Google Traduction est pris en charge. Vous pouvez choisir la langue dans laquelle vous souhaitez que les articles de votre site apparaissent.
• Les spinners de texte sont également entièrement pris en charge. Vous pouvez modifier le texte généré automatiquement. Les mots peuvent être modifiés avec leurs synonymes si vous préférez. SpinRewriter, The Best Spinner, TurkceSpin, WordAI et d'autres peuvent être utilisés.
• Le grattage et l'exploration de sites peuvent être configurés pour respecter les en-têtes HTML des robots des pages grattées et les fichiers robots.txt des sites grattés.
• Les balises et les catégories de publication de produits peuvent être créées automatiquement.
• L'exploration et le grattage de sites Web peuvent être utilisés pour intégrer des vidéos DailyMotion, Flickr, IGN, Ustream.tv, Vimeo ou YouTube.

Plugin automatique WordPress

Le plugin WordPress Automatic est un outil pratique qui peut publier automatiquement sur WordPress à partir de presque n'importe quel site. Il existe de nombreuses sélections d'importation.

Outre les articles habituels, vous pouvez également importer le contenu suivant : produits Amazon et Walmart, vidéos YouTube, Vimeo et DailyMotion, images Flickr et Instagram, enchères eBay, publications sur les réseaux sociaux (tweets, épingles, publications Reddit et Facebook), petites annonces de Craigslist, le contenu iTunes (tels que des chansons, des podcasts, des applications, des livres électroniques), des chansons SoundCloud et même des éléments Envato.

Vous pouvez sélectionner la source de contenu et appliquer des options de filtrage par balise, auteur et catégorie. Cela signifie que toutes les informations cibles ne seront pas importées.

Vous pouvez choisir les images, le format, le modèle de publication, le type et le statut que le plugin récupérera. Il existe également des options avancées de traduction et de réécriture . Vous pouvez même remplacer automatiquement certains mots que vous ne souhaitez pas voir apparaître sur votre site.

Vous pouvez définir les statuts de publication sur publié ou brouillon. Certaines phrases ou certains mots peuvent être exclus. Vous pouvez également supprimer tous les liens avant de publier un article. Les images en vedette peuvent être définies automatiquement.

Les paramètres peuvent être modifiés, de sorte que les titres en double, les publications non anglaises et les publications sans images sont ignorées. Les champs personnalisés sont automatiquement ajoutés aux publications et les multisites sont pris en charge.

WP Robot

WP Robot est un plugin d' autoblogging et de curation de contenu . Il vous permet de créer automatiquement des articles de blog WordPress en grattant le contenu d'autres sites. Il fournit au goutte-à-goutte des informations relatives à votre spécialité ou niche particulière. Cela garantit que vous aurez toujours le contenu le plus récent.

Plus de 30 sources de contenu sont prises en charge et chaque source de contenu est automatisée. Ils peuvent être utilisés dans la combinaison que vous préférez pour trouver un contenu de qualité pour votre site Web. Selon ce dont vous avez besoin, cet outil peut vous aider de plusieurs manières.

WP Robot peut extraire du contenu de sites de commerce électronique si vous souhaitez publier des produits d'Amazon, d'AliExpress, d'Etsy, etc. Le plugin peut extraire des images de Flickr et Pixabay, des chansons d'iTunes, YouTube, des vidéos Vimeo, etc.

Commission Junction et Linkshare sont quelques-uns des réseaux d'affiliation pris en charge par WP Robot, et vous pouvez automatiquement publier des offres de leur part. Le contenu du flux RSS peut également être ajouté à votre site. Si vous voulez plus que ce que fournissent les modules existants, cela peut vous donner une liberté supplémentaire. Pour plus d'informations, n'oubliez pas de consulter mon avis sur WP Robot.

Conclusion sur les plugins de grattoir WordPress

Le grattage Web (également connu sous le nom de récolte Web, d'extraction de données Web et de grattage d'écran) acquiert de vastes informations à partir de divers sites. Ces données sont ensuite enregistrées sur un autre site Web ou une base de données. De nombreuses solutions de grattage Web nécessitent des connaissances supplémentaires et peuvent être assez compliquées. En utilisant les plugins de grattage WordPress mentionnés, le grattage de contenu est très facile.

Si vous souhaitez créer une boutique affiliée, un site de comparaison de prix, un site d'offres ou une boutique dropshipping, vous devrez ajouter des produits à votre site. Il est préférable d' automatiser ce processus au lieu d'ajouter manuellement des produits.

Pour cela, vous aurez besoin d'un bon plugin pour importer des produits . Bien qu'il existe de nombreuses solutions disponibles, la plupart d'entre elles nécessitent que vous ayez un flux ou une API qui sera utilisé pour importer des produits.

Mais que faire si vous n'avez pas de flux ? Quoi alors ? Comment importer des produits sur le site si vous n'avez pas accès aux flux ? Dans ce cas, vous aurez besoin d'un plugin de scraper Web WordPress.