Beste WordPress Scraper Plugins – Wie kann man Inhalte automatisch scrappen?

Wenn Sie eine Preisvergleichsseite oder einen Dropshipping-Shop erstellen möchten, können WordPress Scraper-Plugins sehr nützlich sein. Web-Scraping besteht darin, Informationen aus dem Web zu sammeln. Diese Informationen werden dann organisiert oder importiert.

Manche Leute halten das Schaben für eine unethische oder fragwürdige Aktivität . Tatsächlich kann Ihnen Web-Scraping dabei helfen, den Überblick über Änderungen zu behalten. Preisvergleichsseiten können Scraped-Daten verwenden, um Besuchern die genauesten verfügbaren Informationen zu liefern.

Es gibt viele WordPress Scraping-Plugins . In diesem Beitrag werde ich einige der besten WordPress-Content-Crawler-Plugins und ihre Funktionen erwähnen, damit Sie das richtige Tool für Ihre Bedürfnisse auswählen können.

Beste WordPress-Scraper-Plugins

Hier sind einige der besten WordPress Content Scraper-Plugins, die Sie verwenden können. Obwohl es sich um kostenpflichtige Optionen handelt, sind alle mit nützlichen Funktionen ausgestattet.

Octolooks Kratzer

Octolooks Scrapes ist mit Abstand der fortschrittlichste Content Crawler und WordPress Scraper Plugin. Es verwendet einen visuellen Selektor, um Inhalte von jeder Website automatisch zu entfernen. Um zu funktionieren, müssen Sie den visuellen Selektor mit dem entsprechenden WordPress-Feld auf der Zielseite abgleichen. Sie benötigen keine Programmierkenntnisse oder -kenntnisse.

Die benutzerfreundliche Oberfläche des Plugins wurde entwickelt, um die bestmögliche Benutzererfahrung zu bieten. Die Konfiguration erfolgt in nur wenigen grundlegenden Schritten. Sie können es im Hintergrund belassen, und die Informationen werden von den Quellwebsites abgerufen.

Sie können neue Aufgaben zum Crawlen erstellen oder die Standardeinstellungen verwenden. Sie können dieses Plugin auch als WordPress-RSS- Aggregator-Plugin verwenden .

Scrapes füllt automatisch alle unterstützten Felder aus. Das Octolooks WordPress Scraper-Plugin gleicht automatisch die nächste Seite, das vorgestellte Bild, den Inhalt und andere wichtige Informationen mit den entsprechenden Feldern der Quell-Websites ab.

Sie können die Vorlagenoption verwenden, um Post-Layouts zu personalisieren und auszuwählen, in welcher Reihenfolge die von Ihnen gekratzten Informationen auf Ihrer Website angezeigt werden.

Die Funktion zum Suchen und Ersetzen von regulären Ausdrücken kann bestimmte Wörter oder Phrasen aus dem ausgekratzten Text entfernen. Sie können auch Ihre eigenen Wörter verwenden, um sie zu ersetzen. Die Anzahl der Regeln, die Sie ausführen können, ist unbegrenzt.

Subtraktion, Addition, Division, Multiplikation und andere mathematische Operationen können ausgeführt werden. Dieses WordPress-Content-Crawler-Plugin kann neue Formeln erstellen und Zahlen in verschiedenen benutzerdefinierten Feldern kombinieren.

Yandex Translate, DeepL Translate, Bing Microsoft Translate oder Google Translate können Scraped- Inhalte automatisch übersetzen . Oder Sie können die WordPress-Site mit Plugins wie Weglot (siehe Weglot-Rezension) und WPML (siehe WPML-Rezension) automatisch übersetzen.

Sie können eines der WordPress-Auto-Spinner-Plugins verwenden, um Scraped-Inhalte zu ändern, oder Spinner- Dienste von Drittanbietern wie WordAi (siehe WordAi-Überprüfung) und Spin Rewriter (siehe Spin Rewriter-Überprüfung) die Arbeit für Sie erledigen lassen.

Informationen, die von Quellwebsites gescrapt wurden, können gefiltert werden, um sicherzustellen, dass sie den festgelegten Regeln entsprechen. Überwachen Sie den Inhalt, um sicherzustellen, dass er erfolgreich von den Filtern an Ihre Website weitergeleitet wird.

Die Unterstützung benutzerdefinierter Felder und der benutzerdefinierte Beitragstyp aus Ihrem WooCommerce-Shop können verwendet werden, um Inhalte in Form von Produkten zu erfassen.

Externer Importeur Pro

Mit dem External Importer Pro-Plugin können Sie Produktdaten von eCommerce-Websites extrahieren und in die WooCommerce-Site importieren. Es ist kein API-Zugriff, CSV-Feeds oder XML erforderlich.

Das Plugin extrahiert vollständige Produktdaten direkt von Store-Sites. Sie müssen lediglich den spezifischen Eintrag oder die Produkt-URL eingeben. Es müssen keine sperrigen CSV-Dateien oder API-Zugriffe verarbeitet werden . Produktverfügbarkeit und Preise werden automatisch aktualisiert . Sie können jeden Aspekt der importierten Informationen verwalten.

Beim Erstellen von Affiliate-Links wird automatisch Ihre bestehende Affiliate-ID verwendet (sofern Sie diese über die Einstellungsoptionen hinzugefügt haben). Sie können sogar Dropshipping-Produktmargen festlegen, wenn Sie Produkte für Dropshipping-Zwecke importieren möchten.

Merkmale:

• Automatische Synchronisierung – Produktverfügbarkeits- und Preisinformationen werden automatisch aktualisiert. Alle Produkte, die derzeit nicht auf Lager sind, können automatisch entfernt werden. Updates werden im Hintergrund geplant, damit sie andere Vorgänge nicht beeinträchtigen.
• Automatischer Import – Sobald neue Produkte auf der Listing-Seite der Ziel-Site erscheinen, werden sie auch automatisch auf Ihre Website importiert. Sie haben immer die aktuellsten Produkte in Ihrem Shop.
• Unbegrenzte Produkte – Die Möglichkeit, so viele Produkte zu importieren, wie Sie möchten. Sie können unbegrenzt Artikel von beliebig vielen Online-Shop-Sites importieren.
• Vermeiden Sie, blockiert zu werden – Das Plugin liest und hält sich an Cookie-Sitzungen, tägliche Abfragequoten, zufällige Abfrageintervalle, Header echter Browser, robots.txt-Regeln, User-Agent-Rotation, Anforderungsdrosselung usw verstopft.
• Verwenden Sie Affiliate-Netzwerke – Verwenden Sie Deeplinks oder ändern Sie sie dynamisch, um Affiliate-Links zu generieren.
• Dropshipping-Funktionen – Sie können einen Dropshipping-Shop erstellen und Artikel können als „einfache“ WooCommerce-Produkte hinzugefügt werden. Für Preisaufschläge können flexible Regeln festgelegt werden.
• Lokale und globale Attribute – Sie können die Produktspezifikationen bestimmen, die als globale Attribute (oder Taxonomien) zugewiesen werden. Anschließend können Sie verschiedene WooCommerce-Katalogfilter und Widgets implementieren.
• Externe Bilder nach URL – Die Möglichkeit, externe Bilder anzuzeigen, ohne sie in einer lokalen Medienbibliothek zu speichern. Externe Quellseiten können gescrapt werden, um die vorgestellten Galerien und Bilder abzurufen, die Sie auf Ihrer Website anzeigen möchten. Dadurch wird der Festplattenspeicher auf Ihrem Server erheblich reduziert.
• Dynamische Kategorien – Produkte mit extrahierten Kategoriepfaden werden automatisch in die entsprechende Kategorie importiert.

Weitere Informationen zu diesem Content-Crawler-Plugin für WordPress finden Sie in meinem External Importer Pro Review.

WP-Content-Crawler

Das WP Content Crawler-Plugin kann automatisch Informationen von fast jeder Website extrahieren. Es verwendet CSS-Selektoren , um Inhalte zu finden. Es verwendet das Visual Inspector-Tool, das das Auffinden von CSS-Selektoren durch Klicken auf die entsprechenden Elemente auf den Zielseiten vereinfacht.

Merkmale:

• Visueller Inspektor – Wenn Sie auf ein Element klicken, wird der CSS-Selektor für dieses Element identifiziert. Sie können auch alternative CSS-Selektoren finden, die verwendet werden könnten. Sie müssen Ihr Admin-Panel nicht verlassen, um diese Aufgaben auszuführen.
• Beiträge crawlen (scrape, grab and save) – Sobald die Beitrags-URLs definiert wurden, crawlt dieser WordPress-Content-Crawler sie automatisch im Hintergrund. Dies geschieht, nachdem die Einstellungen konfiguriert wurden.
• Beiträge neu crawlen (aktualisieren) – Beiträge können automatisch neu gecrawlt werden, um sicherzustellen, dass Sie über den aktuellsten Inhalt verfügen. Sie können sich dafür entscheiden, ältere Beiträge zu ignorieren, Ihr Aktualisierungsintervall auszuwählen und die Anzahl der Aktualisierungen eines bestimmten Beitrags zu begrenzen.
• Inhaltsvorlagen – Shortcodes können verwendet werden, um eine Galerie, ein Listenelement, einen Titel, einen Beitragsinhalt und Auszugsvorlagen zu erstellen. Sie können das Optionsfeld verwenden, um Vorlagen für alle CSS-Selektorwerte zu erstellen.
• Paginierte Beiträge – Paginierte Beiträge können ebenfalls gespeichert werden. Sie müssen Ihre Suche nicht mehr auf einzelne Seitenbeiträge beschränken.
• Benutzerdefinierte allgemeine Einstellungen für jede Website – Benutzerdefinierte allgemeine Einstellungen können für jeden Beitrag festgelegt werden.
• Alle Bilder speichern – Sie können alle Bilder im Inhalt des Beitrags speichern.
• Bilder als Galerie speichern – Auf einer Zielseite gefundene Bilder können als Galerie gespeichert werden.
• Proxy-Optionen – Wenn Ihre IP keinen Zugriff auf eine bestimmte Site hat, können Sie einen oder mehrere Proxys verwenden, um Informationen von Ziel-Sites abzurufen.
• Automatische Übersetzung – Amazon Translate API, Google Cloud Translation API, Microsoft Translator Text API oder Yandex Translate API können verwendet werden, um Beiträge automatisch zu übersetzen.
• Automatisches Spinnen – Spinning kann gecrawlte Inhalte automatisch neu schreiben. Dies kann helfen, Ihre Suchmaschinen-Rankings zu verbessern. Das Plugin bietet die Integration mit kostenpflichtigen Diensten wie Turkce Spin API und Spin Rewriter API.
• WooCommerce-Produkte speichern – Attribute, erweiterte Optionen, Inventar, Versand und Produktpreise können gespeichert werden. Artikel können entweder als externe oder einfache Produkte gespeichert werden. Sie können Elemente auch als virtuell definieren oder eine herunterladbare Dateioption erstellen.
• Reguläre Ausdrücke – Reguläre Ausdrücke können in Ihren „Suchen-Ersetzen“-Optionen angegeben werden. Dies macht es einfacher, alles zu finden und zu ersetzen. Modifikatoren und Trennzeichen können auch implementiert werden, um die Suche weiter zu verfeinern.
• „Alt“- und „Titel“-Attribute speichern – Alle „Titel“- und „Alt“-Attribute werden beim Speichern von Bildern automatisch von der Ziel-Site abgerufen. Diese Attribute werden dann den jeweiligen gespeicherten Bildern zugewiesen. Es können Vorlagen erstellt werden, die auf Ihre Strategien zur Suchmaschinenoptimierung abgestimmt sind.
• Manuelles Crawling-Tool – Sie können mit dem manuellen Crawling-Dienstprogramm verschiedene URLs eingeben, um mehr als einen Beitrag gleichzeitig zu speichern. Kategorie-URLs können auch für das Tool eingegeben werden, um die entsprechenden Beitrags-URLs zu erhalten. Sie können den Crawler so einstellen, dass er verschiedene Beiträge gleichzeitig crawlt.

Scraper – Content-Crawler-Plugin für WordPress

Das Scraper Content Crawler-Plugin für WordPress ist ein Plugin, das automatisch Inhalte und Beiträge von jeder Site kopiert. Es hebt die Inhaltserstellung mit seinen einzigartigen Merkmalen und Funktionen auf eine andere Ebene.

Merkmale:

• Jede Website kann gescrapt werden – Die Verwendung von Regex- und Xpath-Methoden bedeutet, dass Sie jede gewünschte Site Scrapen können.
• Sie können Attribute abkratzen – Scraper kann auch Elementattribute abrufen. Das heißt, Sie können Links, Bildquellen, Videoquellen abrufen.
• Vorgestelltes Bild – Jedes Bild kann extrahiert und als Vorgestelltes Bild festgelegt werden.
• Content Spinner – Das AI Spinner-Plugin wird vollständig unterstützt. Sie können dieses Plugin verwenden, um einzigartige Inhalte zu erstellen.
• Sprache Übersetzung - Der Schaber wird automatisch Inhalte erfassen, die dann in welcher Sprache übersetzt werden können Sie es vorziehen.
• Galeriebilder – Jedes Bild kann geparst werden. Sie können diese Bilder verwenden, um Bildergalerien zu erstellen.
• WooCommerce-Produkte – Alle WooCommerce-Tags werden ebenfalls unterstützt. Dies vereinfacht das Hinzufügen von WooCommerce-Produkten zu Ihrem Shop.
• Mathematische Berechnungen – Mathematische Funktionen können Zahlen subtrahieren, addieren, dividieren oder multiplizieren. Dies kann bei Preiskalkulationen nützlich sein.
• Aufgaben planen – Sie können Aufgaben zuweisen, die in verschiedenen Intervallen ausgeführt werden sollen.
• Links entfernen – Entfernen Sie Links aus dem Inhalt des ursprünglichen Beitrags.
• Proxy-Unterstützung – Sie können Proxys für Scraping-Zwecke verwenden.

Crawlomatic Multisite-Schaber

Das Crawlomatic Multisite Scraper-Plugin ist ein Autoblogging-Plugin für das Crawlen und Scrapen von Websites, das nach dem Generator erstellt wird. Sie benötigen keine APIs zum Scrapen von Inhalten.

Dieses Plugin crawlt die URL (es durchsucht alle Links auf einer Seite), besucht und extrahiert Inhalte aus jeder gecrawlten URL. Der Crawling- Prozess ist anpassbar . Sie legen die Crawling-Tiefe, die Crawling-Rate, die maximale Anzahl der gecrawlten Artikel fest, crawlen nur Links mit einer bestimmten Klasse oder ID usw.

Sie können Inhalte von fast jeder Website abkratzen. Wenn der Inhalt mit JavaScript geladen wird, kann das Plugin mit PhantomJS kombiniert werden, um durch JavaScript generierte Inhalte zu kratzen.

Merkmale:

• Das Crawlen von Sitemaps wird vollständig unterstützt.
• Die visuelle Inhaltsauswahlunterstützung.
• Sie können das Site-Crawling paginieren. Das Artikel-Crawling wird auf der nächsten Seite der Ziel-Site fortgesetzt.
• Sie können Preise für alle gecrawlten Produkte importieren (für WooCommerce-kompatible Websites). Die Dropshipping-Preise werden automatisch entsprechend angepasst.
• Sie können die Preise importierter Artikel um einen vordefinierten Betrag erhöhen. Sie können den Betrag auch mit einer bestimmten Zahl multiplizieren, was für Dropshipper eine nützliche Option ist.
• Proxys können zum Crawlen verwendet werden.
• Wenn Sie das Crawlen nicht direkt durchführen können (z. B. wenn Sie blockiert sind), können Sie die jeweilige Seite jederzeit aus dem Google-Cache crawlen.
• Google Übersetzer wird unterstützt. Sie können die Sprache auswählen, in der die Artikel Ihrer Website angezeigt werden sollen.
• Textspinner werden ebenfalls vollständig unterstützt. Sie können den automatisch generierten Text ändern. Wörter können mit ihren Synonymen geändert werden, wenn Sie es vorziehen. SpinRewriter, The Best Spinner, TurkceSpin, WordAI und andere können verwendet werden.
• Site-Scraping und Crawling können so konfiguriert werden, dass die HTML-Header der Robots von Scraped-Seiten und robots.txt-Dateien von Scraped-Sites berücksichtigt werden.
• Tags und Beitragskategorien von Produkten können automatisch erstellt werden.
• Das Crawlen und Scrapen von Websites kann verwendet werden, um DailyMotion-, Flickr-, IGN-, Ustream.tv-, Vimeo- oder YouTube-Videos einzubetten.

Automatisches WordPress-Plugin

Das WordPress Automatic-Plugin ist ein praktisches Tool, das von fast jeder Website automatisch Beiträge an WordPress senden kann. Es gibt viele Importmöglichkeiten.

Neben den üblichen Artikeln können Sie auch folgende Inhalte importieren: Amazon- und Walmart-Produkte, YouTube-, Vimeo- und DailyMotion-Videos, Flickr- und Instagram-Bilder, eBay-Auktionen, Social-Media-Posts (Tweets, Pins, Reddit- und Facebook-Posts), Kleinanzeigen von Craigslist, iTunes-Inhalte (wie Songs, Podcasts, Apps, eBooks), SoundCloud-Songs und sogar Envato-Elemente.

Sie können die Inhaltsquelle auswählen und Filteroptionen nach Tag, Autor und Kategorie anwenden . Dies bedeutet, dass nicht alle Zielinformationen importiert werden.

Sie können die Bilder, das Format, die Beitragsvorlage, den Typ und den Status auswählen, die das Plugin abrufen soll. Es gibt auch erweiterte Übersetzungs- und Umschreibungsoptionen . Sie können sogar bestimmte Wörter, die nicht auf Ihrer Site angezeigt werden sollen, automatisch ersetzen.

Sie können den Poststatus auf veröffentlicht oder Entwurf setzen. Bestimmte Sätze oder Wörter können ausgeschlossen werden. Sie können auch alle Links entfernen, bevor Sie einen Beitrag veröffentlichen. Ausgewählte Bilder können automatisch eingestellt werden.

Die Einstellungen können geändert werden, sodass doppelte Titel, nicht-englische Beiträge und Beiträge ohne Bilder übersprungen werden. Benutzerdefinierte Felder werden automatisch zu Beiträgen hinzugefügt und Multisites werden unterstützt.

WP-Roboter

WP Robot ist ein Autoblogging- und Content-Curation- Plugin. Es ermöglicht Ihnen, automatisch WordPress-Blog-Posts zu erstellen, indem Sie Inhalte von anderen Websites abkratzen. Es liefert Informationen zu Ihrer speziellen Spezialität oder Nische. So haben Sie immer die aktuellsten Inhalte.

Mehr als 30 Inhaltsquellen werden unterstützt, und jede Inhaltsquelle ist automatisiert. Sie können in beliebiger Kombination verwendet werden, um hochwertige Inhalte für Ihre Website zu finden. Je nachdem, was Sie brauchen, gibt es viele Möglichkeiten, wie dieses Tool Sie unterstützen kann.

WP Robot kann Inhalte von E-Commerce-Sites abrufen, wenn Sie Produkte von Amazon, AliExpress, Etsy usw. veröffentlichen möchten. Das Plugin kann Bilder von Flickr und Pixabay, Songs von iTunes, YouTube, Vimeo-Videos usw. abrufen.

Commission Junction und Linkshare sind einige der Affiliate-Netzwerke, die WP Robot unterstützt, und Sie können automatisch Angebote von ihnen veröffentlichen. RSS-Feed- Inhalte können auch zu Ihrer Site hinzugefügt werden. Wenn Sie mehr wollen, als die vorhandenen Module bieten, können Sie dadurch zusätzliche Freiheiten erhalten. Weitere Informationen finden Sie in meinem WP Robot-Test.

Fazit zu WordPress Scraper Plugins

Beim Web-Scraping (auch bekannt als Web-Harvesting, Web-Datenextraktion und Screen-Scraping) werden umfangreiche Informationen von verschiedenen Websites erfasst. Diese Daten werden dann auf einer anderen Website oder einer Datenbank gespeichert. Viele Web- Scraping-Lösungen erfordern zusätzliches Wissen und können ziemlich kompliziert sein. Mit den erwähnten WordPress Scraper-Plugins ist das Scraping von Inhalten sehr einfach.

Wenn Sie einen Affiliate-Shop, eine Preisvergleichs-Site, eine Deal-Site oder einen Dropshipping-Shop erstellen möchten, müssen Sie Ihrer Site Produkte hinzufügen. Es ist besser, diesen Prozess zu automatisieren, anstatt Produkte manuell hinzuzufügen.

Zu diesem Zweck benötigen Sie ein gutes Plugin zum Importieren von Produkten . Es gibt zwar viele Lösungen, die meisten erfordern jedoch, dass Sie über einen Feed oder eine API verfügen, die zum Importieren von Produkten verwendet werden.

Aber was ist, wenn Sie keinen Feed haben? Was dann? Wie importiere ich Produkte auf die Website, wenn du keinen Zugriff auf Feeds hast? In diesem Fall benötigen Sie ein WordPress Web Scraper-Plugin.