最高のWordPressスクレイパープラグイン–コンテンツを自動的にスクレイピングする方法は？

価格比較サイトやドロップシッピングストアを作成したい場合は、WordPressスクレーパープラグインが非常に便利です。 Webスクレイピングは、Webから情報を収集することで構成されます。 次に、その情報が整理またはインポートされます。

一部の人々は、スクレイピングを非倫理的または疑わしい活動と見なしています。 実際には、Webスクレイピングは、変更を把握するのに役立ちます。 価格比較サイトは、スクレイピングされたデータを使用して、訪問者に入手可能な最も正確な情報を提供できます。

利用可能なWordPressスクレイピングプラグインはたくさんあります。 この投稿では、ニーズに合った適切なツールを選択できるように、最高のWordPressコンテンツクローラープラグインとその機能のいくつかについて説明します。

最高のWordPressスクレーパープラグイン

使用できる最高のWordPressコンテンツスクレーパープラグインのいくつかを次に示します。 有料オプションですが、どれも便利な機能が満載です。

Octolooks Scrapes

Octolooks Scrapesは、これまでで最も高度なコンテンツクローラーおよびWordPressスクレーパープラグインです。 ビジュアルセレクターを使用して、任意のサイトからコンテンツを自動的に廃棄します。 動作するには、ビジュアルセレクターをターゲットページの対応するWordPressフィールドと一致させる必要があります。 プログラミングの知識や専門知識は必要ありません。

プラグインの使いやすいインターフェースは、可能な限り最高のユーザーエクスペリエンスを提供するために作成されました。 構成は、いくつかの基本的な手順で実行されます。 バックグラウンドのままにしておくと、ソースWebサイトから情報が取得されます。

クロール用の新しいタスクを作成するか、デフォルト設定を使用できます。 このプラグインをWordPressRSSアグリゲータープラグインとして使用することもできます。

Scrapesは、サポートされているすべてのフィールドに自動的に入力します。 Octolooks WordPressスクレーパープラグインは、次のページ、注目の画像、コンテンツ、およびその他の重要な情報を、ソースWebサイトの対応するフィールドと自動的に照合します。

テンプレートオプションを使用して、投稿のレイアウトをパーソナライズし、スクレイプした情報をWebサイトに表示する順序を選択できます。

正規表現の検索と置換機能を使用すると、スクレイプされたテキストから特定の単語やフレーズを削除できます。 自分の言葉を使って置き換えることもできます。 実行できるルールの数に制限はありません。

減算、加算、除算、乗算、およびその他の数学演算を実行できます。 このWordPressコンテンツクローラープラグインは、新しい数式を作成し、さまざまなカスタムフィールドの数値を組み合わせることができます。

Yandex Translate、DeepL Translate、Bing Microsoft Translate、またはGoogle Translateは、スクレイプされたコンテンツを自動的に翻訳できます。 または、Weglot（Weglotレビューを確認）やWPML（WPMLレビューを参照）などのプラグインを使用して、WordPressサイトを自動的に翻訳することもできます。

WordPress自動スピナープラグインの1つを使用して、スクレイピングされたコンテンツを変更したり、WordAi（WordAiレビューを参照）やSpin Rewriter（Spin Rewriterレビューを確認）などのサードパーティスピナーサービスに作業を任せることができます。

ソースWebサイトから取得した情報は、設定されたルールを確実に満たすようにフィルタリングできます。 コンテンツを監視して、フィルターからサイトに正常に渡されることを確認します。

WooCommerceストアのカスタムフィールドサポートとカスタム投稿タイプを使用して、商品の形でコンテンツをスクレイピングできます。

外部インポータープロ

External Importer Proプラグインを使用すると、eコマースWebサイトから製品データを抽出し、それらをWooCommerceサイトにインポートできます。 APIアクセス、CSVフィード、またはXMLは必要ありません。

プラグインは、ストアサイトから直接完全な製品データを抽出します。 あなたがする必要があるのは、特定のリストまたは製品のURLを入力することです。 かさばるCSVファイルやAPIアクセスを処理する必要はありません。 製品の入手可能性と価格は自動的に更新されます。 インポートした情報のあらゆる側面を管理できます。

アフィリエイトリンクを作成するときに、既存のアフィリエイトIDSが自動的に使用されます（設定オプションを使用して追加した場合）。 ドロップシッピングの目的で製品をインポートする場合は、ドロップシッピング製品のマージンを設定することもできます。

特徴：

• 自動同期–製品の入手可能性と価格情報は自動的に更新されます。 現在在庫がない商品は、自動的に削除することができます。 更新はバックグラウンドでスケジュールされるため、他の操作に干渉することはありません。
• 自動インポート–ターゲットサイトのリストページに新製品が表示されると、それらも自動的にWebサイトにインポートされます。 あなたは常にあなたの店で最新の製品を持っているでしょう。
• 無制限の製品–必要な数の製品をインポートする機能。 必要な数のオンラインストアサイトから無制限のアイテムをインポートできます。
• ブロックされないようにする–プラグインは、Cookieセッション、1日のクエリ割り当て、ランダムなクエリ間隔、実際のブラウザのヘッダー、robots.txtルール、ユーザーエージェントのローテーション、リクエストの調整などを読み取り、それを順守します。ブロックされました。
• アフィリエイトネットワークを使用する–ディープリンクを使用するか、動的に変更してアフィリエイトリンクを生成します。
• ドロップシッピング機能–ドロップシッピングストアを作成し、アイテムを「シンプルな」WooCommerce製品として追加できます。 価格マークアップには柔軟なルールを設定できます。
• ローカル属性とグローバル属性–グローバル属性（または分類法）として割り当てられた製品仕様を決定できます。 その後、さまざまなWooCommerceカタログフィルターとウィジェットを実装できます。
• URL別の外部画像–ローカルメディアライブラリに保存せずに外部画像を表示する機能。 外部ソースサイトをスクレイプして、サイトに表示したい注目のギャラリーや画像を引き出すことができます。 これにより、サーバー上のハードドライブストレージの量が大幅に削減されます。
• 動的カテゴリ–カテゴリパスが抽出された製品は、対応するカテゴリに自動的にインポートされます。

WordPress用のこのコンテンツクローラープラグインの詳細については、External ImporterProのレビューを確認してください。

WPコンテンツクローラー

WP Content Crawlerプラグインは、ほぼすべてのサイトから情報を自動的に抽出できます。 CSSセレクターを使用してコンテンツを検索します。 これは、ターゲットサイトのそれぞれの要素をクリックすることでCSSセレクターの検索を簡素化するVisualInspectorツールを使用します。

特徴：

• Visual Inspector –要素をクリックすると、その要素のCSSセレクターが識別されます。 使用できる代替のCSSセレクターもあります。 これらのタスクを実行するために管理パネルを離れる必要はありません。
• 投稿のクロール（スクレイプ、グラブ、保存）–投稿のURLが定義されると、このWordPressコンテンツクローラーは自動的にバックグラウンドでそれらをクロールします。 これは、設定が構成された後に発生します。
• 投稿の再クロール（更新）–投稿を自動的に再クロールして、最新のコンテンツを確実に入手できます。 古い投稿を無視し、更新間隔を選択し、特定の投稿を更新できる回数を制限することを選択できます。
• コンテンツテンプレート–ショートコードを使用して、ギャラリー、リストアイテム、タイトル、投稿コンテンツ、および抜粋テンプレートを作成できます。 オプションボックスを使用して、すべてのCSSセレクター値のテンプレートを作成できます。
• ページ付けされた投稿–ページ付けされた投稿も保存できます。 検索を単一ページの投稿に制限する必要はもうありません。
• カスタム各Webサイトの一般設定-カスタムの一般的な設定は、各ポストのために設定することができます。
• すべての画像を保存–投稿のコンテンツにすべての画像を保存できます。
• 画像をギャラリーとして保存–ターゲットページで見つかった画像をギャラリーとして保存できます。
• プロキシオプション– IPが特定のサイトにアクセスできない場合は、1つ以上のプロキシを使用してターゲットサイトから情報を取得できます。
• 自動翻訳– Amazon Translate API、Google Cloud Translation API、Microsoft Translator Text API、またはYandex Translate APIを使用して、投稿を自動的に翻訳できます。
• 自動スピニング–スピニングはクロールされたコンテンツを自動的に書き換えることができます。 これは、検索エンジンのランキングを上げるのに役立ちます。 プラグインは、Turkce SpinAPIやSpinRewriterAPIなどの有料サービスとの統合を提供します。
• WooCommerce製品の保存–属性、詳細オプション、在庫、送料、および製品価格を保存できます。 アイテムは、外部製品または単純な製品として保存できます。 アイテムを仮想として定義したり、ダウンロード可能なファイルオプションを作成したりすることもできます。
• 正規表現–「find-replace」オプションで正規表現を指定できます。 これにより、何かを見つけて置き換えるのが簡単になります。 検索をさらに絞り込むために、修飾子と区切り文字を実装することもできます。
• 「alt」および「title」属性の保存–画像を保存すると、すべての「title」および「alt」属性がターゲットサイトから自動的に取得されます。 これらの属性は、保存されたそれぞれの画像に割り当てられます。 テンプレートは、検索エンジン最適化戦略に合わせて作成できます。
• 手動クロールツール–手動クロールユーティリティを使用して、さまざまなURLを入力し、一度に複数の投稿を保存できます。 ツールのカテゴリURLを入力して、適切な投稿URLを取得することもできます。 異なる投稿を同時にクロールするようにクローラーを設定できます。

Scraper –WordPress用のコンテンツクローラープラグイン

WordPress用のScraperContent Crawlerプラグインは、コンテンツを自動的にコピーして任意のサイトから投稿するプラグインです。 独自の特徴と機能により、コンテンツの作成を別のレベルに引き上げます。

特徴：

• 任意のWebサイトをスクレイプできます– RegexおよびXpathメソッドを使用すると、必要な任意のサイトをスクレイプできます。
• 属性をスクレイピングできます–スクレイパーは要素属性を取得することもできます。 つまり、リンク、画像ソース、ビデオソースを取得できます。
• 注目画像–任意の画像を抽出して注目画像として設定できます。
• コンテンツスピナー–AISpinnerプラグインは完全にサポートされています。 このプラグインを使用して、独自のコンテンツを作成できます。
• 言語翻訳–スクレーパーはコンテンツを自動的に検出し、コンテンツを好きな言語に翻訳できます。
• ギャラリー画像–任意の画像を解析できます。 これらの画像を使用して、画像ギャラリーを作成できます。
• WooCommerce製品–すべてのWooCommerceタグもサポートされています。 これにより、WooCommerce製品をストアに簡単に追加できます。
• 数学計算–数学関数は、数値を減算、加算、除算、または乗算できます。 これは、価格計算に役立つ場合があります。
• タスクのスケジュール–さまざまな間隔で実行するタスクを割り当てることができます。
• リンクの削除–元の投稿コンテンツからリンクを削除します。
• プロキシのサポート–スクレイピングの目的でプロキシを使用できます。

クロールマティックマルチサイトスクレーパー

Crawlomatic Multisite Scraperプラグインは、ウェブサイトのクロールとスクレイピング、ポストジェネレーターの自動ブログプラグインです。 コンテンツをスクレイピングするためにAPIは必要ありません。

このプラグインはURLをクロールし（ページ上のすべてのリンクを検索します）、クロールされた各URLにアクセスしてコンテンツを抽出します。 クロールプロセスはカスタマイズ可能です。 クロールの深さ、クロール速度、クロールされた最大記事数、特定のクラスまたはIDのリンクのみをクロールするなどを設定します。

ほぼすべてのサイトからコンテンツをスクレイピングできます。 JavaScriptを使用してコンテンツをロードする場合、プラグインをPhantomJSと組み合わせて、JavaScriptで生成されたコンテンツをスクレイピングできます。

特徴：

• サイトマップのクロールは完全にサポートされています。
• ビジュアルコンテンツセレクターのサポート。
• サイトのクロールをページングできます。 記事のクロールは、ターゲットサイトの次のページから再開されます。
• クロールされたすべての製品の価格をインポートできます（WooCommerce互換サイトの場合）。 ドロップシッピングの価格はそれに応じて自動的に調整されます。
• インポートされたアイテムの価格を事前定義された数だけ上げることができます。 金額に設定された数を掛けることもできます。これは、ドロップシッパーにとって便利なオプションです。
• プロキシはクロールに使用できます。
• ダイレクトクロールができない場合（たとえば、ブロックされている場合）、Googleキャッシュから特定のページをいつでもクロールできます。
• Google翻訳がサポートされています。 サイトの記事を表示する言語を選択できます。
• テキストスピナーも完全にサポートされています。 自動的に生成されるテキストを変更できます。 必要に応じて、同義語で単語を変更できます。 SpinRewriter、The Best Spinner、TurkceSpin、WordAIなどを使用できます。
• サイトのスクレイピングとクロールは、スクレイピングされたページのロボットのHTMLヘッダーとスクレイピングされたサイトのrobots.txtファイルを尊重するように構成できます。
• 商品のタグや投稿カテゴリは自動で作成できます。
• ウェブサイトのクロールとスクレイピングを使用して、DailyMotion、Flickr、IGN、Ustream.tv、Vimeo、またはYouTubeの動画を埋め込むことができます。

WordPress自動プラグイン

WordPress自動プラグインは、ほぼすべてのサイトからWordPressに自動的に投稿できる便利なツールです。 インポートの選択肢はたくさんあります。

通常の記事に加えて、次のコンテンツをインポートすることもできます： AmazonおよびWalmart製品、YouTube、Vimeo、DailyMotionビデオ、FlickrおよびInstagram画像、eBayオークション、ソーシャルメディア投稿（ツイート、ピン、RedditおよびFacebook投稿）、 Craigslist、iTunesコンテンツ（曲、ポッドキャスト、アプリ、eBookなど）、SoundCloud曲、さらにはEnvatoアイテム。

コンテンツソースを選択し、タグ、作成者、およびカテゴリごとにフィルターオプションを適用できます。 これは、すべてのターゲット情報がインポートされるわけではないことを意味します。

プラグインが取得する画像、形式、投稿テンプレート、タイプ、ステータスを選択できます。 高度な翻訳および書き換えオプションもあります。 サイトに表示したくない特定の単語を自動的に置き換えることもできます。

投稿のステータスは、公開済みまたは下書きのいずれかに設定できます。 特定のフレーズや単語を除外することができます。 投稿を公開する前に、すべてのリンクを削除することもできます。 注目の画像を自動設定できます。

設定を変更できるため、重複するタイトル、英語以外の投稿、画像のない投稿はスキップされます。 カスタムフィールドは投稿に自動的に追加され、マルチサイトがサポートされます。

WPロボット

WP Robotは、自動ブログおよびコンテンツキュレーションプラグインです。 他のサイトからコンテンツをスクレイピングすることで、WordPressのブログ投稿を自動的に作成できます。 それはあなたの特定の専門分野やニッチに関連する情報をドリップフィードします。 これにより、常に最新のコンテンツを入手できます。

30を超えるコンテンツソースがサポートされており、各コンテンツソースは自動化されています。 それらはあなたがあなたのウェブサイトのための高品質のコンテンツを見つけるためにあなたが好むどんな組み合わせでも使うことができます。 必要なものに応じて、このツールが支援できる方法はたくさんあります。

WP Robotは、Amazon、AliExpress、Etsyなどから商品を投稿する場合、eコマースサイトからコンテンツをプルできます。プラグインは、FlickrやPixabayから画像、iTunes、YouTube、Vimeoビデオなどから曲をプルできます。

Commission JunctionとLinkshareは、WP Robotがサポートするアフィリエイトネットワークの一部であり、それらからオファーを自動的に投稿できます。 RSSフィードコンテンツをサイトに追加することもできます。 既存のモジュールが提供する以上のものが必要な場合は、これにより、さらに自由度が増します。 詳細については、WPRobotのレビューを確認してください。

WordPressスクレーパープラグイン結論

Webスクレイピング（Webハーベスティング、Webデータ抽出、および画面スクレイピングとも呼ばれます）は、さまざまなサイトから膨大な情報を取得します。 このデータは、別のWebサイトまたはデータベースに保存されます。 多くのウェブスクレイピングソリューションは追加の知識を必要とし、かなり複雑になる可能性があります。 前述のWordPressスクレイパープラグインを使用すると、コンテンツのスクレイピングは非常に簡単です。

アフィリエイトストア、価格比較サイト、取引サイト、またはドロップシッピングストアを作成する場合は、サイトに商品を追加する必要があります。 製品を手動で追加するよりも、そのプロセスを自動化する方が良い方法です。

そのためには、製品をインポートするための優れたプラグインが必要になります。 利用可能なソリューションはたくさんありますが、それらのほとんどは、製品のインポートに使用されるフィードまたはAPIを持っている必要があります。

しかし、フィードがない場合はどうなりますか？ では、どうしますか？ フィードにアクセスできない場合、サイトに製品をインポートするにはどうすればよいですか？ この場合、WordPressWebスクレイパープラグインが必要になります。