Hur man genomsöker en stor webbplats och extraherar data med Screaming Frog's SEO Spider

Läsningstid: 3 minuter

Vi hjälper flera kunder just nu med Marketo-migreringar. Eftersom stora företag använder företagslösningar som detta är det som ett spindelnät som väver sig in i processer och plattformar över år ... tills den punkten att företag inte ens är medvetna om varje kontaktpunkt.

Med en automatiseringsplattform för företagsmarknadsföring som Marketo är formulär ingången för data på webbplatser och målsidor. Företag har ofta tusentals sidor och hundratals formulär på sina webbplatser som behöver identifieras för uppdatering.

Ett bra verktyg för detta är Screaming Frog's SEO Spider... kanske den mest populära plattformen på marknaden för genomsökning, granskning och extrahering av data från en webbplats. Plattformen är funktionsrik och erbjuder hundratals alternativ för praktiskt taget alla uppgifter du behöver.

Screaming Frog SEO Spider: Crawl And Extract

En nyckelfunktion i Screaming Frog SEO Spider är att du kan utföra anpassade extraktioner baserat på regex, XPath, eller CSSPath detaljer. Detta är extremt användbart eftersom vi vill genomsöka klientens webbplatser och granska och fånga MunchkinID och FormId-värden från sidor.

Öppna med verktyget Konfiguration> Anpassad> Extraktion för att identifiera element som du vill extrahera.

Extraktionsskärmen möjliggör praktiskt taget obegränsad datainsamling:

Regex, XPath och CSSPath Extraction

För MunchkinID finns identifieraren inom formulärskriptet som finns på sidan:

<script type='text/javascript' id='marketo-fat-js-extra'>
    /* <![CDATA[ */
    var marketoFat = {
        "id": "123-ABC-456",
        "prepopulate": "",
        "ajaxurl": "https:\/\/yoursite.com\/wp-admin\/admin-ajax.php",
        "popout": {
            "enabled": false
        }
    };
    /* ]]> */

Vi tillämpar sedan a Regex-regel för att fånga id från skriptetiketten som är infogad på sidan:

Regex: ["']id["']: *["'](.*?)["']

För formulär-ID är uppgifterna i en inmatningstagg inom Marketo-formuläret:

<input type="hidden" name="formid" class="mktoField mktoFieldDescriptor" value="1234">

Vi tillämpar en XPath-regel för att fånga id: n från formuläret som är infogat på sidan. XPath-frågan letar efter ett formulär med en inmatning med namnet formid, sedan sparar extraktionen värde:

XPath: //form/input[@name="formid"]/@value

Screaming Frog SEO Spider Javascript Rendering

Ett annat bra alternativ för Screaming Frog är att du inte är begränsad till HTML på sidan, du kan återge JavaScript som kommer att infoga formulär på din webbplats. Inom Konfiguration> Spindelkan du gå till fliken Rendering och aktivera detta.

Det tar naturligtvis lite längre tid att genomsöka webbplatsen, men du får formulär som återges klientsidan av JavaScript samt formulär som är infogade på serversidan.

Även om detta är en mycket specifik applikation, är det otroligt användbart eftersom du arbetar med stora webbplatser. Du vill absolut granska var dina formulär är inbäddade på hela webbplatsen.

Ladda ner Screaming Frog SEO Spider