Jak extrahovat odkazy z libovolné webové stránky pomocí PowerShell

Obsah:

Video: Jak extrahovat odkazy z libovolné webové stránky pomocí PowerShell

Video: Jak extrahovat odkazy z libovolné webové stránky pomocí PowerShell
Video: How to Change Windows 7 Taskbar Color Tutorial HD 2024, Březen
Jak extrahovat odkazy z libovolné webové stránky pomocí PowerShell
Jak extrahovat odkazy z libovolné webové stránky pomocí PowerShell
Anonim
PowerShell 3 má spoustu nových funkcí, včetně některých nových výkonných webových funkcí. Dramaticky zjednodušují automatizaci webu a dnes vám ukážeme, jak můžete z webové stránky extrahovat jednotlivé odkazy a volitelně stáhnout zdroj, pokud si to přejete.
PowerShell 3 má spoustu nových funkcí, včetně některých nových výkonných webových funkcí. Dramaticky zjednodušují automatizaci webu a dnes vám ukážeme, jak můžete z webové stránky extrahovat jednotlivé odkazy a volitelně stáhnout zdroj, pokud si to přejete.

Škrábání webu pomocí programu PowerShell

Existují dvě nové rutiny, které zjednodušují automatizaci webu, Invoke-WebRequest, který usnadňuje analýzu obsahu čitelného člověka a Invoke-RestMethod, díky čemuž je čitelnější obsah čitelný. Vzhledem k tomu, že odkazy jsou součástí HTML stránky, jsou součástí lidsky čitelných věcí. Jediné, co musíte udělat pro získání webové stránky, je použít Invoke-WebRequest a dát jej adresu URL.

Invoke-WebRequest –Uri ‘https://howtogeek.com’

Pokud posunete dolů, uvidíte, že odpověď má vlastnost propojení, můžeme použít funkci výčtu nových členů PowerShell 3 k vyfiltrování těchto výsledků.
Pokud posunete dolů, uvidíte, že odpověď má vlastnost propojení, můžeme použít funkci výčtu nových členů PowerShell 3 k vyfiltrování těchto výsledků.

(Invoke-WebRequest –Uri ‘https://howtogeek.com’).Links

Jak můžete vidět, že máte spoustu odkazů zpět, je to místo, kde musíte použít vaši fantazii, abyste našli něco jedinečného pro odfiltrování odkazů, které hledáte. Předpokládáme, že chceme mít seznam všech článků na titulní stránce.
Jak můžete vidět, že máte spoustu odkazů zpět, je to místo, kde musíte použít vaši fantazii, abyste našli něco jedinečného pro odfiltrování odkazů, které hledáte. Předpokládáme, že chceme mít seznam všech článků na titulní stránce.

((Invoke-WebRequest –Uri ‘https://howtogeek.com’).Links | Where-Object {$_.href -like “http*”} | Where class -eq “title”).Title

Další skvělá věc, kterou můžete s novými cmdlety dělat, je automatizovat každodenní stahování. Umožní se podívat na automatické škrábání obrazu dne z webových stránek Nat Geo. Za tímto účelem budeme kombinovat nové webové skripty se systémem Start-BitsTransfer.
Další skvělá věc, kterou můžete s novými cmdlety dělat, je automatizovat každodenní stahování. Umožní se podívat na automatické škrábání obrazu dne z webových stránek Nat Geo. Za tímto účelem budeme kombinovat nové webové skripty se systémem Start-BitsTransfer.

$IOTD = ((Invoke-WebRequest -Uri ‘https://photography.nationalgeographic.com/photography/photo-of-the-day/’).Links | Where innerHTML -like “*Download Wallpaper*”).href Start-BitsTransfer -Source $IOTD -Destination C:IOTD

To je vše, co je k tomu. Máte nějaké čisté triky? Dejte nám vědět v komentářích.

Doporučuje: