Zdrap stronę internetową za pomocą tego pięknego samouczka Pythona zupy

Beautiful Soup to biblioteka Pythona o otwartym kodzie źródłowym. Wykorzystuje parsery nawigacyjne do zeskrobywania zawartości plików XML i HTML. Potrzebujesz danych do kilku celów analitycznych. Jednakże, jeśli jesteś nowy w Pythonie i web scrapingu, biblioteka Beautiful Soup Pythona jest warta wypróbowania w projekcie web scrapingu.

Dzięki otwartej bibliotece Beautiful Soup w Pythonie możesz uzyskać dane przez zbieranie dowolnej części lub elementu strony internetowej z maksymalną kontrolą nad procesem. W tym artykule przyjrzymy się, jak wykorzystać Beautiful Soup do zeskrobania strony internetowej.

Jak zainstalować piękną zupę i zacząć z nią korzystać?

Zanim przejdziemy dalej, w tym samouczku Beautiful Soup użyjemy Pythona 3 i beautifulsoup4 , najnowszej wersji Beautiful Soup. Upewnij się, że tworzysz środowisko wirtualne Pythona, aby odizolować projekt i jego pakiety od tych na komputerze lokalnym.

Aby rozpocząć, musisz zainstalować bibliotekę Beautiful Soup w swoim środowisku wirtualnym. Beautiful Soup jest dostępny jako pakiet PyPi dla wszystkich systemów operacyjnych, więc możesz go zainstalować za pomocą polecenia pip install beautifulsoup4 za pośrednictwem terminala.

Jeśli jednak korzystasz z Debiana lub Linuxa, powyższe polecenie nadal działa, ale możesz je zainstalować za pomocą menedżera pakietów, uruchamiając apt-get install python3-bs4 .

Piękna zupa nie pobiera bezpośrednio adresów URL. Działa tylko z gotowymi plikami HTML lub XML. Oznacza to, że nie możesz bezpośrednio przekazać do niego adresu URL. Aby rozwiązać ten problem, musisz uzyskać adres URL docelowej strony internetowej z biblioteką żądań Pythona przed przesłaniem go do Beautiful Soup.

Aby udostępnić tę bibliotekę dla swojego skrobaka, uruchom polecenie pip install request za pośrednictwem terminala.

Aby użyć biblioteki parsera XML, uruchom pip install lxml, aby ją zainstalować.

Sprawdź stronę internetową, którą chcesz zeskrobać

Przed zeskrobaniem jakiejkolwiek strony internetowej, której nie znasz, najlepszą praktyką jest sprawdzenie jej elementów. Możesz to zrobić, przełączając przeglądarkę w tryb programisty. Korzystanie z Chrome DevTools jest dość łatwe, jeśli korzystasz z Google Chrome.

Jednak konieczne jest sprawdzenie strony internetowej, aby dowiedzieć się więcej o jej tagach HTML, atrybutach, klasach i identyfikatorach. W ten sposób ujawniają się podstawowe elementy strony internetowej i jej typy zawartości.

Pomaga również opracować najlepsze strategie, których możesz użyć, aby uzyskać dokładne dane ze strony internetowej i jak je uzyskać.

Jak zeskrobać dane strony internetowej za pomocą pięknej zupy?

Teraz, gdy masz już wszystko gotowe, otwórz preferowany edytor kodu i utwórz nowy plik Pythona, nadając mu wybraną nazwę. Możesz jednak również skorzystać z internetowych IDE, takich jak Jupyter Notebook, jeśli nie znasz obsługi Pythona za pomocą wiersza poleceń.

Następnie zaimportuj niezbędne biblioteki:

from bs4 import BeautifulSoup import requests

Najpierw zobaczmy, jak działa biblioteka żądań:

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com') print(website)

Po uruchomieniu powyższego kodu zwraca on status 200, co oznacza, że ​​żądanie zostało pomyślnie wykonane. W przeciwnym razie otrzymasz status 400 lub kilka innych statusów błędów, które wskazują na nieudane żądanie GET.

Pamiętaj, aby zawsze zastąpić adres URL witryny w nawiasie docelowym adresem URL.

Po uzyskaniu witryny z żądaniem pobierania , przekazujesz ją do Beautiful Soup, która może teraz odczytać zawartość jako pliki HTML lub XML za pomocą wbudowanego parsera XML lub HTML, w zależności od wybranego formatu.

Spójrz na następny fragment kodu, aby zobaczyć, jak to zrobić za pomocą parsera HTML:

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com') soup = BeautifulSoup(website.content, 'html.parser') print(soup)

Powyższy kod zwraca cały DOM strony internetowej wraz z jej zawartością.

Możesz również uzyskać bardziej wyrównaną wersję DOM, używając metody upiększania . Możesz to wypróbować, aby zobaczyć jego wyniki:

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') print(soup.prettify())

Możesz również uzyskać czystą zawartość strony internetowej bez ładowania jej elementu za pomocą metody .text :

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') print(soup.text)

Jak zeskrobać zawartość strony internetowej według nazwy tagu?

Możesz także zeskrobać zawartość w konkretnym tagu za pomocą Pięknej zupy. Aby to zrobić, musisz podać nazwę tagu docelowego w swoim żądaniu zgarniacza Piękna zupa.

Na przykład zobaczmy, jak uzyskać zawartość w tagach h2 strony internetowej.

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') print(soup.h2)

W powyższym fragmencie kodu soup.h2 zwraca pierwszy element h2 strony internetowej i ignoruje resztę. Aby załadować wszystkie elementy h2 , możesz użyć wbudowanej funkcji find_all i pętli for w Pythonie:

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') h2tags = soup.find_all('h2') for soups in h2tags: print(soups)

Ten blok kodu zwraca wszystkie elementy h2 i ich zawartość. Możesz jednak pobrać zawartość bez ładowania tagu, używając metody .string :

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') h2tags = soup.find_all('h2') for soups in h2tags: print(soups.string)

Możesz użyć tej metody dla dowolnego tagu HTML. Wszystko, co musisz zrobić, to zastąpić tag h2 tym, który Ci się podoba.

Możesz jednak również zeskrobać więcej tagów, przekazując listę tagów do metody find_all . Na przykład poniższy blok kodu zeskrobuje zawartość znaczników a , h2 i title :

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') tags = soup.find_all(['a', 'h2', 'title']) for soups in tags: print(soups.string)

Jak zeskrobać stronę internetową za pomocą identyfikatora i nazwy klasy

Po sprawdzeniu strony internetowej za pomocą DevTools, możesz dowiedzieć się więcej o atrybutach id i class, które przechowują każdy element w jego DOM. Gdy masz tę informację, możesz zeskrobać tę stronę za pomocą tej metody. Jest to przydatne, gdy zawartość docelowego komponentu wymyka się z bazy danych.

Możesz użyć metody find dla zgarniaczy identyfikatora i klasy. W przeciwieństwie do metody find_all , która zwraca obiekt iterowalny, metoda find działa na pojedynczym, nieiterowalnym miejscu docelowym, którym w tym przypadku jest identyfikator . Nie musisz więc używać z nim pętli for .

Spójrzmy na przykład, jak możesz zeskrobać zawartość poniższej strony za pomocą identyfikatora:

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') id = soup.find(id = 'enter the target id here') print(id.text)

Aby to zrobić za pomocą nazwy klasy, wymień id z klasą . Jednak pisanie klasy bezpośrednio powoduje zamieszanie składniowe, ponieważ Python postrzega ją jako słowo kluczowe. Aby ominąć ten błąd, musisz napisać podkreślenie przed klasą w ten sposób: class_ .

W istocie linia zawierająca identyfikator staje się:

my_classes = soup.find(class_ = 'enter the target class name here') print(my_classes.text)

Możesz jednak również zeskrobać stronę internetową, wywołując określoną nazwę tagu z odpowiadającym jej identyfikatorem lub klasą:

data = soup.find_all('div', class_ = 'enter the target class name here') print(data)

Jak zrobić skrobak wielokrotnego użytku z piękną zupą?

Możesz utworzyć klasę i umieścić cały poprzedni kod razem w funkcji w tej klasie, aby utworzyć skrobak wielokrotnego użytku, który pobiera zawartość niektórych tagów i ich identyfikatory. Możemy to zrobić, tworząc funkcję, która przyjmuje pięć argumentów: adres URL, dwie nazwy znaczników i odpowiadające im identyfikatory lub klasy.

Załóżmy, że chcesz zeskrobać cenę koszul z witryny e-commerce. Poniższa przykładowa klasa skrobaka wyodrębnia tagi ceny i koszuli z odpowiadającymi im identyfikatorami lub klasami, a następnie zwraca je jako ramkę danych Pandy z nazwami kolumn „Cena” i Nazwa_koszulki.

Upewnij się, że instalujesz pandy przez terminal, jeśli jeszcze tego nie zrobiłeś.

import pandas as pd class scrapeit: try: def scrape(website=None, tag1=None, id1=None, tag2=None, id2=None): if not (website and tag1 and id1 and tag2 and id2)==None: try: page = requests.get(website) soup = BeautifulSoup(page.content, 'html.parser') infotag1 = soup.find_all(tag1, id1) infotag2 = soup.find_all(tag2, id2) priced = [prices.text for prices in infotag1] shirt = [shirts.text for shirts in infotag2] data = { 'Price':priced, 'Shirt_name':shirt} info = pd.DataFrame(data, columns=['Price', 'Shirt_name']) print(info) except: print('Not successful') else: print('Oops! Please enter a website, two tags and thier corresponding ids') except: print('Not successful!')

Skrobaczka, którą właśnie stworzyłeś, jest modułem wielokrotnego użytku i możesz go zaimportować i użyć w innym pliku Pythona. Aby wywołać funkcję scrape z jej klasy, użyj scrapeit.scrape('Adres URL witryny', 'price_tag', 'price_id', 'shirt_tag', 'shirt_id') . Jeśli nie podasz adresu URL i innych parametrów, instrukcja else poprosi o to.

Aby użyć tego scaper w innym pliku Pythona, możesz go zaimportować w ten sposób:

from scraper_module import scrapeit scrapeit.scrape('URL', 'price_tag', 'price_id', 'shirt_tag', 'shirt_id')

Uwaga: scraper_module to nazwa pliku Pythona zawierającego klasę scraper.

Możesz również sprawdzić dokumentację Pięknej zupy, jeśli chcesz zagłębić się w to, jak najlepiej ją wykorzystać.

Piękna zupa to cenne narzędzie do skrobania sieci

Beautiful Soup to potężny program do zgarniania ekranu w Pythonie, który zapewnia kontrolę nad tym, w jaki sposób Twoje dane przechodzą podczas skrobania. Jest to cenne narzędzie biznesowe, ponieważ umożliwia dostęp do danych internetowych konkurencji, takich jak ceny, trendy rynkowe i nie tylko.

Chociaż w tym artykule stworzyliśmy narzędzie do skrobania tagów, nadal możesz bawić się tą potężną biblioteką Pythona, aby tworzyć bardziej przydatne narzędzia do skrobania.