Bu Güzel Çorba Python Eğitimi ile Bir Web Sitesini Kazıyın

Güzel Çorba, açık kaynaklı bir Python kütüphanesidir. XML ve HTML dosyalarının içeriğini sıyırmak için gezinme ayrıştırıcılarını kullanır. Birkaç analitik amaç için verilere ihtiyacınız var. Ancak, Python ve web kazıma konusunda yeniyseniz, Python'un Güzel Çorba kitaplığı bir web kazıma projesi için denemeye değer.

Python'un açık kaynaklı Güzel Çorba kitaplığıyla, bir web sayfasının herhangi bir bölümünü veya öğesini, süreç üzerinde maksimum kontrolle kazıyarak veri alabilirsiniz. Bu yazıda, bir web sitesini kazımak için Güzel Çorba'yı nasıl kullanabileceğinize bakıyoruz.

Güzel Çorba Nasıl Kurulur ve Nasıl Başlanır?

Devam etmeden önce, bu güzel Çorbası öğretici makalesinde, biz Python 3 ve kullanacağız beautifulsoup4 , Güzel Çorbası son sürümünü. Projenizi ve paketlerini yerel makinenizdekilerden yalıtmak için bir Python sanal ortamı oluşturduğunuzdan emin olun .

Başlamak için sanal ortamınıza Güzel Çorba kitaplığını yüklemelisiniz. Beautiful Soup, tüm işletim sistemleri için bir PyPi paketi olarak mevcuttur, yani terminal üzerinden pip install beautysoup4 komutu ile kurabilirsiniz .

Ancak, Debian veya Linux kullanıyorsanız, yukarıdaki komut yine de çalışır, ancak apt-get install python3-bs4 çalıştırarak paket yöneticisiyle yükleyebilirsiniz .

Güzel Çorba, URL'leri doğrudan kazımaz. Yalnızca hazır HTML veya XML dosyalarıyla çalışır. Bu, bir URL'yi doğrudan ona iletemeyeceğiniz anlamına gelir. Bu sorunu çözmek için, Güzel Çorba'ya beslemeden önce Python'un istek kitaplığı ile hedef web sitesinin URL'sini almanız gerekir.

Bu kitaplığı kazıyıcınız için kullanılabilir hale getirmek için , terminal aracılığıyla pip kurulum istekleri komutunu çalıştırın .

XML ayrıştırıcı kitaplığını kullanmak için pip install lxml'i çalıştırın .

Kazımak İstediğiniz Web Sayfasını İnceleyin

Aşina olmadığınız herhangi bir web sitesini kazımadan önce, en iyi uygulama, öğelerini incelemektir. Bunu, tarayıcınızı geliştirici moduna geçirerek yapabilirsiniz. Google Chrome kullanıyorsanız, Chrome DevTools'u kullanmak oldukça kolaydır .

Ancak, HTML etiketleri, nitelikleri, sınıfları ve kimlikleri hakkında daha fazla bilgi edinmek için bir web sayfasını incelemek gerekir. Bunu yapmak, bir web sayfasının temel öğelerini ve içerik türlerini ortaya çıkarır.

Ayrıca, bir web sitesinden tam olarak istediğiniz verileri ve bunları nasıl elde edebileceğinizi elde etmek için kullanabileceğiniz en iyi stratejileri geliştirmenize yardımcı olur.

Güzel Çorba ile Web Sitelerinin Verilerini Nasıl Kazıyabilirsiniz?

Artık her şey hazır ve hazır olduğuna göre, tercih edilen bir kod düzenleyiciyi açın ve ona seçilen bir ad vererek yeni bir Python dosyası oluşturun. Ancak, Python'u komut satırı üzerinden çalıştırmaya aşina değilseniz, Jupyter Notebook gibi web tabanlı IDE'leri de kullanabilirsiniz .

Ardından, gerekli kitaplıkları içe aktarın:

from bs4 import BeautifulSoup import requests

İlk olarak, istek kitaplığının nasıl çalıştığını görelim:

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com') print(website)

Yukarıdaki kodu çalıştırdığınızda, isteğinizin başarılı olduğunu belirten bir 200 durumu döndürür. Aksi takdirde, başarısız bir GET isteğini gösteren bir 400 durumu veya diğer bazı hata durumları alırsınız.

Parantez içindeki web sitesinin URL'sini her zaman hedef URL'nizle değiştirmeyi unutmayın.

Birlikte web sitesi aldıktan sonra olsun isteği, daha sonra şimdi XML yerleşik kullanarak HTML veya XML dosyası olarak içeriğini okuyabilir, hangi güzel çorba için karşıdan karşıya geçmek veya HTML ayrıştırıcı, seçtiğiniz biçime bağlı olarak.

Bunu HTML ayrıştırıcısıyla nasıl yapacağınızı görmek için sonraki kod parçacığına bir göz atın:

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com') soup = BeautifulSoup(website.content, 'html.parser') print(soup)

Yukarıdaki kod, içeriğiyle birlikte bir web sayfasının tüm DOM'sini döndürür.

Ayrıca prettify yöntemini kullanarak DOM'nin daha uyumlu bir sürümünü elde edebilirsiniz . Çıktısını görmek için bunu deneyebilirsiniz:

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') print(soup.prettify())

Ayrıca, bir web sayfasının saf içeriğini, öğesini .text yöntemiyle yüklemeden de alabilirsiniz :

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') print(soup.text)

Bir Web Sayfasının İçeriğini Etiket Adına Göre Nasıl Kazıyabilirsiniz?

Ayrıca Güzel Çorba ile belirli bir etiketteki içeriği kazıyabilirsiniz. Bunu yapmak için Güzel Çorba kazıyıcı isteğinize hedef etiketin adını eklemeniz gerekir.

Örneğin, bir web sayfasının h2 etiketlerindeki içeriği nasıl alabileceğinizi görelim .

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') print(soup.h2)

Yukarıdaki kod parçacığında, çorba.h2 , web sayfasının ilk h2 öğesini döndürür ve gerisini yok sayar. Tüm h2 öğelerini yüklemek için yerleşik find_all işlevini ve Python'un for döngüsünü kullanabilirsiniz:

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') h2tags = soup.find_all('h2') for soups in h2tags: print(soups)

Bu kod bloğu, tüm h2 öğelerini ve içeriklerini döndürür . Ancak, .string yöntemini kullanarak içeriği etiketi yüklemeden alabilirsiniz :

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') h2tags = soup.find_all('h2') for soups in h2tags: print(soups.string)

Bu yöntemi herhangi bir HTML etiketi için kullanabilirsiniz. Tek yapmanız gereken h2 etiketini beğendiğinizle değiştirmek.

Bununla birlikte, bir etiket listesini find_all yöntemine ileterek daha fazla etiketi kazıyabilirsiniz . Örneğin, aşağıdaki kod bloğu a , h2 ve başlık etiketlerinin içeriğini sıyırır :

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') tags = soup.find_all(['a', 'h2', 'title']) for soups in tags: print(soups.string)

Kimliği ve Sınıf Adını Kullanarak Bir Web Sayfası Nasıl Kazılır?

DevTools ile bir web sitesini inceledikten sonra, her bir öğeyi DOM'sinde tutan id ve sınıf nitelikleri hakkında daha fazla bilgi edinmenizi sağlar. Bu bilgiye sahip olduğunuzda, bu yöntemi kullanarak o web sayfasını kazıyabilirsiniz. Bir hedef bileşenin içeriği veri tabanından döngüye girdiğinde kullanışlıdır.

Kimlik ve sınıf sıyırıcılar için find yöntemini kullanabilirsiniz . Aksine find_all yöntem döndürdüğü bir iterable bir amacı, Bul tek bir non-iterable hedef hakkında yöntem işler kimliği , bu durumda. Yani, onunla for döngüsünü kullanmanıza gerek yok .

Kimliği kullanarak aşağıdaki bir sayfanın içeriğini nasıl kazıyabileceğinize dair bir örneğe bakalım:

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') id = soup.find(id = 'enter the target id here') print(id.text)

Bunu bir sınıf adı için yapmak için kimliği class ile değiştirin . Ancak, sınıf yazmak , Python'un onu bir anahtar kelime olarak gördüğü için doğrudan sözdizimi karışıklığına neden olur. Bu hatayı atlamak için sınıfın önüne şöyle bir alt çizgi yazmanız gerekir: class_ .

Özünde, kimliği içeren satır şöyle olur:

my_classes = soup.find(class_ = 'enter the target class name here') print(my_classes.text)

Bununla birlikte, ilgili kimliği veya sınıfıyla belirli bir etiket adını çağırarak da bir web sayfasını kazıyabilirsiniz:

data = soup.find_all('div', class_ = 'enter the target class name here') print(data)

Güzel Çorba ile Yeniden Kullanılabilir Bir Kazıyıcı Nasıl Yapılır

Bazı etiketlerin içeriğini ve kimliklerini alan yeniden kullanılabilir bir kazıyıcı yapmak için bir sınıf oluşturabilir ve önceki tüm kodu o sınıftaki bir işlevde bir araya getirebilirsiniz. Bunu, beş bağımsız değişkeni kabul eden bir işlev oluşturarak yapabiliriz: bir URL, iki etiket adı ve bunlara karşılık gelen kimlikler veya sınıflar.

Bir e-ticaret sitesinden gömlek fiyatlarını sıyırmak istediğinizi varsayalım. Aşağıdaki örnek sıyırıcı sınıfı, karşılık gelen kimlikleri veya sınıfları ile fiyat ve gömlek etiketlerini çıkarır ve ardından sütun adları olarak 'Fiyat' ve Gömlek_adı olan bir Pandas veri çerçevesi olarak döndürür.

Henüz yapmadıysanız, kurulum pandalarını terminal aracılığıyla pip yaptığınızdan emin olun .

import pandas as pd class scrapeit: try: def scrape(website=None, tag1=None, id1=None, tag2=None, id2=None): if not (website and tag1 and id1 and tag2 and id2)==None: try: page = requests.get(website) soup = BeautifulSoup(page.content, 'html.parser') infotag1 = soup.find_all(tag1, id1) infotag2 = soup.find_all(tag2, id2) priced = [prices.text for prices in infotag1] shirt = [shirts.text for shirts in infotag2] data = { 'Price':priced, 'Shirt_name':shirt} info = pd.DataFrame(data, columns=['Price', 'Shirt_name']) print(info) except: print('Not successful') else: print('Oops! Please enter a website, two tags and thier corresponding ids') except: print('Not successful!')

Az önce yaptığınız kazıyıcı yeniden kullanılabilir bir modüldür ve onu başka bir Python dosyasında içe aktarabilir ve kullanabilirsiniz. Çağırmak için sıyrık kendi sınıfından işlevini kullanmak scrapeit.scrape ( 'Web Sitesi URL'si', 'price_tag', 'price_id', 'shirt_tag', 'shirt_id') . URL'yi ve diğer parametreleri sağlamazsanız, else ifadesi bunu yapmanızı ister.

Bu scaper'ı başka bir Python dosyasında kullanmak için şu şekilde içe aktarabilirsiniz:

from scraper_module import scrapeit scrapeit.scrape('URL', 'price_tag', 'price_id', 'shirt_tag', 'shirt_id')

Not: scraper_module , kazıyıcı sınıfını tutan Python dosyasının adıdır.

Ayrıca , bundan en iyi şekilde nasıl yararlanabileceğinizi derinlemesine incelemek istiyorsanız Güzel Çorba belgelerine de göz atabilirsiniz.

Güzel Çorba, Değerli Bir Web Kazıma Aracıdır

Beautiful Soup, kazıma sırasında verilerinizin nasıl geçtiğini kontrol etmenizi sağlayan güçlü bir Python ekran kazıyıcıdır. Fiyatlandırma, pazar eğilimleri ve daha fazlası gibi rakiplerin web verilerine erişmenizi sağladığı için değerli bir iş aracıdır.

Bu makalede bir etiket kazıyıcı yapmış olsak da, daha kullanışlı kazıma araçları yapmak için bu güçlü Python kitaplığı ile oynamaya devam edebilirsiniz.