Kikis Laman Web Dengan Tutorial Soup Python Yang Cantik Ini

Beautiful Soup ialah perpustakaan Python sumber terbuka. Ia menggunakan penghurai navigasi untuk mengikis kandungan fail XML dan HTML. Anda memerlukan data untuk beberapa tujuan analisis. Walau bagaimanapun, jika anda baru menggunakan Python dan mengikis web, perpustakaan Beautiful Soup Python patut dicuba untuk projek mengikis web.

Dengan perpustakaan Beautiful Soup sumber terbuka Python, anda boleh mendapatkan data dengan mengikis mana-mana bahagian atau elemen halaman web dengan kawalan maksimum ke atas proses tersebut. Dalam artikel ini, kami melihat cara anda boleh menggunakan Sup Cantik untuk mengikis tapak web.

Cara Memasang Sup Cantik dan Bermula Dengannya

Sebelum meneruskan, dalam artikel tutorial Beautiful Soup ini, kami akan menggunakan Python 3 dan beautifulsoup4 , versi terkini Beautiful Soup. Pastikan anda mencipta persekitaran maya Python untuk mengasingkan projek anda dan pakejnya daripada yang terdapat pada mesin tempatan anda.

Untuk bermula, anda mesti memasang perpustakaan Beautiful Soup dalam persekitaran maya anda. Beautiful Soup tersedia sebagai pakej PyPi untuk semua sistem pengendalian, jadi anda boleh memasangnya dengan arahan pip install beautifulsoup4 melalui terminal.

Walau bagaimanapun, jika anda menggunakan Debian atau Linux, arahan di atas masih berfungsi, tetapi anda boleh memasangnya dengan pengurus pakej dengan menjalankan apt-get install python3-bs4 .

Beautiful Soup tidak mengikis URL secara langsung. Ia hanya berfungsi dengan fail HTML atau XML siap pakai. Ini bermakna anda tidak boleh menghantar URL terus ke dalamnya. Untuk menyelesaikan masalah itu, anda perlu mendapatkan URL tapak web sasaran dengan perpustakaan permintaan Python sebelum menyuapkannya kepada Beautiful Soup.

Untuk menjadikan perpustakaan itu tersedia untuk pengikis anda, jalankan perintah permintaan pemasangan pip melalui terminal.

Untuk menggunakan pustaka parser XML, jalankan pip install lxml untuk memasangnya.

Periksa Halaman Web yang Anda Ingin Kikis

Sebelum mengikis mana-mana tapak web yang anda tidak biasa, amalan terbaik adalah untuk memeriksa elemennya. Anda boleh melakukan ini dengan menukar penyemak imbas anda kepada mod pembangun. Ia agak mudah untuk menggunakan Chrome DevTools jika anda menggunakan Google Chrome.

Walau bagaimanapun, adalah perlu untuk memeriksa halaman web untuk mengetahui lebih lanjut tentang teg HTML, atribut, kelas dan idnya. Melakukannya mendedahkan elemen teras halaman web dan jenis kandungannya.

Ia juga membantu anda membangunkan strategi terbaik yang boleh anda gunakan untuk mendapatkan data tepat yang anda inginkan daripada tapak web dan cara anda boleh mendapatkannya.

Cara Mengikis Data Tapak Web Dengan Sup Cantik

Sekarang setelah anda mempunyai segala-galanya dan bersedia, buka editor kod pilihan dan buat fail Python baharu, memberikannya nama yang dipilih. Walau bagaimanapun, anda juga boleh menggunakan IDE berasaskan web seperti Jupyter Notebook jika anda tidak biasa menjalankan Python melalui baris arahan.

Seterusnya, import perpustakaan yang diperlukan:

from bs4 import BeautifulSoup import requests

Mula-mula, mari lihat cara perpustakaan permintaan berfungsi:

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com') print(website)

Apabila anda menjalankan kod di atas, ia mengembalikan status 200, menunjukkan bahawa permintaan anda berjaya. Jika tidak, anda mendapat status 400 atau beberapa status ralat lain yang menunjukkan permintaan GET yang gagal.

Ingat untuk sentiasa menggantikan URL tapak web dalam kurungan dengan URL sasaran anda.

Sebaik sahaja anda mendapat tapak web dengan permintaan dapatkan , anda kemudian menghantarnya ke Beautiful Soup, yang kini boleh membaca kandungan sebagai fail HTML atau XML menggunakan penghurai XML atau HTML terbina dalamnya, bergantung pada format pilihan anda.

Lihat coretan kod seterusnya ini untuk melihat cara melakukan ini dengan penghurai HTML:

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com') soup = BeautifulSoup(website.content, 'html.parser') print(soup)

Kod di atas mengembalikan keseluruhan DOM halaman web dengan kandungannya.

Anda juga boleh mendapatkan versi DOM yang lebih sejajar dengan menggunakan kaedah prettify . Anda boleh mencuba ini untuk melihat outputnya:

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') print(soup.prettify())

Anda juga boleh mendapatkan kandungan tulen halaman web tanpa memuatkan elemennya dengan kaedah .text :

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') print(soup.text)

Cara Mengikis Kandungan Halaman Web dengan Nama Teg

Anda juga boleh mengikis kandungan dalam teg tertentu dengan Sup Cantik. Untuk melakukan ini, anda perlu memasukkan nama tag sasaran dalam permintaan pengikis Sup Cantik anda.

Sebagai contoh, mari lihat bagaimana anda boleh mendapatkan kandungan dalam teg h2 halaman web.

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') print(soup.h2)

Dalam coretan kod di atas, soup.h2 mengembalikan elemen h2 pertama halaman web dan mengabaikan yang lain. Untuk memuatkan semua h2 elemen, anda boleh menggunakan find_all terbina dalam fungsi dan untuk gelung Python:

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') h2tags = soup.find_all('h2') for soups in h2tags: print(soups)

Blok kod itu mengembalikan semua elemen h2 dan kandungannya. Walau bagaimanapun, anda boleh mendapatkan kandungan tanpa memuatkan teg dengan menggunakan kaedah .string :

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') h2tags = soup.find_all('h2') for soups in h2tags: print(soups.string)

Anda boleh menggunakan kaedah ini untuk sebarang teg HTML. Apa yang anda perlu lakukan ialah menggantikan tag h2 dengan yang anda suka.

Walau bagaimanapun, anda juga boleh mengikis lebih banyak teg dengan menghantar senarai teg ke dalam kaedah find_all . Sebagai contoh, blok kod di bawah mengikis kandungan a , h2 dan teg tajuk :

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') tags = soup.find_all(['a', 'h2', 'title']) for soups in tags: print(soups.string)

Cara Mengikis Halaman Web Menggunakan ID dan Nama Kelas

Selepas memeriksa tapak web dengan DevTools, ia membolehkan anda mengetahui lebih lanjut tentang id dan atribut kelas yang memegang setiap elemen dalam DOMnya. Sebaik sahaja anda mempunyai maklumat itu, anda boleh mengikis halaman web itu menggunakan kaedah ini. Ia berguna apabila kandungan komponen sasaran keluar daripada pangkalan data.

Anda boleh menggunakan kaedah cari untuk id dan pengikis kelas. Berbeza dengan kaedah find_all yang mengembalikan objek boleh lelar, kaedah find berfungsi pada sasaran tunggal yang tidak boleh diulang, iaitu id dalam kes ini. Jadi, anda tidak perlu menggunakan gelung for dengannya.

Mari lihat contoh bagaimana anda boleh mengikis kandungan halaman di bawah menggunakan id:

from bs4 import BeautifulSoup import requests website = requests.get('http://somewebpages.com/') soup = BeautifulSoup(website.content, 'html.parser') id = soup.find(id = 'enter the target id here') print(id.text)

Untuk melakukan ini untuk nama kelas, gantikan id dengan class . Walau bagaimanapun, kelas menulis secara langsung mengakibatkan kekeliruan sintaks kerana Python melihatnya sebagai kata kunci. Untuk memintas ralat itu, anda perlu menulis garis bawah di hadapan kelas seperti ini: class_ .

Pada dasarnya, baris yang mengandungi id menjadi:

my_classes = soup.find(class_ = 'enter the target class name here') print(my_classes.text)

Walau bagaimanapun, anda juga boleh mengikis halaman web dengan memanggil nama teg tertentu dengan id atau kelas yang sepadan:

data = soup.find_all('div', class_ = 'enter the target class name here') print(data)

Cara Membuat Pengikis Boleh Digunakan Semula Dengan Sup Cantik

Anda boleh mencipta kelas dan meletakkan semua kod sebelumnya bersama-sama ke dalam fungsi dalam kelas itu untuk membuat pengikis boleh guna semula yang mendapat kandungan beberapa teg dan idnya. Kita boleh melakukan ini dengan mencipta fungsi yang menerima lima argumen: URL, dua nama teg dan id atau kelas yang sepadan.

Andaikan anda ingin mengikis harga baju dari laman web e-dagang. Kelas pengikis contoh di bawah mengekstrak teg harga dan baju dengan id atau kelas yang sepadan dan kemudian mengembalikannya sebagai bingkai data Pandas dengan 'Harga' dan Shirt_name sebagai nama lajur.

Pastikan anda memasang panda melalui terminal jika anda belum melakukannya.

import pandas as pd class scrapeit: try: def scrape(website=None, tag1=None, id1=None, tag2=None, id2=None): if not (website and tag1 and id1 and tag2 and id2)==None: try: page = requests.get(website) soup = BeautifulSoup(page.content, 'html.parser') infotag1 = soup.find_all(tag1, id1) infotag2 = soup.find_all(tag2, id2) priced = [prices.text for prices in infotag1] shirt = [shirts.text for shirts in infotag2] data = { 'Price':priced, 'Shirt_name':shirt} info = pd.DataFrame(data, columns=['Price', 'Shirt_name']) print(info) except: print('Not successful') else: print('Oops! Please enter a website, two tags and thier corresponding ids') except: print('Not successful!')

Pengikis yang baru anda buat ialah modul boleh guna semula dan anda boleh mengimport dan menggunakannya dalam fail Python yang lain. Untuk memanggil fungsi scrape daripada kelasnya, anda menggunakan scrapeit.scrape('Website URL', 'price_tag', 'price_id', 'shirt_tag', 'shirt_id') . Jika anda tidak memberikan URL dan parameter lain, pernyataan else menggesa anda untuk berbuat demikian.

Untuk menggunakan scaper itu dalam fail Python lain, anda boleh mengimportnya seperti ini:

from scraper_module import scrapeit scrapeit.scrape('URL', 'price_tag', 'price_id', 'shirt_tag', 'shirt_id')

Nota: scraper_module ialah nama fail Python yang memegang kelas pengikis.

Anda juga boleh menyemak dokumentasi Beautiful Soup jika anda ingin menyelami lebih mendalam tentang cara anda boleh memanfaatkannya sebaik mungkin.

Sup Cantik Adalah Alat Mengikis Web Berharga

Beautiful Soup ialah pengikis skrin Python yang berkuasa yang memberi anda kawalan ke atas cara data anda datang semasa mengikis. Ia adalah alat perniagaan yang berharga, kerana ia boleh memberi anda akses kepada data web pesaing seperti harga, arah aliran pasaran dan banyak lagi.

Walaupun kami telah membuat pengikis teg dalam artikel ini, anda masih boleh bermain-main dengan pustaka Python yang berkuasa ini untuk membuat alat mengikis yang lebih berguna.