Web Scraping con Python: Estrarre Dati da Siti Web

Il Web Scraping è il processo automatizzato di estrazione di informazioni da siti web. Python è il linguaggio perfetto per questo compito, grazie a due librerie fondamentali: Requests e Beautiful Soup.

Nota importante: Fai sempre scraping in modo etico. Rispetta i termini di servizio del sito, non sovraccaricare i loro server con troppe richieste e non usare i dati per scopi illeciti. Molte delle stesse tecniche sono usate per l'OSINT.

Passo 1: Scaricare la Pagina Web con `Requests`

La libreria `Requests` semplifica enormemente l'invio di richieste HTTP. Per scaricare il contenuto HTML di una pagina, basta una riga:

import requests

URL = "https://quotes.toscrape.com/"
response = requests.get(URL)
html_content = response.text

Passo 2: Analizzare l'HTML con `Beautiful Soup`

Ora abbiamo l'HTML grezzo. `Beautiful Soup` è una libreria che trasforma questo HTML in un oggetto Python navigabile, permettendoci di trovare e estrarre i contenuti usando i selettori CSS o i tag HTML.

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, "html.parser")

Passo 3: Estrarre i Dati

Ispezionando il codice HTML della pagina, possiamo identificare i tag e le classi che contengono i dati che ci interessano. Beautiful Soup ci permette di selezionarli in modo molto simile a jQuery.

# Trova tutti i div con la classe "quote"
quotes = soup.find_all("div", class_="quote")

for quote in quotes:
    # Per ogni "quote", trova lo span con la classe "text" e quello con la classe "author"
    text = quote.find("span", class_="text").get_text()
    author = quote.find("small", class_="author").get_text()
    print(f'"{text}" - {author}')

Quando Requests e Beautiful Soup Non Bastano

Questo approccio funziona perfettamente per siti web statici. Se una pagina carica i suoi contenuti dinamicamente con JavaScript, Requests scaricherà solo l'HTML iniziale vuoto. In questi casi, è necessario usare strumenti più avanzati come Selenium o Playwright, che sono in grado di controllare un vero browser per attendere il caricamento completo della pagina prima di estrarre i dati.