La paginazione è una tecnica ampiamente utilizzata nel design web che suddivide i contenuti in varie pagine, presentando così grandi dataset in un formato più facilmente digeribile per i navigatori del web.
Esistono molti metodi di paginazione impiegati da diversi sviluppatori web, come la paginazione numerata, lo scrolling infinito, ecc. Sebbene si ritenga generalmente che la paginazione migliori l’esperienza dell’utente, la cattiva notizia è che rende il web scraping più complicato.
Se stai cercando di estrarre dati da un sito web e affronti il dilemma di come gestire la paginazione durante il web scraping, siamo qui per aiutarti. Octoparse, uno strumento automatico di web scraping, supporta la gestione di siti web con diverse strutture di paginazione. Ora andremo a illustrare i vari approcci per gestire i diversi tipi di paginazione con Octoparse.
1. Paginazione con il pulsante Pagina successiva
Cliccare sul pulsante Pagina Successiva o Avanti per navigare è forse uno dei metodi di paginazione più comunemente utilizzati, rendendo facile per i visitatori spostarsi tra le pagine di un sito web. Gestire questo tipo di paginazione durante il web scraping con Octoparse è molto semplice.
Indipendentemente dal fatto che il pulsante di Pagina successiva sia mostrato sotto forma di parola – “Successiva” o “Avanti” – o come una freccia a destra – “>”, è sufficiente costruire un ciclo di paginazione per continuare a cliccare sul pulsante una volta completato il scraping della pagina corrente. (Scori di più con esempio di uso).
2. Paginazione con numeri
L’approccio per questo tipo particolare di paginazione è molto simile a quello con il pulsante di Pagina successiva. Per costruire un ciclo di paginazione, è necessario continuare a cliccare il numero della pagina successiva. Tuttavia, dato che in questo caso non si clicca su un elemento statico, individuare esattamente il numero della pagina successiva è cruciale.
Octoparse utilizza XPath (XML Path Language, che usa una sintassi simile a un “percorso” per identificare e navigare tra i nodi di un documento XML) per localizzare qualsiasi elemento. Il punto chiave qui è modificare l’XPath del ciclo di paginazione per assicurarsi che individui sempre il numero della pagina successiva una volta che la pagina corrente è stata completamente elaborata.
3. Scorrimento infinito
Lo scorrimento infinito, in inglese l’infinite scrolling, è una tecnica utilizzata frequentemente dai siti web con JavaScript o AJAX per caricare dinamicamente contenuti aggiuntivi man mano che gli utenti scorrono verso il basso. Invece di usare i pulsanti di paginazione “precedente/successiva”, molti siti optano per lo scorrimento infinito, evitando che le persone debbano cliccare attraverso numerose pagine. Lo scorrimento infinito è comunemente usato da siti con grandi quantità di dati, come le piattaforme di social media tipo Facebook e Twitter.
Octoparse gestisce lo scorrimento infinito simulando il comportamento dello scrolling. A seconda della quantità di contenuti che si desidera caricare, è sufficiente impostare un tempo e un metodo di scorrimento appropriati, e la pagina scorrerà automaticamente (controlla un esempio qui).
4. Paginazione con il pulsante Carica altri
La navigazione con il pulsante “Carica altri” è un’altra alternativa popolare allo scorrimento infinito. In questo caso, c’è un pulsante specifico, come carica altri o vedi altri o load more in inglese, per attivare il caricamento dei contenuti tramite AJAX quando si raggiunge il fondo della pagina.
Octoparse gestisce il pulsante carica altri con un ciclo di paginazione, simile a come affronta il pulsante successiva, cliccando ripetutamente su un singolo pulsante. La differenza, però, è che con il pulsante Carica altri è necessario far funzionare il ciclo di paginazione fino a quando il pulsante di caricamento scompare, prima di passare alla fase successiva. Una volta caricati tutti i contenuti desiderati, il processo di scraping è semplice come quello di una singola pagina (vedi maggiori dettagli qui).
Conclusione
La paginazione riduce la complessità della pagina e migliora la leggibilità dei contenuti web, ma va affrontata con approcci diversi per ottenere la massima efficienza. Se non gestiamo correttamente la paginazione, si rischia di perdere dati e sprecare tempo. Utilizzando uno strumento di web scraping come Octoparse, è possibile evitare le complessità dello scraping web!
