ShoppingScraperHelper
Un tracker di prezzi per la famiglia: si mette un articolo in lista, il sistema trova i negozi che lo vendono, ne controlla i prezzi e avvisa quando uno scende. Studio di fattibilità fatto, sei milestone su sette costruiti, l'ultimo in collaudo.
L’idea
Qualcosa come i noti siti di storico prezzi per Amazon, ma su più negozi insieme e solo per la famiglia: si mette un articolo in lista, il sistema trova chi lo vende, controlla i prezzi ogni poche ore e mi avvisa via email e Telegram quando uno scende sotto una soglia o c’è un’offerta vera. È solo per uso interno, sul mini PC di casa.
Prima, uno studio di fattibilità
Prima di scrivere l’applicazione ho passato una giornata a verificare se poteva funzionare, perché l’idea ha una metà facile e una difficile.
- La metà facile: leggere il prezzo da una pagina che già si conosce. La maggior parte dei negozi pubblica i propri dati in forma strutturata per i motori di ricerca (il «JSON-LD» di schema.org), quindi una sola pagina dà prezzo, valuta e disponibilità senza configurazioni per sito. Amazon richiede una regola dedicata, ma leggerlo con una richiesta semplice ha funzionato ogni volta dal Mac.
- La metà difficile: trovare lo stesso prodotto in altri negozi partendo solo dal nome.
Trovare pagine è facile; sapere che parlano dello stesso prodotto no. Cercando una RX 7900 XTX
su Amazon la maggioranza dei risultati erano la 7900 XT (un’altra scheda) e modelli più
nuovi; per una macchina del caffè, lo stesso modello in altri colori. L’abbinamento non può
essere «per somiglianza»: codici come
.Ge.Wvanno confrontati in modo rigoroso.
Come funziona l’abbinamento
Amazon non pubblica il codice EAN di un prodotto, ma la tabella dei dettagli riporta il codice
del produttore. È diventato la chiave: normalizzato (tolti punti, trattini e spazi, così
EXAM440.55.G è uguale a EXAM44055G) permette a semplici regole di decidere, senza intelligenza
artificiale. Sulla macchina del caffè tutti gli undici candidati letti sono stati classificati
bene: sei sì, la versione di seconda scelta a un prezzo più basso scartata (parole come «usato»,
«ricondizionato» e «seconda scelta» vincono sul codice), e quattro parenti con codice diverso
scartati.
Quando il codice non c’è («una qualsiasi RX 7900 XTX 24 GB», o un mouse descritto con il nome) decide un modello. Ho scelto Gemini nella fascia gratuita come giudice: riceve l’articolo e la pagina letta e risponde sì o no con una motivazione, in un formato fisso. Nelle prove ha avuto ragione diciassette volte su diciassette, con motivazioni leggibili («20 GB, non XTX 24 GB», «modello precedente», «versione business»). Quello che la fascia gratuita non include è la ricerca Google da parte del modello, quindi la ricerca dei candidati la fa SearXNG, un meta-motore di ricerca installato in casa che dà una ventina di candidati in un paio di secondi, quasi tutti negozi italiani veri una volta filtrati.
Nella prova il prezzo più basso della macchina del caffè era in un negozio a cui non avrei pensato, sedici euro meno di Amazon: esattamente il caso per cui esiste il progetto. Anche così, l’abbinamento del sistema resta una proposta che qualcuno conferma con un clic.
Cosa ho deciso di non fare
- Niente camuffamenti. Alcuni siti di comparazione prezzi rispondono 403 ai client normali. Un trucco per far sembrare il programma un browser a livello di rete passerebbe, ma sarebbe aggirare una protezione, e non voglio farlo: client semplice e un normale browser headless, nient’altro. Un sito che blocca viene segnato bloccato e sostituito da fonti legittime.
- Niente risoluzione di CAPTCHA, stesso ragionamento.
- AliExpress resta fuori dalla prima versione: la pagina era leggibile una volta su tre, fermata da uno slider anti-bot.
- Le richieste sono distanziate per dominio, una alla volta, ogni quattro-dodici ore con un po’ di casualità; in una ricerca Amazon mi ha fermato dopo una raffica di richieste, e in produzione le ricerche saranno distribuite nel tempo.
Una curiosità di rete: dal mini PC, che esce sull’altra linea in fibra, Amazon mostra il CAPTCHA a ogni richiesta semplice, mentre il browser headless legge la pagina senza problemi. La regola per quel negozio è quindi «browser, novanta secondi fra una richiesta e l’altra».
Come è fatto
Un’applicazione web e un worker in due container Docker sul mini PC, sotto WSL. I dati stanno
in SQLite dentro un volume Docker (mai su un disco Windows montato, dove il locking di SQLite non
è affidabile). Il worker tiene una coda per dominio e, prima di dire a qualcuno che un prezzo è
sceso, lo controlla due volte. Ci sono liste condivisibili, articoli aggiunti da un link o da
un nome, fonti manuali, un grafico dello storico dei prezzi e una pagina Problemi che raccoglie
le fonti che hanno smesso di rispondere. Il codice arriva al mini PC con un git bundle, perché
quella macchina non raggiunge il repository privato.
La ricerca, in pratica
Il milestone 4 ha portato nell’applicazione tutto quanto sopra. «Cerca altri negozi» cerca i
candidati con il meta-motore e con la ricerca interna di Amazon, scarta i siti di comparazione, le
pagine di recensioni, le pagine di ricerca, i doppioni e le fonti già note (anche quelle
scartate), e legge al massimo dieci pagine per ricerca, rispettando sempre il ritmo di ogni
dominio. Poi l’abbinamento: valuta, parole come usato o seconda scelta, EAN, codice del produttore
(anche quando sta nel titolo, che distingue EXAM440.55.W), e solo alla fine una chiamata a
Gemini, che non ha la ricerca Google. Senza chiave, o se Gemini sbaglia, le proposte restano «da
verificare» invece di essere inventate.
I «sì» e gli «incerto» diventano proposte con i pulsanti Conferma e Scarta (e «Conferma tutti»); i «no» sono scartati con il motivo ben visibile, e si possono comunque attivare con un clic se non sono d’accordo. Un articolo «famiglia» («una qualsiasi RX 7900 XTX») funziona diversamente: i suoi «sì» diventano subito attivi e la ricerca si ripete ogni 24 ore. L’ho provato sul mini PC: per la macchina del caffè, con il codice del produttore le sole regole hanno smistato otto sì e sei no; senza codice, Gemini ha distinto bene la XT dalla XTX, la 3S dalla 4, la versione Business, quella per Mac e i bundle. Una lezione tecnica di questo milestone: il «battito» del worker ora vive in un thread suo, perché una ricerca lunga faceva sembrare il worker fermo. Il meta-motore provvisorio della fase di prove è stato tolto subito, visto che l’applicazione ha il suo.
Avvisi, HTTPS e backup
Il milestone 5 ha dato una voce all’applicazione. Un avviso parte in tre casi: il prezzo scende sotto la soglia che ho impostato (si riarma quando il prezzo risale sopra, e una volta disarmata riscatta solo con un altro calo dell’1%); il prezzo scende molto sotto la mediana dei 30 giorni di quella fonte; oppure tocca un nuovo minimo storico, che conta solo con almeno 14 giorni di storico. Se nella stessa lettura valgono più motivi, diventano un solo messaggio. Contano solo le fonti attive, in euro e col venditore accettato («solo Amazon»). I messaggi vanno via email e Telegram, sui canali scelti da ognuno nel profilo; Telegram si collega con un codice monouso valido 30 minuti. Escono da una coda di uscita nel worker, con tre tentativi a cinque minuti uno dall’altro, e la pagina Avvisi mostra l’esito di ogni invio. I malfunzionamenti (una fonte sospesa, il meta-motore, Amazon o Gemini che non rispondono) vanno solo agli amministratori, al massimo un messaggio al giorno per problema.
Il milestone 6 l’ha reso adatto a vivere sul mini PC. L’applicazione non è più esposta direttamente: davanti c’è un web server con HTTPS su un nome interno, con un certificato Let’s Encrypt ottenuto con la stessa delega DNS-01 che uso già per gli altri servizi di casa, rinnovato ogni notte. Il nome si risolve solo dentro casa e dalla VPN, e ho verificato che l’indirizzo IP nudo venga rifiutato. Un backup alle 02:00 fa una copia coerente del database, ne tiene 14 giorni e copia l’ultima in una cartella condivisa sul NAS; un errore diventa un avviso agli amministratori, e un comando ripristina da una qualsiasi copia. Gli aggiornamenti arrivano da GitHub con uno script che fa un backup, ricostruisce, controlla che l’applicazione sia in salute e, se non lo è, torna al codice, all’immagine e al database di prima e me lo dice. Una piccola lezione: i server di test di Let’s Encrypt non sono raggiungibili da quella macchina, quindi il certificato è stato chiesto direttamente alla produzione.
I primi articoli veri, e una migrazione che ha cancellato tutto
Il milestone 7 è partito con articoli veri, e il collaudo ha mostrato bug che i test non avevano visto. Due negozi mettono nei dati strutturati il prezzo senza IVA: ora vale il prezzo «IVA inclusa» della pagina, oppure si aggiunge il 22% quando c’è solo «IVA esclusa». Il codice del produttore si confronta come parola a sé, così uno switch non abbina più il modello che inizia con lo stesso codice; per un codice esteso decide Gemini. I codici corti, come lo standard Wi-Fi nel nome di un router, non bastano più per un «sì» automatico. Se Gemini risponde 503 l’app riprova tre volte, e le proposte rimaste senza giudizio si rivalutano alla ricerca successiva. Per i familiari ci sono ora una pagina Amministrazione (crea un account con password provvisoria mostrata una volta e cambio obbligatorio al primo accesso, disattiva, reimposta; stato di worker, backup e ultime ricerche) e una pagina Guida.
Quello grave: una migrazione che ricreava la tabella degli utenti, con le foreign key attive, ha cancellato a cascata liste, articoli, fonti e storico sul mini PC. Ho recuperato tutto dal backup che lo script di aggiornamento fa subito prima di aggiornare, quindi nessuna perdita, ma solo per fortuna di progetto. La causa è semplice: i test partivano da database vuoti e il controllo di salute guardava solo se l’app rispondeva, quindi nessuno dei due poteva accorgersene. Adesso le migrazioni girano con le foreign key spente, un test esegue ogni migrazione su un database con dati (e fallisce senza la correzione), e lo script di aggiornamento confronta i conteggi prima e dopo e fa rollback se i dati calano. Una correzione minore: il web server risolve il container dell’applicazione a ogni richiesta, così un aggiornamento non lascia più un 502.
Stato
Lavori in corso. Studio di fattibilità e fase di prove fatti; milestone da 1 a 6 su 7 costruiti e installati, e il settimo, il collaudo con la famiglia, iniziato: le correzioni dai primi articoli veri, la pagina Amministrazione e la Guida ci sono. Per ora esiste solo il mio account. Adesso creo gli account dei familiari e lo usiamo per una settimana; poi un rapporto sulla settimana (avvisi giusti, nessun doppione) decide se chiudere. Il percorso di rollback dello script di aggiornamento non è ancora mai stato provato davvero, e devo ancora verificare l’accesso dal telefono via VPN.
Stack
Python · Playwright · SearXNG · Gemini · SQLite · Docker · WSL