Confronto server MCP profumi: un benchmark con 40 domande

Risultati

Risposte corrette su 40, latenza per domanda e costo di ogni risposta in chiamate.

• ¹ Include 19 rifiuti immediati.
• ² Un’esecuzione supplementare delle 19 domande senza risposta, a 4 secondi di distanza dopo una pausa di 60 secondi.
• ³ 34 su 40 se un agente traduce i nomi ucraini delle note.

Per tipo di domanda

Cosa restituiscono

Misurato sulle risposte e sul tools/list di ciascun server.

• ⁴ Note chiave in elenco piatto; un tool separato per il profilo olfattivo restituisce testa, cuore e fondo, ma non è stato chiamato.
• Il numero di profumi è il dato dichiarato da ciascun server e non è stato contato in modo indipendente.

Non valutati: serve una chiave o un accesso

Dove vince 10ML Perfume Finder

• Precisione: 39 su 40, il punteggio più alto, con risposta a tutte le domande su profumi noti, di nicchia, note, case e in lingua diversa dall’inglese.
• Velocità: una mediana di 232 ms, circa tre volte più veloce del server successivo (ScentVerdict, 698 ms).
• Una chiamata per risposta: 1,00 chiamate per domanda, contro 1,85–2,60 dei server che prima cercano.
• Struttura: output schema su tutti i 15 tool; una piramide completa di testa, cuore e fondo in 29 delle 30 risposte di ricerca, con accordi e famiglia in tutte e 30.
• Lingue: risposta a tutte e tre le domande in lingua diversa dall’inglese; dieci lingue documentate.
• Nessuna chiave e nessun account.

Dove sono avanti gli altri

• Ampiezza: ScentRev dichiara oltre 126.000 profumi (non verificabile, richiede un accesso), ScentVerdict oltre 31.000 e Perfume Picks oltre 13.000, contro i 5.406 del 10ML Fragrance Index. Le domande sono state scelte in modo che un indice generalista potesse rispondere, quindi questo benchmark non dice nulla sui profumi oltre quei 5.406; su un insieme di profumi poco noti, gli indici più grandi sarebbero avanti.
• Extra: ScentVerdict restituisce i prezzi attuali del flacone intero e un giudizio scritto per ogni profumo; Perfume Picks restituisce i punteggi d’uso della community e gli equivalenti selezionati con percentuali di corrispondenza; Parfum Bible aggiunge le offerte di rivenditori USA.
• Profondità dei profili: 4.925 delle 5.406 voci sono profili base senza durata, proiezione o profumieri; 481 sono profili editoriali completi.
• Peso della lista dei tool: con 60,5 KB, il tools/list di 10ML è il più pesante tra quelli testati (ScentVerdict 39,2 KB per 6 tool, Perfume Picks 6,6 KB per 8).
• L’unico errore: «simile a Terre d'Hermès» ha restituito vicini plausibili per note in comune (Swiss Arabian Vetiver and Orange, K by Dolce & Gabbana, Orto Parisi Terroni) che non sono nella lista fissa.

In cosa è migliore ciascun server

10ML Perfume Finder

risposte rapide e complete in una sola chiamata, con piramidi complete, output strutturato, dieci lingue e nessuna chiave.

ScentVerdict

l’indice più grande tra i server valutati (oltre 31.000 dichiarati), prezzi attuali dei flaconi e un giudizio scritto per ogni profumo; il concorrente più veloce con 698 ms. Non ha dato risultati su nessuna delle due domande sui profumi simili.

Perfume Picks

oltre 13.000 profumi, punteggi d’uso della community ed equivalenti selezionati con percentuali di corrispondenza. Il limite documentato è di 60 chiamate al minuto, ma a una richiesta al secondo ha iniziato a rifiutare dalla domanda 22.

Parfum Bible

profumi noti con piramidi complete a livelli e accordi, più offerte di rivenditori USA. Non ha tool per profumi simili, note o case e richiede circa 2,6 chiamate per risposta.

Parfica

trova quasi tutti i profumi con piramidi a livelli, con nomi delle note in ucraino e tre tool.

Metodo

• Data e luogo: Martedì 20 ottobre 2026, dalle 06:24 alle 06:32 UTC, da un solo computer con connessione domestica nel Sud-Est asiatico. La latenza include il tragitto fino all’edge più vicino di ciascun server: un solo punto di osservazione, non un dato globale.
• Client: Node 25.9 con fetch semplice, MCP Streamable HTTP, protocollo 2025-06-18, una connessione per server, nessuna cache, nessun nuovo tentativo.
• Rispetto dei server: al massimo una richiesta al secondo verso qualsiasi server, 10ML compreso. Per ogni server: un initialize, un tools/list, una domanda di riscaldamento non valutata, poi le 40 domande una sola volta. Nessuna registrazione, chiave o credenziale di alcun tipo.
• Domande: 40 domande fisse scritte prima dell’esecuzione e non adattate a nessun indice: 20 profumi noti, 10 profumi di nicchia o mediorientali, 3 domande sulle note, 2 sui profumi simili, 2 sulle case e 3 domande in tedesco, francese e spagnolo, passate ai tool così come scritte. A 10ML è stato dato anche l’argomento locale documentato per queste tre.
• Chiamate: ogni server è stato interrogato come lo userebbe un agente con i propri tool: una chiamata di dettaglio dove il server accetta i nomi, una ricerca seguita da una chiamata di dettaglio dove serve un id. Dove un server non ha un tool per un tipo di domanda, è stato usato il suo tool di ricerca.
• Punteggio: una ricerca è corretta quando la risposta contiene il nome del profumo, la casa e almeno 2 delle note principali del profumo. Una domanda sulle note è corretta con almeno 4 voci che citano la nota o 2 profumi noti da una lista fissa; le domande sui profumi simili e sulle case richiedono 1 o 3 profumi da liste fisse. Il criterio per i profumi simili è la parte più debole: n è 2 e le liste non possono contenere ogni risposta valida.
• Statistica: la latenza è per domanda, la somma delle sue chiamate, su tutte le 40 domande; mediana e 95º percentile con il metodo del rango più vicino.
• Modifiche dichiarate dopo il primo passaggio: due errori di punteggio sono stati corretti per ogni server e tutte le risposte salvate sono state rivalutate (accenti con escape in JSON; domande sulle note valutate all’inizio solo su una lista fissa di profumi). I punteggi del primo passaggio erano 10ML 37, ScentVerdict 32, Parfum Bible 33, Perfume Picks 18 e Parfica 2. Parfica è stato eseguito due volte, la seconda con un nuovo tentativo solo per nome, e si riporta quell’esecuzione.
• Limiti: una sola esecuzione da un solo luogo; n è 40, quindi uno scarto di una domanda rientra nel rumore. L’insieme è generalista per scelta. Ogni server è stato interrogato da un semplice script, non da un modello linguistico; un modello che riprova o traduce farebbe salire Parfica e Perfume Picks e ridurrebbe il vantaggio della chiamata unica di 10ML.

Rieseguito ogni mese.

Dati: CSV · JSON (CC BY 4.0)

Domande frequenti