Contaminazione dei Benchmark

La contaminazione dei benchmark si riferisce al problema in cui i dati di valutazione di un benchmark appaiono nei dati di addestramento di un modello, accidentalmente o intenzionalmente. Di conseguenza, il modello sembra performare meglio su quel benchmark di quanto effettivamente generalizzi a dati non visti — ha 'memorizzato' le risposte piuttosto che acquisire le capacità sottostanti. La contaminazione è una sfida sistemica: i moderni modelli linguistici si addestrano su vasti dati web; i benchmark popolari (MMLU, HumanEval, GSM8K, MATH) sono liberamente disponibili online, rendendo l'inclusione accidentale probabile. Incentivi economici creano anche condizioni per la contaminazione intenzionale. I sintomi includono: punteggi benchmark notevolmente migliori rispetto alle prestazioni su compiti reali; l'effetto 'MMLU shuffle' dove il riordino casuale delle scelte di risposta altera significativamente i punteggi — un segnale di contaminazione ben documentato. Le contromisure: benchmark privati tenuti segreti prima del rilascio; benchmark dinamici con domande generate giornalmente; rilevamento della contaminazione tramite analisi di sovrapposizione n-gram; affidarsi a valutazioni esterne indipendenti. Organizzazioni come METR, HELM e ARC Evals sviluppano metodologie sempre più resistenti alla contaminazione.