Come misuriamo Ed

Che cosa si può contare

Ed è un tutor educativo con intelligenza artificiale, e come ogni intelligenza artificiale può sbagliare: per questo lo misuriamo.

Il Codice di condotta lo dice alla sua prima voce, «La persona prima della risposta»: il successo di Ed non si misura soltanto dalla correttezza di una risposta. Ed funziona davvero quando aiuta lo studente a capire, a farsi un metodo, a diventare meno dipendente dall’aiuto esterno: cose che un numero non dice, e di cui rispondono anche gli adulti che seguono ogni studente.

Qui raccontiamo la parte che si può contare: quanto Ed sbaglia, e che cosa facciamo perché sbagli meno.

Che cosa guardiamo

• —Le risposte in chat. Se sono giuste, se tengono il filo della conversazione, se sono adatte a chi le legge.
• —Le attività. Test, mappe, esercizi, interrogazioni e partite: se le domande hanno una risposta, se i voti e le correzioni sono giusti.
• —Il giudizio sul lavoro dello studente. Quando lo studente chiede «è giusto?», se Ed lo dice bene: nei conti, nelle risposte mandate in foto, nell’analisi della frase.
• —La leggibilità. Se una risposta si legge bene al grado di scuola di chi la riceve.
• —Quello che serve davvero. Se una funzione aiuta gli studenti. Quella che non serve si spegne, anche dopo settimane di lavoro.

Le regole

• —Situazioni vere. Le prove si fanno sulle domande, le foto e le richieste che arrivano davvero a Ed. Non su esempi scritti apposta, che dimostrano quello che si vuole.
• —Il prima e il dopo. Un cambiamento si confronta con quello che c’era prima: sugli stessi casi, o, dove non si può, su due periodi con la stessa regola. Entra in Ed solo se supera la regola decisa prima: di solito deve essere meglio, a volte basta che non sia peggio.
• —Senza sapere quale è quale. Nei confronti le risposte delle due versioni si mescolano, e si valutano senza sapere quale è la nuova. La chiave si apre solo alla fine.
• —La regola prima del risultato. Prima di guardare i numeri scriviamo che cosa deve succedere perché un cambiamento entri. Dopo, la regola non si sposta.
• —Anche quello che non sappiamo. Se una differenza è piccola o i casi sono pochi, lo scriviamo. Una direzione non è ancora una certezza.
• —Dove la risposta è una sola, con certezza. Quando una risposta si può controllare con certezza, la controlliamo. Quando non si può, non fingiamo di sapere.
• —Ogni giorno, non solo prima di un cambiamento. Ogni giorno una parte delle risposte di Ed viene controllata, e quello che troviamo diventa una correzione.

Che cosa non pubblichiamo

Pubblichiamo i risultati, non come è fatto Ed: le scelte con cui lo costruiamo restano nostre. Non diciamo nemmeno quanto è grande: dove servirebbe il numero degli studenti o delle risposte, scriviamo una proporzione. E degli studenti nei risultati ci sono solo conteggi, mai un nome né una frase.

I report

Ogni report racconta un periodo, coi suoi numeri, e dopo la pubblicazione non cambia: i numeri nuovi vanno nel report successivo. Si legge qui e si scarica in PDF.