Norme Afnor sur la robutesse didactique des app IA pour enseigner les maths à l'école, au collège, ou au lycée ?

En janvier 2023, ChatGPT avait échoué à résoudre l'exercice :
"Let a and b be real numbers parameters, x be a variable.
Please solve (a + 1) x = b"  [1]

En mai 2024, ChatGPT 4.0 réussit [brillamment] l'exercice :
"Let a and b be real numbers parameters, x be a variable.
Please solve (a³ + a² + a +1) * x = b" [2]

Comme d'autres, nous avons éprouvé les IA avec des échantillons d'exercices de CPGE, du Capes,...

Et nous avons pensé, comme nombreux acteurs de l'EdTech qui ont annoncé des nouvelles fonctionnalités accélérée par l'IA, que ChatGPT (et les IA) avaientt le niveau requis pour enseigner les maths à nos enfants, à l'école, au collège ou au lycée.

Et puis, ce mois de janvier 2025, accéléré par la préparation du sommet de l'IA à Paris, le cheminement de 10 d'éducatif numérique de l'association Le sens et le goût des maths a amené produite cette Khôlle particulière [3], inspirée du Kangourou des collèges 1998.

Dans la foulée de l'échec de ChatGPT à produire une résolution, l'association a Khôllé d'autres IA. 

Voici les notes (faites par un humain, et susceptibles d'évoluer [4])

• Gemini Google : 14/20 à sa deuxième Khôlle
• ChatGPT : 9/20
• DeepSeek : 11/20
• Mistral : 7/20
• Copilot : 2/20

 

Cette séquence fait émerger les questions :

• Quels sont les critères de robustesse didactique d'une app destinée à l'enseignement des maths à nos enfants, à l'école, au collège ou au lycée ?
• Comment valider la conformité d'une app, commerciale ou non commerciale, à ces critères ?
• Quelle transparence et intelligibilité d'une app, LLM ou dites "adaptatives" ?

 

Et si l'Afnor s'emparait du sujet et travaillait à une norme ? 

 

[1] ChatGPT facing high school level maths, Le sens et le goût des maths au collège, jan 2023

[2] ChatGPT-4o proficiency in high school maths, Le sens et le goût des maths au collège, mai 2024

[3] Khôller ChatGPT, DeekSeek et Mistral en maths avec l'esprit Louis-Le-Grand des années 80, Le sens et le goût des maths au collège, fév 2025

[4] Les parents de ces IA peuvent poser des recours sur ces notes et demandé une Khôlle de confirmation.