https://frosthead.com

Un ordinateur peut-il vraiment noter un essai?

À l'avenir, les ordinateurs seront nos médecins, nos soldats, nos pompiers et nos enseignants. Ils diagnostiquent les maladies, nourrissent nos bébés, protègent nos maisons et enseignent à nos enfants. Une entreprise élabore déjà un programme informatique de classement des essais permettant de soulager les professeurs et les évaluateurs de tests standardisés. Mais un ordinateur peut-il vraiment évaluer un essai soigneusement conçu?

La société edX le pense certainement. Ils proposent déjà des cours en ligne aux établissements, ainsi qu'un système d'intelligence artificielle permettant de noter les essais des étudiants. John Markoff du New York Times explique:

Anant Agarwal, ingénieur électricien et président d’EdX, a prédit que le logiciel de classement instantané serait un outil pédagogique utile, permettant aux étudiants de passer des tests et d’écrire des essais et d’améliorer la qualité de leurs réponses. Il a déclaré que la technologie offrirait des avantages distincts par rapport au système de classe traditionnel, où les étudiants attendent souvent des jours ou des semaines pour obtenir leurs notes.

«Il est extrêmement utile d’apprendre avec un feedback instantané», a déclaré le Dr Agarwal. "Les étudiants nous disent qu'ils apprennent beaucoup mieux avec un retour instantané."

Une autre question est de savoir si la rétroaction instantanée est de haute qualité. Les sceptiques de ces gradateurs informatiques ne sont pas difficiles à trouver. Un groupe, qui s'intitule «Professionnels contre la notation automatique des essais d'élèves dans l'évaluation des enjeux élevés», a publié une déclaration et collecte des signatures pour s'opposer à l'attribution d'une tâche de notation à un ordinateur. Ils écrivent:

Faisons face aux réalités de la notation automatique des essais. Les ordinateurs ne peuvent pas «lire». Ils ne peuvent pas mesurer l'essentiel d'une communication écrite efficace: exactitude, raisonnement, pertinence des preuves, bon sens, éthique, argument convaincant, organisation significative, clarté et véracité, entre autres.

La pétition demande aux législateurs de cesser de compter sur des ordinateurs pour le classement et aux écoles de cesser d’acheter des systèmes de notation automatisés.

Agarwal reconnaît que le logiciel pourrait être amélioré et espère qu'il permettra de mieux distinguer un bon essai d'un essai médiocre. «C’est un apprentissage automatique et le chemin à parcourir est long, mais c’est assez bon et l’avantage est énorme», a-t-il déclaré au New York Times . En outre, dit-il, quiconque pense que les enseignants sont cohérents se trompe. "Nous avons constaté que la qualité de la notation est similaire à la variation que vous constatez d'un instructeur à l'autre."

En fait, certaines études ont suggéré que les ordinateurs et les enseignants produisent le même type de variabilité dans les scores. Une étude réalisée par Mark Shermis de l'Université d'Akron a conclu que "la notation automatique d'une dissertation était capable de produire des scores similaires à ceux obtenus par l'homme pour des écritures à réponse étendue avec des performances égales pour le genre d'écriture à la fois source et traditionnel". L'étude de Shermis, cependant, n'a jamais été publié dans un journal et d'autres chercheurs ont mis en doute ses affirmations. Les C. Perelman du MIT ont répondu au papier de Shermis en déclarant qu '«un examen attentif de la méthodologie du papier et des jeux de données utilisés démontre qu'une telle affirmation n'est pas corroborée par les données de l'étude».

Le groupe de professionnels cite également plusieurs articles suggérant que les ordinateurs ne sont pas aussi efficaces que les enseignants pour évaluer les élèves.

Très probablement, la question est de savoir si ces ordinateurs sont suffisamment bons pour être classés, et non s'ils le seront jamais. Mais ce ne sont pas seulement les enseignants qui auront plus de technologie de pointe, les étudiants aussi. Si les étudiants apprennent ce que le programme recherche, ils peuvent simplement écrire un programme eux-mêmes pour écrire à leur tour l’essai parfait basé sur les spécifications du logiciel. Peut-être qu'à l'avenir, les enseignants informatisés noteront leurs élèves.

Plus de Smithsonian.com:

L'Estonie enseigne à 100% de ses premiers élèves à coder
Enseigner aux flics à voir

Un ordinateur peut-il vraiment noter un essai?