Avec un appareil photo dans chaque poche et un logiciel de reconnaissance faciale intégré dans nos smartphones et nos réseaux sociaux, il est parfois facile d’oublier que prendre des photos et identifier des visages n’était pas toujours aussi simple. Qu'il soit perdu, endommagé ou simplement non étiqueté, le processus d'identification des personnes sur de vieilles photos peut être fastidieux. Mais, comme l’a découvert Kurt Luther, professeur adjoint d’informatique à Virginia Tech, l’expérience peut aussi être très émouvante.
Luther était à l'exposition «Pennsylvania Civil War» au centre d'histoire du sénateur John Heinz, à Pittsburgh, en 2013, lorsqu'il est tombé par hasard sur une photo de son arrière-arrière-arrière-grand-oncle, Oliver Croxton. Il a décrit le fait de regarder la photo, qui était la photo de famille la plus ancienne qu'il ait vue, comme voyageant dans le temps.
Déjà passionné d'histoire par la guerre de sécession, le moment est resté entre Luther et il a commencé à se demander comment offrir la même expérience à des milliers d'autres passionnés d'histoire.
«J'ai commencé à en apprendre davantage sur la photographie de guerre civile», explique Luther, «et sur la façon d'identifier les personnes en utilisant différents indices visuels, tels que l'uniforme, les insignes ou les informations du studio du photographe. Pendant ce temps, en tant que professeur d’informatique, je menais beaucoup de recherches sur le crowdsourcing et je pensais qu’il serait peut-être possible de réunir ces deux éléments. "
Luther est tombé sur une photo de son arrière-arrière-arrière-arrière-grand-oncle, Oliver Croxton. (Gracieuseté de la collection Ken Turner) Le résultat est un logiciel en ligne gratuit appelé Civil War Photo Sleuth, qui utilise le crowdsourcing et la reconnaissance faciale pour aider les utilisateurs à identifier des sujets inconnus sur des photographies de l'époque de la guerre civile. Juste avant sa sortie officielle en 2018, la technologie avait remporté le premier prix, soit 25 000 USD, du Cloud AI Research Challenge de Microsoft pour son utilisation du logiciel de reconnaissance faciale de Microsoft, ainsi que le prix de la meilleure démo lors de la conférence Human Computation and Crowdsourcing 2018. Cette semaine, Luther participera à la conférence sur les interfaces utilisateur intelligentes de l'Association for Computing Machinery à Los Angeles.
Conçu avec l'aide d'étudiants de doctorat et de premier cycle de Virginia Tech, y compris Vikram Mohanty, responsable du projet, et en collaboration avec le département d'histoire de Virginia Tech, Photo Sleuth utilise une approche à plusieurs volets pour suggérer les identifications les plus précises.
La première étape cruciale du processus consistait à créer une grande base de données de photos déjà identifiées. À ce jour, Photo Sleuth compte environ 17 000 photos identifiées provenant d'archives nationales, telles que l'Institut d'histoire militaire des États-Unis, ainsi que de collections privées, regroupant non seulement des soldats de la guerre civile, mais également des civils et d'autres membres du personnel militaire de l'époque.
Luther a déclaré avoir eu la chance de pouvoir compter sur le soutien d'une communauté déjà enthousiaste d'historiens de la guerre civile ayant accès à ces photos, car sans une base solide de photos déjà identifiées, il aurait été presque impossible que le logiciel soit utile.
«Ce n'est pas comme dans Field of Dreams », déclare Luther. «Si nous avions lancé le site sans images et espérions simplement que les utilisateurs les ajouteraient toutes, nous ferions face au problème du démarrage à froid où vous n'avez tout simplement aucun contenu. ”
La base de données de photos identifiées joue un rôle essentiel en aidant les utilisateurs à identifier les photos qu'ils téléchargent elles-mêmes. Les utilisateurs marquent manuellement des traits visuels spéciaux, tels que la couleur de la robe, les poils du visage ou les insignes de rang militaire, et la photo passe par un algorithme de reconnaissance faciale pour analyser et consigner les ratios uniques, tels que la distance entre les repères faciaux tels que le nez et les yeux. Photo Sleuth compare les données visuelles de la photo inconnue aux photos déjà identifiées dans la base de données et présente à l'utilisateur les meilleures correspondances, à son avis, sur la base de la similarité faciale et d'informations extraites d'autres métadonnées, telles que les soldats apparaissant dans la liste. même unité basée sur les insignes de leurs uniformes. Alors que le logiciel prend des mesures délibérées pour limiter la possibilité d’une fausse identification, Luther indique qu’au bout du compte, il appartient à l’utilisateur de procéder à l’identification finale s’il est présenté avec les meilleures hypothèses du logiciel.
«Nous étions très préoccupés par la prévention des fausses identifications», déclare Luther, «car lorsque vous parlez d’Internet, il est très difficile de supprimer ou de modifier des informations erronées.»
Pour s'assurer que son logiciel fournissait aux utilisateurs le meilleur des identifications suggérées, Luther a analysé le premier mois d'identifications proposées du logiciel à l'aide des méthodes décrites dans des colonnes qu'il a publiées dans le magazine d'histoire de la guerre civile, Military Images . En évaluant les identifications entre "certainement pas une correspondance", "probablement pas une correspondance", "probablement une correspondance" et "définitivement une correspondance", l'analyse a révélé que 85% des identifications proposées correspondaient probablement ou définitivement à une correspondance. Au cours de la conférence de cette semaine, Luther a l'intention de mettre en avant les conclusions des dernières recherches de l'équipe sur Photo Sleuth, notamment une découverte faite par Dave Morin, collectionneur d'images de la guerre civile du New Hampshire, à propos du portrait d'un sous-lieutenant non identifié de l'Union. . Photo Sleuth a suggéré que l'homme dans le portrait était William H. Baldwin du 1er Ingénieur de New York. Morin, qui a confirmé que Baldwin était originaire du New Hampshire, affirme qu'il n'aurait jamais trouvé l'ingénieur de Granite State en question sans l'aide de Photo Sleuth.
Kurt Luther est professeur assistant en informatique à Virginia Tech. (Amy Loeffler) La recherche souligne également les forces complémentaires des historiens humains et du logiciel lui-même. En dépit de tous leurs efforts, Luther affirme que le logiciel ne peut aller aussi loin que l’identification des correspondances correctes et s’appuie sur les utilisateurs pour les aider à identifier les indices se trouvant dans les angles morts de l’algorithme facial.
«[L’algorithme] est conçu pour la reconnaissance générale des visages [sur] la plupart des images modernes», déclare Luther. «L’intelligence artificielle traverse une période difficile quand un visage est tourné de côté [de profil]. C'est un peu un portrait inhabituel par rapport aux normes d'aujourd'hui, mais au milieu du 19e siècle, c'était courant. ”
L’équipe a également constaté que les utilisateurs réussissaient bien mieux que l’algorithme à identifier d’autres fabricants uniques comme la barbe et les cicatrices.
Patrick Lewis, historien de la guerre civile et rédacteur en chef des ressources scientifiques et de la publication de la Kentucky Historical Society, qui n'a pas participé au développement de Photo Sleuth, affirme que Civil War Photo Sleuth sera un excellent outil pour faire connaître ces histoires oubliées à vie, mais d’aider à continuer de bâtir un réseau collaboratif d’historiens de la guerre civile à travers le pays.
«J'aime bien regarder les nouvelles photos étiquetées du Kentucky», déclare Lewis. «[Et demandez] qui sont les gens qui sont en train de collecter? Est-ce que je devrais être au courant de leurs collectionneurs individuels, et devrais-je les contacter pour savoir s'ils ont d'autres documents qui pourraient présenter un intérêt pour la recherche? ”
Bien qu'il n'ait pas encore contacté de collectionneurs individuels via Photo Sleuth, Lewis déclare que la Kentucky Historical Society a elle-même travaillé à la constitution d'archives d'archives en ligne connues et qu'un logiciel tel que Photo Sleuth améliorerait considérablement leur capacité à poursuivre ce travail.
Luther a ensuite annoncé qu'il souhaitait «doubler les forces humaines» du logiciel, notamment en ajoutant une option «Second Opinion» permettant à plusieurs utilisateurs de collaborer à l'identification finale d'une photo, ainsi qu'en travaillant. sur l'extension de la portée physique et de la gestion de la communauté pour développer la base d'utilisateurs de Photo Sleuth. Le logiciel verra également quelques remontées du visage, y compris une nouvelle fonction qui permettra aux utilisateurs de télécharger et d’identifier des personnes dans une photo de groupe.
"Notre objectif ultime est d'identifier chaque photo inconnue de la guerre de Sécession", déclare Luther, "et de faire en sorte que [Photo Sleuth] soit encore plus grand et meilleur, car 25 000 images ne sont qu'une goutte dans le seau."
