Dans le cadre du séminaire Modyco-Help
Mardi 1er avril 2025
Horaire : 14h-16h
Lieu : salle A405, bâtiment Rémond, 4ème étage, Université Paris Nanterre
Séance proposée par Anne Lacheret-Dujour et Aude Da Cruz Lima

Présentation en visioconférence organisée par le réseau Mate-SHS dans la série des Tuto@Maté
Nous vous proposons de suivre la retransmission au laboratoire afin de faciliter les échanges.

Concevoir et mener un projet d’annotation de données langagières avec INCEpTION

Par Lydia-Mai HO-DAC est Maîtresse de conférences en Sciences du Langage à l’Université Toulouse Jean Jaurès dans le laboratoire CLLE (UM5263). Elle enseigne en linguistique de corpus et Traitement Automatique des Langues.Le projet Inception est développé dans le cadre du consortium CORLI.

Annoter un corpus, c’est ajouter une ou plusieurs couches d’interprétation à des données langagières brutes (textes écrits numérisés ou discours oraux retranscrits). Les annotations sont réalisées lors de campagnes d’annotation par des annotateurs humains, plus ou moins experts, qui s’appuient sur un guide d’annotation et utilisent un outil d’annotation.

L’annotation peut-être définie comme le processus par lequel un groupe d’annotateurs va avoir pour mission d’enrichir manuellement un corpus en y ajoutant des informations linguistiques qui peuvent être de nature très diversifiée : délimitation d’unités (e.g. morphèmes, tokens, unités de discours, expressions référentielles, entités nommées), mise en relation d’unités (e.g. relations syntaxiques, relations de discours, relations anaphoriques) ou étiquetage des unités ou des relations (e.g. partie du discours, fonctions syntaxiques, type sémantique, acte de parole).

Cet atelier a pour objectif de revenir sur les éléments fondamentaux d’une campagne d’annotation de données langagières et présenter comment les mettre en oeuvre grâce à la plateforme INCEpTION. Cette plateforme propose des fonctionnalités pour mener des projets d’annotation complexes :
– mise en place d’un projet d’annotation : import de corpus, création de couches d’annotation, mise à disposition des guides d’annotation
– gestion de cohortes d’annotateurs
– interface d’annotation
– interface d’adjudication (i.e. phase de l’annotation qui consiste à trouver un consensus en cas de désaccord entre plusieurs annotateurs)
– mesure de l’accord inter-annotateur pour évaluer la qualité des annotations récoltées
– export des annotations dans différents formats

Parmi les atouts de la plateforme INCEpTION, le caractère collaboratif nous intéresse particulièrement. Un projet d’annotation collaborative consiste à fédérer des annotateurs humains pour annoter un même jeu de données de façon asynchrone et à distance afin de constituer petit à petit une « grande » ressource annotée que ce soit un grand nombre de textes, une grande diversité de couches d’annotation et/ou un grand nombre d’annotations communes pour mettre au jour les (dés)accords inter-annotateurs. Nous retrouvons ici la même idée que celle de construction collaborative à la base du projet Wikipedia.

Le caractère collaboratif devrait assurer la mise à disposition d’annotations de qualité dans une quantité suffisante et fournir des données d’entraînement de modèles d’apprentissage automatique, des données d’évaluation pour le traitement automatique du langage et des données pour réaliser des analyses quantitatives.

Lien : https://inception-project.github.io/

source de l’évènement : https://mate-shs.cnrs.fr/actions/tutomate/tuto70_inception_ho-dac/