La multimodalité dans les échanges en ligne - de la construction des corpus multimodaux à leur analyse
Programme de la journée (format PDF)
Argumentaire
Maria-Grazia Sindoni (Université de Messine) :
Titre : This is chaos, baby!”Epistemologies, transcription methods and research agendas in video-based communication
Résumé :
The analysis of spontaneous interaction is a research priority within social and linguistic sciences (cf. Bezemer and Jewitt 2010: 181), such as conversation analysis (Sacks, Schegloff, and Jefferson 1974; Sacks 1992), interactional sociology (Goffman 1981), interactional sociolinguistics (Gumpertz 1999), linguistic anthropology (Duranti 1997), micro-ethnography (Erickson 2004) and linguistic ethnography (Creese 2008). However, synchronous video-based communication has called for a profound rethinking of theories and methods (Sindoni 2013). New concerns have started to circulate since the early 2000s (Norris 2004; Herring 2013), thus encouraging the shaping of an emerging field of analysis, that has contributed to identify the somewhat blurry boundaries of the research arena of web-based video interactions.
In this talk, I will critically review some of these concerns, with reference to three main areas:
1. epistemologies, or why existing theories should be reshaped or new frameworks of analysis should be developed and consequent definition of the field/s and data (e.g. what are data and relevant semiotic resources/modes?);
2. transcription and annotation methods, or how to collect and handle data (e.g., ethical issues and data contamination), considering that transcription and annotation are unavoidable methodological questions when dealing with multimodal data (e.g., manual vs. semi-manual or automatic transcription; text-based vs. multimodal-based annotation; mono-resource vs. multiple resource transcription);
3. research agendas, or to which end research questions should be framed and how to prioritize goals, so as to make sure that findings can be tested and verifiable, and experiments are replicable.
To address these interrelated questions, I will adopt a top-down approach and draw upon different data sets to the end of exploring some of the most challenging areas in web-based video research galaxy, with a view to possible applicative contexts, such as in learning/teaching environments.
Bionote
Maria Grazia Sindoni, PhD, is Associate Professor in English Linguistics and Translation at the University of Messina (Italy). She has published four books, articles in national and international journals, and edited two books. Her most recent book is “Spoken and Written Discourse in Online Interactions. A Multimodal Approach” (Routledge, London & New York, 2013). Her main research interests include systemic-functional linguistics, multimodality, testing and assessment, corpus linguistics, critical discourse analysis, theories of semiosis of communication and computer-mediated interaction.
Isabel Colon de Carvajal (ENS de Lyon)
Titre : Interactions en situation de jeux vidéo : les joueurs en quête d’identification
Résumé : Après un rapide résumé des objectifs annoncés dans le projet ANR LUDESPACE (2011-2014) dans lequel s’inscrivent nos données de jeux vidéo en ligne, notre intervention abordera les questions méthodologiques rencontrées en termes de transcription multimodale, d’annotation vidéo. Ces questionnements ont pour objectif, d’une part de rendre compte de phénomènes interactionnels complexes entre joueurs en train de jouer à des jeux vidéo, sur des écrans séparés ou sur un écran commun ; d’autre part d’élaborer des résultats quantitatifs sur l’ensemble du corpus en lien avec une question de recherche précise (i.e. les problèmes d’identification, de références dans différents types de jeu).
Nous présenterons les choix retenus ou non pour les descriptions multimodales et les annotations réalisées sur nos données. Nous expliquerons l’intérêt d’utiliser le logiciel ELAN comme outil d’annotation dans nos recherches ; et nous illustrerons nos propos par un exemple d’analyse linguistique et interactionnelle sur la problématique d’identification dans les jeux vidéo entre joueurs. Nous conclurons enfin sur la manière dont nos données sont traitées en vue d’être valorisées et mises à disposition sur la banque de données CLAPI ( http://clapi.univ-lyon2.fr/ ).
Bio note :
Bio : Isabel Colón de Carvajal est maître de conférences en Sciences du Langage à l’ENS de Lyon. Elle développe ses recherches, d’une part, sur l’analyse des interactions impliquant des objets techniques (interactions par écran ; en situation de jeux vidéo) ; d’autre part, sur l’analyse des interactions entre des personnes atteintes de pathologies langagières (ex : aphasie ; Alzheimer) et leurs aidants (famille, amis, professionnels de santé). L’analyse de la multimodalité dans ces deux contextes est constante. http://perso.ens-lyon.fr/isabelle.colondecarvajal/pro/
Clair-Antoine Veyrier (Institut interdisciplinaire de l’innovation, Télécom ParisTech)
Titre : Enjeux de la constitution et de l’exploration de corpus larges pour une approche multimodale : le cas de la visioconférence dans la justice
L’introduction et le développement de la visioconférence dans la justice font de l’audience un évènement multimédia. Sa tenue dans des environnements distribués met à l’épreuve les manières conventionnelles d’accomplir l’audience. Le projet VisioJustice adresse cette question en appréhendant de manière systématique des phénomènes interactionnels relatifs aux comparutions à distance. Le projet AVIDICUS 3 questionne plus particulièrement les problèmes posés par la combinaison de l’usage de la visioconférence et du recours à un interprète au sein même de l’audience. Pour ces deux projets, il a été exceptionnellement possible d’enregistrer en vidéo des audiences à la chambre de l’instruction et à la Cour nationale du droit d’asile (CNDA).
Cette présentation aborde les défis posés par la constitution et la gestion d’un corpus plurilingue, complexe, large et sensible, pour lequel une transcription extensive n’est pas envisageable. Dans une approche empirique, les phénomènes interactionnels émergent de l’analyse à partir de transcriptions fines permettant l’élaboration de collections systématiques. Or dans un corpus large, l’identification de phénomènes interactionnels pertinents doit parfois précéder leur transcription pour une analyse. L’exploration du corpus devient alors un enjeu en ce qu’elle détermine les phénomènes exploitables pour l’analyse. Nous discuterons comment l’organisation de différents niveaux de granularité de description d’un corpus large peut favoriser une approche systématique à la fois de phénomènes interactionnels déjà identifiés, mais aussi de manière itérative l’exploration de phénomènes émergeants.
bio
Clair-Antoine Veyrier est docteur en sciences du langage de l’Université de Montpellier 3. Ses recherches explorent la manière dont les technologies reconfigurent les pratiques sociales et de travail dans une variété de contextes professionnels et institutionnels (entreprise, système judiciaire, interprétariat, médias, enseignement). Ses travaux se sont portés initialement sur les réunions à distance en entreprise. Il a collaboré ensuite avec Christian Licoppe à Telecom ParisTech sur la généralisation de la visioconférence dans la justice. Ses dernières recherches, toujours ancrées dans une approche vidéo-ethnographique, portent sur la créativité dans le design (Projet LOTOPA).
https://sites.google.com/view/clair-antoineveyrier
Nicolas Guichon (Université Lumière Lyon 2) et Ciara Wigham (Université de Clermont)
Titre : De la construction d’un corpus partageable à son analyse : le cas de l’enseignement par visioconférence
Résumé : L’exploration collective d’un corpus multimodal
Tandis que l’enseignement des langues étrangères en ligne est devenu une modalité pédagogique courante, les compétences orales et interactionnelles, et leurs spécificités, ont restés jusqu’à récemment moins abordés dans la réflexion didactique. Le projet ISMAEL a cherché à combler ce manque en rassemblant une vingtaine de chercheurs autour d’un même corpus dans lequel sont structurées des données empiriques recueillies dans un dispositif de formation de français langue étrangère par visioconférence. Il s’agissait de comprendre comment l’orchestration des ressources sémiotiques contribue au fonctionnement de cette situation didactique.
Dans cette présentation, nous proposons de revenir sur les aspects liés à l’élaboration de la recherche dans ses facettes pratiques, éthiques, épistémologiques et sociales et, chemin faisant, d’aborder les questions et les défis soulevés par la création et le partage d’un corpus multimodal.
Puis, nous proposerons une discussion autour de la nécessité de rendre partageable un corpus pour permettre son exploration par des chercheurs qui n’ont pas été impliqués lors de la phase de recueil de données de rendre cette exploration collective. Nous illustrons l’intérêt de cette méthodologie pour l’appropriation du corpus en s’appuyant sur un extrait d’une data session organisée dans le cadre du projet. Cette analyse nous permettra d’illustrer de quelle façon la ‘socialisation’ du corpus facilite les analyses et la compréhension collective des données empiriques.
Pour terminer, nous aborderons les notions de granularité et d’échelle d’analyse d’un corpus multimodal en proposant des perspectives pour d’autres travaux qui pourront être menés pour compléter les analyses multimodales conduites dans le projet ISMAEL initial.
Nicolas Guichon est professeur des universités en sciences du langage à l’université Lyon 2 et il conduit ses recherches au sein du laboratoire ICAR (interactions corpus apprentissage représentations) où il développe ses travaux sur la didactique des langues. Ses recherches portent plus particulièrement sur l’apprentissage des langues médiatisé par les technologies, sur l’appropriation des outils numériques par les enseignants et les apprenants et sur l’étude des interactions en ligne. Il vient de coéditer avec Marion Tellier un ouvrage intitulé Enseigner l’oral en ligne – Une approche multimodale aux Editions Didier.
Ciara R. Wigham est maître de conférences à l’Université Blaise Pascal, Clermont-Ferrand, et membre du Laboratoire de Recherche sur le Langage. Ses principaux intérêts de recherche portent sur les situations d’apprentissage des langues étrangères partiellement ou totalement en ligne et sur les usages des artefacts socio-numériques en lien avec l’apprentissage. Elle étudie de telles situations dans leur dimension didactique, technologique et langagière. L’objet central de cette recherche touche aux interactions multimodales produites entre les acteurs d’une formation. Ciara s’intéresse également aux questions qui concernent la méthodologie de recueil, d’organisation et de traitement des données et leur structuration en corpus d’apprentissage (LETEC). Depuis 2013, elle poursuit ses recherches dans le cadre du projet ISMAEL, piloté par le laboratoire ICAR, et du projet CoMéRé du consortium national Corpus Ecrits.
Marie-Noëlle Lamy (Open University UK)
Bio :
Marie-Noëlle Lamy est Professeure Emerite à l’Open University, organisation spécialiste de l’autoformation guidée à distance. Chargée dès 1995 d’y développer une méthodologie spécifique pour le télé-enseignement collectif synchrone en langues, elle cumule une expérience de formatrice de formateurs et de chercheuse. Ses travaux sont consacrés à l’étude de la conversation en contexte didactique dans les conférences en ligne et plus récemment dans les réseaux sociaux. Elle publie sur l’acquisition de compétences métalinguistiques, les stratégies tutorales, la collaboration entre pairs, l’ingénierie pédagogique, et les approches sémiotiques de l’analyse des conversations orales synchrones sur plateforme multimodale.
