15 ans du programme Sakura - Extraction rapide d’information dans les images de mangas [ja]

Collaboration entre le Laboratoire Informatique, Image et Interaction (L3i) de l’Université de La Rochelle et le Département d’Informatique et des Systèmes Intelligents de l’Université de la préfecture d’Osaka de 2014 à 2015.

Interview des responsables français et japonais, le Professeur Jean-Christophe Burie de l’Université de La Rochelle, et le Professeur Koichi Kise de l’Université de la Préfecture d’Osaka.

Pourriez-vous décrire en quelques mots la thématique de votre projet ?

Les bandes dessinées (BD) représentent un patrimoine culturel important dans de nombreux pays. De nombreux Mangas, Comics et Bandes Dessinées ont été numérisés à travers le monde. Cependant il est difficile d’indexer ces documents numérisés et de retrouver les éléments contenus dans ces images. En effet, les images de BD, Mangas et Comics contiennent un mélange d’éléments textuels et graphiques que les algorithmes d’analyse classiques ne savent pas extraire facilement. Le projet développé dans le cadre du programme Sakura, consistait à concevoir des algorithmes rapides permettant d’extraire les éléments des images de mangas tels que les cases, les bulles, le texte et les visages des personnages [cf. fig. 1]. La particularité des Mangas est que les images sont à base de traits en noir et blanc. Des algorithmes de traitement et d’analyse d’images spécifiques ont donc été développés pour extraire les informations.

JPEG - 22.9 ko
Figure 1 : Détection automatique des éléments des BD
© L3i, Université de La Rochelle

Avez-vous maintenu votre collaboration suite à votre projet Sakura ?

Suite au projet, un accord a été signé entre nos deux établissements afin de faciliter les échanges réciproques d’étudiants. Le désir de travailler ensemble est toujours présent. Cependant nous cherchons des opportunités de financement afin de réaliser de nouveaux projets en communs.

Quelles ont été les retombées majeures de votre coopération ?

Les travaux communs ont mis en évidence la nécessité de créer un évènement où les chercheurs pourraient partager leurs travaux, ce qui a conduit à la création du workshop international MANPU (coMics ANalysis, Processing and Understanding) dont la 3ème édition aura lieu en Janvier 2019 à Thessalonique en Grèce. Suite à ces travaux, une entreprise parisienne d’édition a contacté notre laboratoire afin de développer des services innovants à partir des données indexées automatiquement, ce qui a abouti à l’obtention d’un financement dans le cadre des Programmes d’Investissement d’Avenir. Cette collaboration avec une entreprise a donné naissance, en 2018, à un Laboratoire Commun situé à La Rochelle et financé pour le moment par l’Agence Nationale de la Recherche. Nous envisageons d’y impliquer le laboratoire japonais dans un proche avenir.

Quelle a été la plus-value de la collaboration franco-japonaise ?

Cette coopération a permis d’élargir les champs d’études de notre laboratoire en abordant les problématiques liées au traitement d’images issues des mangas et non plus uniquement des BD franco-belges, et réciproquement pour notre partenaire japonais.

Que retenez-vous de cette expérience ?

Le projet a permis de réaliser des échanges très productifs entre les deux équipes, il a eu un impact positif dans le déroulement des thèses de deux doctorants français impliqués dans le projet,et des idées intéressantes ont pu émerger. Leurs séjours dans le laboratoire japonais ont également permis d’avoir accès à des corpus de documents qui ont facilité le développement des travaux.

Durant leur séjour à La Rochelle, les chercheurs japonais ont mené des expérimentations qui ont permis de collecter des données de suivi du regard de « lecteurs » français [cf. fig. 2]. Ces données ont permis aux deux équipes de développer une méthode d’analyse des BD et Mangas à partir du suivi du regard [1]. Les étudiants ont apprécié leur séjour en France, l’un d’eux, étudiant en Master a même décidé de poursuivre en thèse. Enfin, ce thème de recherche a permis de motiver d’autres étudiants à rejoindre le laboratoire.

JPEG - 21.3 ko
Figure 2 : Analyse du suivi du regard
© IMP, Université de la préfecture d’Osaka

À propos du partenariat Sakura

Le partenariat Sakura, soutenu par les ministères de l’Europe et des Affaires étrangères (MEAE) et de l’Enseignement supérieur, de la Recherche et de l’Innovation (MESRI) en France et par la JSPS (Japan Society for Promotion of Science) au Japon, vise à favoriser de nouvelles coopérations entre jeunes chercheurs et à développer les échanges scientifiques et techniques de haute qualité entre les universités et les institutions de recherche des deux pays.

Pour plus d’informations sur le programme Sakura

[1« Semi-Automatic Text and Graphics Extraction of Manga Using Eye Tracking Information », conférence DAS 2016.

dernière modification le 05/12/2018

haut de la page