SAKURAプログラム15周年-漫画画像からの高速情報抽出 [fr]

 ラ・ロシェル大学情報・画像・インタラクション研究所と大阪府立大学知能情報工学科が、2014年と翌15年に日仏交流促進事業「SAKURAプログラム」の支援を受けて行った共同研究を紹介します。

 フランスの研究責任者であるラ・ロシェル大学のジャン=クリストフ・ブリー教授と、日本の研究責任者である大阪府立大学の黄瀬浩一教授にインタビューしました。

プロジェクトのテーマを簡潔に説明してください。

 「コミック」は多くの国で重要な文化遺産だとみなされており、多くの漫画、アメコミ、バンド・デシネが世界中で電子化されています。しかしながら、そうして電子化された文書にインデックスを付与したり、それらの画像に含まれる要素を抽出したりすることは困難です。実際、バンド・デシネ、漫画、アメコミの画像には文字要素と映像要素が混在しているため、従来の解析アルゴリズムを用いてそれらの要素を抽出することはできません。SAKURAプログラムという枠組みで進展した我々のプロジェクトは、コマ、吹き出し、テキスト、キャラクターの顔などの漫画特有の要素を高速に抽出できるアルゴリズムを設計することを目的とします(画像1)。漫画の特殊なところは、白と黒の線によって描画されていることです。それゆえ、そのような描画から要素を抽出するために、特別な画像処理および画像解析手法を開発しました。

JPEG - 22.9 kb
画像1:漫画要素の自動抽出
© ラ・ロシェル大学情報・画像・インタラクション研究所

SAKURAプロジェクト後も協力が続きましたか?

 プロジェクトの後、我々両機関の間に交換留学促進のための協議書が調印されました。これは、いつでも共同研究を開始できるという意志の表れです。しかしながら、共同研究プロジェクトを企画するための予算を確保したいと考えています。

協力による主な効果は?

 共同研究を進めるうちに、科学技術に関するイベントを設立する必要性が強く感じられました。そのようなイベントがあれば、「コミック」について研究している研究者たちが互いの研究内容について共有することができます。この観点から、国際ワークショップ MANPU(coMics ANalysis, Processing and Understanding)を主催するようになりましたた。第3回が2019年1月にギリシアのテッサロニキで開催される予定です。SAKURAプログラムのおかげで、パリの印刷会社からL3i研究室に宛てて、コミックのための革新的なサービスを開発しないかという連絡がありました。その後、2016年から2017年にかけてフランスの「将来投資プログラム」という枠組みの予算に支えられたプログラムを実施しました。この共同研究のおかげで、2018年にはラ・ロシェルに共同研究室を新設でき、現在のところフランス国立研究機構より資金援助を受けています。近い将来には、日本の研究室にも参入してもらう予定です。

日仏協力がもたらしたものは?

 この協力体制によって、フランスのコミックだけに焦点を当てるのではなく漫画を解析するという課題に取り組めたため、我々の研究室の研究分野を拡大することができました。日本側の研究室についても同じことが言えます。

この経験から得られた成果は?

 両チームにとって、このプロジェクトは大変実りあるものでした。日本チームと交換留学をすることによって、このプロジェクトに参加した2名のフランスの博士後期課程の学生らは興味深いアイデアを形にすることができ、彼らの博士論文を進めるにあたってポジティブな刺激を得ることができました。日本の研究室に滞在することによって、若い研究者らは互いに切磋琢磨することができました。また実際に滞在することによって多くの漫画にアクセスすることができ、我々の研究開発を進める助けとなりました。日本の研究室の学生がラ・ロシェルに滞在しているときに、日本の漫画をフランス人が読んだときの視線情報を計測することができした(画像2)。この計測は外部に開かれたイベントで行われたため、幅広い年齢層の読者の視線情報という貴重なデータが得られました [1] 。日本の研究室からラ・ロシェルへ留学した博士前期課程の学生にとっても、フランスでの滞在経験は意義あるものでした(この学生は現在ドイツで活躍中)。本プロジェクトの後、漫画の解析というテーマは当研究室における人気のあるテーマの一つとなりました。2018年には、このテーマを希望する学生がドイツから3人来日したほどです。

JPEG - 21.3 kb
画像2:視線情報の計測
© 大阪府立大学知能情報工学科

SAKURAプログラムについて

 本プログラムは、フランス側はヨーロッパ・外務省と高等教育・研究・イノベーション省、日本側は独立行政法人日本学術振興会の支援を得て、若手研究者間の新たな協力を促進するとともに、日仏両国の研究機関・大学間で学術・技術交流を発展させることを目的とします。

[1“Semi-Automatic Text and Graphics Extraction of Manga Using Eye Tracking Information”、国際ワークショップDAS2016

最終更新日 05/12/2018

このページのトップへ戻る