Identifier les entités visuelles dans une collection de vidéos Ina ou dans vos images

Retrouvez DigInPix sur l'Espace Recherche de l'Ina.

DigInPix est un système automatique de reconnaissance d’entités visuelles, issues de dictionnaires, dans des collections de vidéos de l'INA ou dans vos images. La mise en ligne de ce prototype a pour objectif principal de montrer les performances de nos algorithmes, et de prouver l’intérêt que peut avoir un tel système pour l’aide à l’annotation des contenus multimédias comme ceux de l’Ina. Cette application intègre des algorithmes état-de-l'art et a la particularité de pouvoir travailler sur de gros volumes de données tout en étant capable de détecter de très petits objets dans les images.

Les dictionnaires visuels contiennent un ensemble d'entités visuelles : logos, modèles de voiture, tableaux, bâtiments, ... Dans cette démonstration vous avez accès à un dictionnaire de 25 000 logos, ainsi qu'à un dictionnaire de 25 000 peintures issues du site Images d'Art de la Réunion des musées nationaux - Grand Palais (Rmn-GP). Chaque entité (logo ou peinture) est représentée par une ou plusieurs images dans le dictionnaire pour permettre à DigInPix d'apprendre à la reconnaître.

Nous vous proposons actuellement trois collections de vidéos issues des fonds de l'INA : 1000 vidéos d'évènements sportifs, 650 vidéos d'art et 1480 vidéos issues d'Ina.fr. Vous pouvez aussi tester la recherche sur vos propres images situées sur votre disque dur ou sur des images du web.

Rechercher avec DigInPix

Il existe plusieurs choix d'accès pour utiliser DigInPix avec les collections de l'INA :

• Champ textuel : pour rechercher par leurs noms des entités dans les dictionnaires et des documents dans les collections. Les résultats apparaissent sous deux onglets différents.
• Parcourir nos données Collections : pour découvrir toutes les vidéos avec le nombre d'entités détectées dans chacune d'elle.
• Parcourir nos données Dictionnaires : pour découvrir toutes les entités présentes dans le dictionnaire. Pour chaque entité on peut voir tous les documents vidéo dans lesquels elle a été détectée ou toutes les images qui ont permis au système DigInPix d'apprendre à définir cette entité.

Consulter les resultats

Les résultats documents peuvent être triés selon leur libellé (titre), ou selon le nombre d'entités visuelles détectées dans chaque document ou encore selon le score de pertinence de requête textuelle. Il est possible de trier de même les résultats entités, sachant qu'il s'agit alors du nombre de documents contenant cette entité.

Il est possible de visionner les résultats de chaque document vidéo en cliquant dessus. Les résultats de l'analyse vidéo par le système DigInPix sont présentés sur une page dédiée.

Un player enrichi permet de visionner la vidéo et de repérer sur des lignes temporelles les positions des entités visuelles détectées par DigInPix. Pour chaque entité, le score de confiance global est présenté ainsi que les scores pour chacune des détections. En cliquant sur une entité, le résultat est montré sur l'image correspondante de la vidéo. Vous pouvez aussi aisément naviguer de détection en détection en utilisant les boutons précédent et suivant sur chacune des lignes.

Sous le player, les entités détectées sont affichées avec leur score ainsi qu'une image représentative.

Analyser vos contenus

Pour vous permettre de tester DigInPix, vous pouvez envoyer vos photos et observer en retour les résultats :

• soit en collant l'URL d'une image trouvée sur le web
• soit en chargeant une image contenue dans votre ordinateur

Ces détections sont, bien évidemment, limitées aux entités présentes dans le dictionnaire visuel, c'est-à-dire dans la démonstration présente aux logos. Comme pour les vidéos, les performances de DigInPix sur vos images dépendent des critères évoqués précédemment.

Veillez à respecter les CGU lors de l'utilisation de ce démonstrateur, notamment en ce qui concerne la propriété intellectuelle des contenus et le droit à l'image des personnes.

Le résultat d'analyse de vos images est accessible par une URL qui vous est fournie et que vous êtes seul à connaître. Vous avez la possibilité de partager cette URL pour montrer les entités détectés. Dans ce cas, vos images deviendront publiques.

Les performances de DigInPix varient en fonction des critères suivants :

• caractéristiques visuelles de l'entité
• richesse des images représentatives dans les dictionnaires
• qualité et taille des documents analysés
• taille des objets recherchés dans ces documents

Vos remarques

DigInPix est un prototype développé au département de la Recherche à l'INA. Il est actuellement en version béta. A ce titre, nous sommes particulièrement attentifs aux avis et remarques que vous pourriez nous faire. Que vous soyez enthousiasmés ou déçus par les résultats, si vous souhaitez collaborer ou simplement pour en savoir plus, contactez-nous !