Projects:Sketchy recognition
Nicolas Malevé, Michael Murtaugh
Sketchy recognition
Bread, Nose, Kangaroo or Teddy Bear?
A photograph from the collection of the Museum of Musical Instrument is processed by a contour detector algorithm. The algorithm draws the lines it found on the image sequentially. While it is tracing the contours, another algorithm, a sketch detector, tries to guess what is being drawn. Is it bread? A kangaroo? It is a teddy bear.
Sketchy Recognition (working title) is an attempt to provoke a dialogue with, and between, algorithms, visitors and museum collections.
Cast:
- Musical instruments: MIM collection, Brussels.
- Line detector: The Hough algorithm in the OpenCV toolbox, originally developed to analyse bubble chamber photographs.
- Sketch recognizer: an algorithm based on the research of Mathias Eitz, James Hays and Marc Alexa (2012), and the code and models by Jean-Baptiste Alayrac.
- Data: from the hands of the many volunteers who contributed to Google's Quick, Draw! Dataset.
- Special sauce, bugs and fixes: Michael and Nicolas
Sketches
Some "best of" links:
- Teddy bear ...
- bird ... ice-cream-cone
- A panda encircled by a guitar ...
- screwdriver, toothbrush, baseball bat ...
- binoculars
- piano - laptop
- Cell phone
- Moon, sun, TV
- rifle ... toothbrush
- rifle ... hourglass
(Re)sources
- Code for this project
- You were asked to draw an angel, Working notes from the Scandinavian Institute for Computational Vandalism (April 2017)
- Assisted drawing, Working notes from the Scandinavian Institute for Computational Vandalism (January 2016) + Assisted drawing: Exploring Augmented Creativity, original blogpost by Samim (December 2015)
- How Do Humans Sketch Objects?, Mathias Eitz, James Hays and Marc Alexa (2012) + C/C++ and Python/Jupyter implementations
- sketch-recognizer, Jean-Baptist Alayrac's working Python code that we ended up using
Collection: Musical Instruments Museum (MIM)
Reconnaissance Esquissée
Du pain, un nez, un kangourou ou un ours en peluche?
Une photo de la collection du Musée des Instruments de Musique est traitée par un algorithme de détection de contours. L'algorithme dessine les lignes qu'il trouve dans l'image l'une après l'autre. Pendant qu'il trace les lignes, un autre algorithme, un détecteur de croquis, essaie de deviner ce que les lignes représentent. Est-ce du pain? Un kangourou? C'est un ours en peluche.
Reconnaissance Esquissée (titre provisoire) essaie de provoquer un dialogue entre et avec les algorithmes, les visiteurs et les collections de musées.
Distribution:
- Instruments de musique: MIM collection, Bruxelles.
- Détecteur de contour: L'algorithme de Hough dans la boîte à outils OpenCV, développé à l'origine pour détecter les lignes dans les photographies de chambre à bulles.
- Reconnaissance de croquis: une algorithme basé sur la recherche de Mathias Eitz, James Hays et Marc Alexa (2012), et le code et les modèles de Jean-Baptiste Alayrac.
- Données: dessinées par les nombreux volontaires qui ont contribué à Google's Quick, Draw! Dataset.
- Sauce spéciale, bugs et corrections: Michael et Nicolas
Croquis
Un "best of" de liens:
- Teddy bear ...
- bird ... ice-cream-cone
- A panda encircled by a guitar ...
- screwdriver, toothbrush, baseball bat ...
- binoculars
- piano - laptop
- Cell phone
- Moon, sun, TV
- rifle ... toothbrush
- rifle ... hourglass
(Re)sources
- Code pour ce projet
- You were asked to draw an angel, Notes de travail du Scandinavian Institute for Computational Vandalism (avril 2017)
- Assisted drawing, Notes de travail du Scandinavian Institute for Computational Vandalism (janvier 2016) + Assisted drawing: Exploring Augmented Creativity, blogpost original par Samim (décembre 2015)
- How Do Humans Sketch Objects?, Mathias Eitz, James Hays et Marc Alexa (2012) + C/C++ et Python/Jupyter implémentations
- sketch-recognizer, le code Python de Jean-Baptist Alayrac que nous avons fini par utiliser
Collection: Musée des Instruments de Musique (MIM)
Schetsmatige herkenning
[translation NL]
Collectie: Muziekinstrumenten-museum (MIM)
Working sketches + notes (not in publication v1)
