Projects:Sketchy recognition

Nicolas Malevé, Michael Murtaugh

Sketchy recognition

Bread, Nose, Kangaroo or Teddy Bear?

A photograph from the collection of the Museum of Musical Instrument is processed by a contour detector algorithm. The algorithm draws the lines it found on the image sequentially. While it is tracing the contours, another algorithm, a sketch detector, tries to guess what is being drawn. Is it bread? A kangaroo? It is a teddy bear.

Sketchy Recognition (working title) is an attempt to provoke a dialogue with, and between, algorithms, visitors and museum collections.

Cast:

• Musical instruments: MIM collection, Brussels.
• Line detector: The Hough algorithm in the OpenCV toolbox, originally developed to analyse bubble chamber photographs.
• Sketch recognizer: an algorithm based on the research of Mathias Eitz, James Hays and Marc Alexa (2012), and the code and models by Jean-Baptiste Alayrac.
• Data: from the hands of the many volunteers who contributed to Google's Quick, Draw! Dataset.
• Special sauce, bugs and fixes: Michael and Nicolas

Sketches

Early sketch

Contours of the Musical Instruments database

Sketch recognition outcome

Some "best of" links:

• Teddy bear ...
• bird ... ice-cream-cone
• A panda encircled by a guitar ...
• screwdriver, toothbrush, baseball bat ...
• binoculars
• piano - laptop
• Cell phone
• Moon, sun, TV
• rifle ... toothbrush
• rifle ... hourglass

(Re)sources

• Code for this project
• You were asked to draw an angel, Working notes from the Scandinavian Institute for Computational Vandalism (April 2017)
• Assisted drawing, Working notes from the Scandinavian Institute for Computational Vandalism (January 2016) + Assisted drawing: Exploring Augmented Creativity, original blogpost by Samim (December 2015)
• How Do Humans Sketch Objects?, Mathias Eitz, James Hays and Marc Alexa (2012) + C/C++ and Python/Jupyter implementations
• sketch-recognizer, Jean-Baptist Alayrac's working Python code that we ended up using

Collection: Musical Instruments Museum (MIM)

Reconnaissance Esquissée

[translation FR]

Pain, nez, kangourou ou ours en peluche?

Une photo de la collection du Musée des Instruments de Musique est traitée par un algorithme de détection de contours. L'algorithme dessine les lignes qu'il trouve dans l'image l'une après l'autre. Pendant qu'il trace les lignes, un autre algorithme, un détecteur de croquis, essaie de deviner ce que les lignes représentent. Est-ceu du pain? Un kangourou? C'est un ours en peluche.

Reconnaissance Esquissée (titre provisoire) essaie de provoquer un dialogue entre et avec les algorithmes, les visiteurs et les collections de musées.

Distribution:

   Instruments de musique: MIM collection, Bruxelles.
   Détecteur de contour: L'algorithme de Hough dans la boîte à outils OpenCV, développé à l'origine pour détecter les lignes dans les photographies de chambre xx.
   Reconnaissance de croquis: une algorithme basé sur la recherche de Mathias Eitz, James Hays et Marc Alexa (2012), et le code et les modèles de Jean-Baptiste Alayrac.
   Données: dessinées par les nombreux volontaires qui ont contribué à Google's Quick, Draw! Dataset.
   Sauce spéciale, bugs et corrections: Michael et Nicolas

Collection: Musée des Instruments de Musique (MIM)

Schetsmatige herkenning

[translation NL]

Collectie: Muziekinstrumenten-museum (MIM)

Working sketches + notes (not in publication v1)