Difference between revisions of "Projects:Sketchy recognition"
| Line 2: | Line 2: | ||
<div class="metadata"> | <div class="metadata"> | ||
==== Nicolas Malevé, Michael Murtaugh ==== | ==== Nicolas Malevé, Michael Murtaugh ==== | ||
| − | |||
| − | |||
[[File:Sketch-recognition.pdf|frame]] | [[File:Sketch-recognition.pdf|frame]] | ||
[[File:Sketch-recognition.pdf|page=2|frame]] | [[File:Sketch-recognition.pdf|page=2|frame]] | ||
| + | |||
| + | <div class="noprint"> | ||
[[File:Sketch-recognition.pdf|page=3|frame]] | [[File:Sketch-recognition.pdf|page=3|frame]] | ||
[[File:Sketch-recognition.pdf|page=4|frame]] | [[File:Sketch-recognition.pdf|page=4|frame]] | ||
| − | |||
| − | |||
[[File:Splitscreen05.png|frame|Early sketch]] | [[File:Splitscreen05.png|frame|Early sketch]] | ||
| Line 27: | Line 25: | ||
== Sketchy recognition == | == Sketchy recognition == | ||
| − | Bread, Nose, Kangaroo or Teddy Bear? | + | '''Bread, Nose, Kangaroo or Teddy Bear?''' |
A photograph from the collection of the Museum of Musical Instrument is processed by a contour detector algorithm. The algorithm draws the lines it found on the image sequentially. While it is tracing the contours, another algorithm, a sketch detector, tries to guess what is being drawn. Is it bread? A kangaroo? It is a teddy bear. | A photograph from the collection of the Museum of Musical Instrument is processed by a contour detector algorithm. The algorithm draws the lines it found on the image sequentially. While it is tracing the contours, another algorithm, a sketch detector, tries to guess what is being drawn. Is it bread? A kangaroo? It is a teddy bear. | ||
| Line 73: | Line 71: | ||
== Reconnaissance Esquissée == | == Reconnaissance Esquissée == | ||
| − | Du pain, un nez, un kangourou ou un ours en peluche? | + | '''Du pain, un nez, un kangourou ou un ours en peluche?''' |
Une photo de la collection du Musée des Instruments de Musique est traitée par un algorithme de détection de contours. L'algorithme dessine les lignes qu'il trouve dans l'image l’une après l'autre. Pendant qu’il trace les lignes, un autre algorithme, un détecteur de croquis, essaie de deviner ce que les lignes représentent. Est-ce du pain? Un kangourou? C'est un ours en peluche. | Une photo de la collection du Musée des Instruments de Musique est traitée par un algorithme de détection de contours. L'algorithme dessine les lignes qu'il trouve dans l'image l’une après l'autre. Pendant qu’il trace les lignes, un autre algorithme, un détecteur de croquis, essaie de deviner ce que les lignes représentent. Est-ce du pain? Un kangourou? C'est un ours en peluche. | ||
| Line 120: | Line 118: | ||
== Schetsmatige herkenning == | == Schetsmatige herkenning == | ||
| − | Brood, Neus, Kangoeroe of Teddybeer? | + | '''Brood, Neus, Kangoeroe of Teddybeer?''' |
Een foto uit de collectie van het Museum of Musical Instrument wordt verwerkt door een algoritme om contouren te detecteren. Het algoritme tekent de lijnen die het op de foto heeft gevonden een voor een. Terwijl het de contouren traceert, probeert een ander algoritme, een schetsdetector, te raden wat er wordt getekend. Is het brood? Een kangoeroe? Het is een teddybeer. | Een foto uit de collectie van het Museum of Musical Instrument wordt verwerkt door een algoritme om contouren te detecteren. Het algoritme tekent de lijnen die het op de foto heeft gevonden een voor een. Terwijl het de contouren traceert, probeert een ander algoritme, een schetsdetector, te raden wat er wordt getekend. Is het brood? Een kangoeroe? Het is een teddybeer. | ||
Revision as of 15:34, 6 October 2019
Nicolas Malevé, Michael Murtaugh
Sketchy recognition
Bread, Nose, Kangaroo or Teddy Bear?
A photograph from the collection of the Museum of Musical Instrument is processed by a contour detector algorithm. The algorithm draws the lines it found on the image sequentially. While it is tracing the contours, another algorithm, a sketch detector, tries to guess what is being drawn. Is it bread? A kangaroo? It is a teddy bear.
Sketchy Recognition (working title) is an attempt to provoke a dialogue with, and between, algorithms, visitors and museum collections.
Cast:
- Musical instruments: MIM collection, Brussels.
- Line detector: The Hough algorithm in the OpenCV toolbox, originally developed to analyse bubble chamber photographs.
- Sketch recognizer: an algorithm based on the research of Mathias Eitz, James Hays and Marc Alexa (2012), and the code and models by Jean-Baptiste Alayrac.
- Data: from the hands of the many volunteers who contributed to Google's Quick, Draw! Dataset.
- Special sauce, bugs and fixes: Michael and Nicolas
(Re)sources
- Code for this project
- You were asked to draw an angel, Working notes from the Scandinavian Institute for Computational Vandalism (April 2017)
- Assisted drawing, Working notes from the Scandinavian Institute for Computational Vandalism (January 2016) + Assisted drawing: Exploring Augmented Creativity, original blogpost by Samim (December 2015)
- How Do Humans Sketch Objects?, Mathias Eitz, James Hays and Marc Alexa (2012) + C/C++ and Python/Jupyter implementations
- sketch-recognizer, Jean-Baptist Alayrac's working Python code that we ended up using
Collection: Musical Instruments Museum (MIM)
Reconnaissance Esquissée
Du pain, un nez, un kangourou ou un ours en peluche?
Une photo de la collection du Musée des Instruments de Musique est traitée par un algorithme de détection de contours. L'algorithme dessine les lignes qu'il trouve dans l'image l’une après l'autre. Pendant qu’il trace les lignes, un autre algorithme, un détecteur de croquis, essaie de deviner ce que les lignes représentent. Est-ce du pain? Un kangourou? C'est un ours en peluche.
Reconnaissance Esquissée (titre provisoire) essaie de provoquer un dialogue entre et avec les algorithmes, les visiteurs et les collections de musées.
Distribution:
- Instruments de musique: MIM collection, Bruxelles.
- Détecteur de contour: L'algorithme de Hough dans la boîte à outils OpenCV, développé à l'origine pour détecter les lignes dans les photographies de chambre à bulles.
- Reconnaissance de croquis: une algorithme basé sur la recherche de Mathias Eitz, James Hays et Marc Alexa (2012), et le code et les modèles de Jean-Baptiste Alayrac.
- Données: dessinées par les nombreux volontaires qui ont contribué à Google’s Quick, Draw! Dataset.
- Sauce spéciale, bugs et corrections: Michael et Nicolas
(Re)sources
- Code pour ce projet
- You were asked to draw an angel, Notes de travail du Scandinavian Institute for Computational Vandalism (avril 2017)
- Assisted drawing, Notes de travail du Scandinavian Institute for Computational Vandalism (janvier 2016) + Assisted drawing: Exploring Augmented Creativity, blogpost original par Samim (décembre 2015)
- How Do Humans Sketch Objects?, Mathias Eitz, James Hays et Marc Alexa (2012) + C/C++ et Python/Jupyter implémentations
- sketch-recognizer, le code Python de Jean-Baptist Alayrac que nous avons fini par utiliser
Collection: Musée des Instruments de Musique (MIM)
Schetsmatige herkenning
Brood, Neus, Kangoeroe of Teddybeer?
Een foto uit de collectie van het Museum of Musical Instrument wordt verwerkt door een algoritme om contouren te detecteren. Het algoritme tekent de lijnen die het op de foto heeft gevonden een voor een. Terwijl het de contouren traceert, probeert een ander algoritme, een schetsdetector, te raden wat er wordt getekend. Is het brood? Een kangoeroe? Het is een teddybeer. Schetsmatige herkenning (werktitel) is een poging om een dialoog uit te lokken met en tussen algoritmes, bezoekers en museumcollecties.
Cast:
- Muziekinstrumenten: MIM-collectie, Brussel.
- Lijndetector: Het Hough algoritme in de OpenCV toolbox, oorspronkelijk ontwikkeld voor het analyseren van foto's van van subatomaire deeltjes gegenereerd in bellenvaten.
- Schetsherkenner: een algoritme gebaseerd op het onderzoek van Mathias Eitz, James Hays en Marc Alexa (2012), en de code en modellen van Jean-Baptiste Alayrac.
- Data: uit de handen van de vele vrijwilligers die hebben bijgedragen aan Google's Quick, Draw! Dataset.
- Speciale saus, bugs en fixes: Michael en Nicolas
Bronnen
- Code voor dit project
- You were asked to draw an angel, Notities van het Scandinavian Institute for Computational Vandalism (april 2017)
- Assisted drawing, Notities van het Scandinavian Institute for Computational Vandalism (januari 2016) + Assisted drawing: Exploring Augmented Creativity, oorspronkelijke blogpost van Samim (december 2015)
- How Do Humans Sketch Objects?, Mathias Eitz, James Hays en Marc Alexa (2012) + C/C++ en Python/Jupyter implementaties
- sketch-recognizer, Jean-Baptist Alayrac's Python code waar we uiteindelijk mee aan de slag gingen.
Collectie: Muziekinstrumenten-museum (MIM)
