Difference between revisions of "Projects:Sketchy recognition"

From DiVersions
Jump to navigation Jump to search
(Sketches)
(41 intermediate revisions by 7 users not shown)
Line 1: Line 1:
 
__NOTOC__
 
__NOTOC__
== Nicolas Malevé, Michael Murtaugh ==
+
<div class="metadata">
 +
==== Nicolas Malevé & Michael Murtaugh ====
  
[[File:Sketch-recognition.pdf|800px|Page 1]]
+
[[File:Sketch-recognition.pdf|frame]]
[[File:Sketch-recognition.pdf|page=2|800px|Page 2]]
 
[[File:Sketch-recognition.pdf|page=3|800px|Page 3]]
 
[[File:Sketch-recognition.pdf|page=4|800px|Page 4]]
 
  
=== Sketchy recognition ===
+
[[File:Sketch-recognition.pdf|page=2|frame]]
  
Bread, Nose, Kangaroo or Teddy Bear?
+
<div class="noprint">
 +
 
 +
[[File:Sketch-recognition.pdf|page=3|frame]]
 +
 
 +
[[File:Sketch-recognition.pdf|page=4|frame]]
 +
 
 +
[[File:Splitscreen05.png|frame|Early sketch]]
 +
 
 +
[[File:Contours.png|frame|[http://vandal.ist/diversions2019/mim/contours.html Contours of the Musical Instruments database]]]
 +
 
 +
[[File:2052.png|frame|[http://vandal.ist/diversions2019/mim/sketchrecog.html Sketch recognition outcome]]]
 +
</div>
 +
</div>
 +
 
 +
<div data-lang="en" id="sketchy-recognition-en" lang="en">
 +
 
 +
== Sketchy recognition ==
 +
 
 +
'''Bread, Nose, Kangaroo or Teddy Bear?'''
  
 
A photograph from the collection of the Museum of Musical Instrument is processed by a contour detector algorithm. The algorithm draws the lines it found on the image sequentially. While it is tracing the contours, another algorithm, a sketch detector, tries to guess what is being drawn. Is it bread? A kangaroo? It is a teddy bear.  
 
A photograph from the collection of the Museum of Musical Instrument is processed by a contour detector algorithm. The algorithm draws the lines it found on the image sequentially. While it is tracing the contours, another algorithm, a sketch detector, tries to guess what is being drawn. Is it bread? A kangaroo? It is a teddy bear.  
  
Sketchy Recognition (working title) is an attempt to provoke a dialogue with, and between, algorithms, visitors and museum collections.
+
''Sketchy Recognition'' (working title) is an attempt to provoke a dialogue with, and between, algorithms, visitors and museum collections.
  
Cast:
+
=== Cast: ===
 
* Musical instruments: MIM collection, Brussels.
 
* Musical instruments: MIM collection, Brussels.
 
* Line detector: The Hough algorithm in the OpenCV toolbox, originally developed to analyse bubble chamber photographs.
 
* Line detector: The Hough algorithm in the OpenCV toolbox, originally developed to analyse bubble chamber photographs.
Line 22: Line 38:
 
* Special sauce, bugs and fixes: Michael and Nicolas
 
* Special sauce, bugs and fixes: Michael and Nicolas
  
==== Sketches ====
+
<div class="noprint">
 
+
=== Sketches ===
[[File:Splitscreen05.png|thumb|none|Early sketch]]
 
 
 
[[File:Contours.png|thumb|none|[http://vandal.ist/diversions2019/mim/contours.html Contours of the Musical Instruments database]]]
 
 
 
[[File:2052.png|thumb|none|[http://vandal.ist/diversions2019/mim/sketchrecog.html Sketch recognition outcome]]]
 
 
 
 
Some "best of" links:
 
Some "best of" links:
 
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#4306-02 Teddy bear ...]
 
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#4306-02 Teddy bear ...]
Line 41: Line 51:
 
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#2001.051 rifle ... toothbrush]
 
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#2001.051 rifle ... toothbrush]
 
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#2012.036.002 rifle ... hourglass]
 
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#2012.036.002 rifle ... hourglass]
 +
</div>
  
==== (Re)sources ====
+
=== (Re)sources ===
  
 
* [https://gitlab.constantvzw.org/diversions/diversions-2019/tree/master/sketchrecognition Code for this project]
 
* [https://gitlab.constantvzw.org/diversions/diversions-2019/tree/master/sketchrecognition Code for this project]
Line 50: Line 61:
 
* [https://github.com/jalayrac/sketch-recognizer sketch-recognizer], Jean-Baptist Alayrac's working Python code that we ended up using
 
* [https://github.com/jalayrac/sketch-recognizer sketch-recognizer], Jean-Baptist Alayrac's working Python code that we ended up using
  
 +
<div class="acknowledgment">
 
Collection: '''[http://www.mim.be/en Musical Instruments Museum (MIM)]'''
 
Collection: '''[http://www.mim.be/en Musical Instruments Museum (MIM)]'''
 +
</div>
 +
<references />
 +
</div>
  
=== Reconnaissance Esquissée  ===
+
<div data-lang="fr" id="sketchy-recognition-fr" lang="fr">
  
Du pain, un nez, un kangourou ou un ours en peluche?
+
== Reconnaissance Esquissée  ==
  
Une photo de la collection du Musée des Instruments de Musique est traitée par un algorithme de détection de contours. L'algorithme dessine les lignes qu'il trouve dans l'image l'une après l'autre. Pendant qu'il trace les lignes, un autre algorithme, un détecteur de croquis, essaie de deviner ce que les lignes représentent. Est-ce du pain? Un kangourou? C'est un ours en peluche.
+
'''Du pain, un nez, un kangourou ou un ours en peluche?'''
  
Reconnaissance Esquissée (titre provisoire) essaie de provoquer un dialogue entre et avec les algorithmes, les visiteurs et les collections de musées.
+
Une photo de la collection du Musée des Instruments de Musique est traitée par un algorithme de détection de contours. L'algorithme dessine les lignes qu'il trouve dans l'image l’une après l'autre. Pendant qu’il trace les lignes, un autre algorithme, un détecteur de croquis, essaie de deviner ce que les lignes représentent. Est-ce du pain? Un kangourou? C'est un ours en peluche.  
  
Distribution:
+
''Reconnaissance Esquissée'' (titre provisoire) essaie de provoquer un dialogue entre et avec les algorithmes, les visiteurs et les collections de musées.
 +
 
 +
=== Distribution: ===
 
* Instruments de musique: MIM collection, Bruxelles.
 
* Instruments de musique: MIM collection, Bruxelles.
 
* Détecteur de contour: L'algorithme de Hough dans la boîte à outils OpenCV, développé à l'origine pour détecter les lignes dans les photographies de chambre à bulles.
 
* Détecteur de contour: L'algorithme de Hough dans la boîte à outils OpenCV, développé à l'origine pour détecter les lignes dans les photographies de chambre à bulles.
 
* Reconnaissance de croquis: une algorithme basé sur la recherche de Mathias Eitz, James Hays et Marc Alexa (2012), et le code et les modèles de Jean-Baptiste Alayrac.
 
* Reconnaissance de croquis: une algorithme basé sur la recherche de Mathias Eitz, James Hays et Marc Alexa (2012), et le code et les modèles de Jean-Baptiste Alayrac.
* Données: dessinées par les nombreux volontaires qui ont contribué à Google's Quick, Draw! Dataset.
+
* Données: dessinées par les nombreux volontaires qui ont contribué à Google’s Quick, Draw! Dataset.
 
* Sauce spéciale, bugs et corrections: Michael et Nicolas
 
* Sauce spéciale, bugs et corrections: Michael et Nicolas
==== Croquis ====
 
  
[[File:Splitscreen05.png|thumb|none|Early sketch]]
+
<div class="noprint">
 
+
=== Croquis ===
[[File:Contours.png|thumb|none|[http://vandal.ist/diversions2019/mim/contours.html Contours of the Musical Instruments database]]]
 
 
 
[[File:2052.png|thumb|none|[http://vandal.ist/diversions2019/mim/sketchrecog.html Sketch recognition outcome]]]
 
  
 
Un "best of" de liens:
 
Un "best of" de liens:
Line 85: Line 98:
 
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#2001.051 rifle ... toothbrush]
 
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#2001.051 rifle ... toothbrush]
 
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#2012.036.002 rifle ... hourglass]
 
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#2012.036.002 rifle ... hourglass]
 +
</div>
  
==== (Re)sources ====
+
=== (Re)sources ===
  
* [https://gitlab.constantvzw.org/diversions/diversions-2019/tree/master/sketchrecognition Code for this project]
+
* [https://gitlab.constantvzw.org/diversions/diversions-2019/tree/master/sketchrecognition Code pour ce projet]
* [http://sicv.activearchives.org/logbook/you-were-asked-to-draw-an-angel/ You were asked to draw an angel], Working notes from the Scandinavian Institute for Computational Vandalism (April 2017)
+
* [http://sicv.activearchives.org/logbook/you-were-asked-to-draw-an-angel/ You were asked to draw an angel], Notes de travail du Scandinavian Institute for Computational Vandalism (avril 2017)
* [http://sicv.activearchives.org/logbook/assisted-drawing/ Assisted drawing], Working notes from the Scandinavian Institute for Computational Vandalism (January 2016) + [https://medium.com/@samim/assisted-drawing-7b26c81daf2d#.2d1ju3lnr Assisted drawing: Exploring Augmented Creativity], original blogpost by Samim (December 2015)
+
* [http://sicv.activearchives.org/logbook/assisted-drawing/ Assisted drawing], Notes de travail du Scandinavian Institute for Computational Vandalism (janvier 2016) + [https://medium.com/@samim/assisted-drawing-7b26c81daf2d#.2d1ju3lnr Assisted drawing: Exploring Augmented Creativity], blogpost original par Samim (décembre 2015)
* [http://cybertron.cg.tu-berlin.de/eitz/projects/classifysketch/ How Do Humans Sketch Objects?], Mathias Eitz, James Hays and Marc Alexa (2012) +  [https://github.com/GTmac/Classify-Human-Sketches C/C++] and [https://github.com/ajwadjaved/Sketch-Recognizer Python/Jupyter] implementations
+
* [http://cybertron.cg.tu-berlin.de/eitz/projects/classifysketch/ How Do Humans Sketch Objects?], Mathias Eitz, James Hays et Marc Alexa (2012) +  [https://github.com/GTmac/Classify-Human-Sketches C/C++] et [https://github.com/ajwadjaved/Sketch-Recognizer Python/Jupyter] implémentations
* [https://github.com/jalayrac/sketch-recognizer sketch-recognizer], Jean-Baptist Alayrac's working Python code that we ended up using
+
* [https://github.com/jalayrac/sketch-recognizer sketch-recognizer], le code Python de Jean-Baptist Alayrac que nous avons fini par utiliser
  
 +
<div class="acknowledgment">
 
Collection: '''[http://www.mim.be/fr Musée des Instruments de Musique (MIM)]'''
 
Collection: '''[http://www.mim.be/fr Musée des Instruments de Musique (MIM)]'''
 +
</div>
 +
<references />
 +
</div>
 +
 +
<div data-lang="nl" id="sketchy-recognition-nl" lang="nl">
 +
 +
== Schetsmatige herkenning ==
 +
 +
'''Brood, Neus, Kangoeroe of Teddybeer?'''
 +
 +
Een foto uit de collectie van het Museum of Musical Instrument wordt verwerkt door een algoritme om contouren te detecteren. Het algoritme tekent de lijnen die het op de foto heeft gevonden een voor een. Terwijl het de contouren traceert, probeert een ander algoritme, een schetsdetector, te raden wat er wordt getekend. Is het brood? Een kangoeroe? Het is een teddybeer.
 +
''Schetsmatige herkenning'' (werktitel) is een poging om een dialoog uit te lokken met en tussen algoritmes, bezoekers en museumcollecties.
 +
 +
=== Cast: ===
 +
* Muziekinstrumenten: MIM-collectie, Brussel.
 +
* Lijndetector: Het Hough algoritme in de OpenCV toolbox, oorspronkelijk ontwikkeld voor het analyseren van foto's van van subatomaire deeltjes gegenereerd in bellenvaten.
 +
* Schetsherkenner: een algoritme gebaseerd op het onderzoek van Mathias Eitz, James Hays en Marc Alexa (2012), en de code en modellen van Jean-Baptiste Alayrac.
 +
* Data: uit de handen van de vele vrijwilligers die hebben bijgedragen aan Google's Quick, Draw! Dataset.
 +
* Speciale saus, bugs en fixes: Michael en Nicolas
  
=== Schetsmatige herkenning ===
+
<div class="noprint">
 +
=== Schetsen ===
  
[translation NL]
+
Een paar "best of" links:
 +
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#4306-02 Teddy beer ...]
 +
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#4290 vogel ... ijsje]
 +
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#1981.039-01 Een panda met een guitaar eromheen ...]
 +
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#0490-01 Schroevedraaier, tandeborstel, slaghout ...]
 +
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#3206 verrekijker]
 +
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#2012.072 piano - laptop]
 +
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#3873-02 Mobiele telefoon]
 +
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#3873-03 Maan, zon, TV]
 +
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#2001.051 geweer ... tandeborstel]
 +
* [http://vandal.ist/diversions2019/mim/sketchrecog.html#2012.036.002 geweer ... zandloper]
 +
</div>
  
 +
=== Bronnen ===
 +
 +
* [https://gitlab.constantvzw.org/diversions/diversions-2019/tree/master/sketchrecognition Code voor dit project]
 +
* [http://sicv.activearchives.org/logbook/you-were-asked-to-draw-an-angel/ You were asked to draw an angel], Notities van het Scandinavian Institute for Computational Vandalism (april 2017)
 +
* [http://sicv.activearchives.org/logbook/assisted-drawing/ Assisted drawing], Notities van het Scandinavian Institute for Computational Vandalism (januari 2016) + [https://medium.com/@samim/assisted-drawing-7b26c81daf2d#.2d1ju3lnr Assisted drawing: Exploring Augmented Creativity], oorspronkelijke blogpost van Samim (december 2015)
 +
* [http://cybertron.cg.tu-berlin.de/eitz/projects/classifysketch/ How Do Humans Sketch Objects?], Mathias Eitz, James Hays en Marc Alexa (2012) +  [https://github.com/GTmac/Classify-Human-Sketches C/C++] en [https://github.com/ajwadjaved/Sketch-Recognizer Python/Jupyter] implementaties
 +
* [https://github.com/jalayrac/sketch-recognizer sketch-recognizer], Jean-Baptist Alayrac's Python code waar we uiteindelijk mee aan de slag gingen.
 +
 +
<div class="acknowledgment">
 
Collectie: '''[http://www.mim.be/en Muziekinstrumenten-museum (MIM)]'''
 
Collectie: '''[http://www.mim.be/en Muziekinstrumenten-museum (MIM)]'''
 +
</div>
 +
<references />
 +
</div>
  
 
+
<div class="noprint">[[Sketchy sketches|Working sketches + notes]] (not in publication v1)</div>
[[Sketchy sketches|Working sketches + notes]] (not in publication v1)
 

Revision as of 19:53, 7 October 2019

Sketchy recognition

Bread, Nose, Kangaroo or Teddy Bear?

A photograph from the collection of the Museum of Musical Instrument is processed by a contour detector algorithm. The algorithm draws the lines it found on the image sequentially. While it is tracing the contours, another algorithm, a sketch detector, tries to guess what is being drawn. Is it bread? A kangaroo? It is a teddy bear.

Sketchy Recognition (working title) is an attempt to provoke a dialogue with, and between, algorithms, visitors and museum collections.

Cast:

  • Musical instruments: MIM collection, Brussels.
  • Line detector: The Hough algorithm in the OpenCV toolbox, originally developed to analyse bubble chamber photographs.
  • Sketch recognizer: an algorithm based on the research of Mathias Eitz, James Hays and Marc Alexa (2012), and the code and models by Jean-Baptiste Alayrac.
  • Data: from the hands of the many volunteers who contributed to Google's Quick, Draw! Dataset.
  • Special sauce, bugs and fixes: Michael and Nicolas

(Re)sources

Reconnaissance Esquissée

Du pain, un nez, un kangourou ou un ours en peluche?

Une photo de la collection du Musée des Instruments de Musique est traitée par un algorithme de détection de contours. L'algorithme dessine les lignes qu'il trouve dans l'image l’une après l'autre. Pendant qu’il trace les lignes, un autre algorithme, un détecteur de croquis, essaie de deviner ce que les lignes représentent. Est-ce du pain? Un kangourou? C'est un ours en peluche.

Reconnaissance Esquissée (titre provisoire) essaie de provoquer un dialogue entre et avec les algorithmes, les visiteurs et les collections de musées.

Distribution:

  • Instruments de musique: MIM collection, Bruxelles.
  • Détecteur de contour: L'algorithme de Hough dans la boîte à outils OpenCV, développé à l'origine pour détecter les lignes dans les photographies de chambre à bulles.
  • Reconnaissance de croquis: une algorithme basé sur la recherche de Mathias Eitz, James Hays et Marc Alexa (2012), et le code et les modèles de Jean-Baptiste Alayrac.
  • Données: dessinées par les nombreux volontaires qui ont contribué à Google’s Quick, Draw! Dataset.
  • Sauce spéciale, bugs et corrections: Michael et Nicolas

(Re)sources

Schetsmatige herkenning

Brood, Neus, Kangoeroe of Teddybeer?

Een foto uit de collectie van het Museum of Musical Instrument wordt verwerkt door een algoritme om contouren te detecteren. Het algoritme tekent de lijnen die het op de foto heeft gevonden een voor een. Terwijl het de contouren traceert, probeert een ander algoritme, een schetsdetector, te raden wat er wordt getekend. Is het brood? Een kangoeroe? Het is een teddybeer. Schetsmatige herkenning (werktitel) is een poging om een dialoog uit te lokken met en tussen algoritmes, bezoekers en museumcollecties.

Cast:

  • Muziekinstrumenten: MIM-collectie, Brussel.
  • Lijndetector: Het Hough algoritme in de OpenCV toolbox, oorspronkelijk ontwikkeld voor het analyseren van foto's van van subatomaire deeltjes gegenereerd in bellenvaten.
  • Schetsherkenner: een algoritme gebaseerd op het onderzoek van Mathias Eitz, James Hays en Marc Alexa (2012), en de code en modellen van Jean-Baptiste Alayrac.
  • Data: uit de handen van de vele vrijwilligers die hebben bijgedragen aan Google's Quick, Draw! Dataset.
  • Speciale saus, bugs en fixes: Michael en Nicolas

Bronnen

Working sketches + notes (not in publication v1)