Projects:Sketchy recognition

NEW TITLE STILL TO BE DETERMINED

(formerly Different orders co-exist)

Collections: Koninklijke Musea voor Kunst en Geschiedenis/MIM

---

old description

Een van de eerste stappen om een reeks documenten te begrijpen, is door ze te ordenen. Naast het gevoel van controle dat het je geeft, vertelt elke ordening een ander verhaal over een archief. Een opsomming van alle elementen door middel van ‘unique id’ bijvoorbeeld is gebaseerd op de interne index die de database genereert om de informatie bij te houden. Maar die ordening vertelt ook over de menselijke arbeid die het "systeem voedt". De elementen werden één voor één geïntroduceerd, door één of meer mensen, op het moment dat het materiaal beschikbaar was. En de opeenvolging van 'unieke ids' weerspiegelt de opeenvolging van inserts in de database, en laat daarmee iets zien van de relaties tussen mensen, informatie en machines. Different orders co-exist stelt dat we geen directe toegang hebben tot een archief en de bijbehorende documenten, maar enkel via een dialoog met veelal technologische en algoritmische gesprekspartners.

---

Nicolas Malevé is beeldend kunstenaar, computer programmeur en data-activist. Op dit moment woont en werkt hij tussen Brussel en Londen aan een onderzoek naar hoe en waarom machinale normen over ‘kijken’ in Computer Vision algoritmes worden geïmplementeerd.

Michael Murtaugh doet onderzoek naar community databases, interactieve documentaire en tools voor nieuwe vormen van online lezen en schrijven. Hij is als docent betrokken bij het Experimental Publishing Traject van de Media Design Master aan het Piet Zwart Instituut in Rotterdam.

Notes

• You were asked to draw an angel

• http://cybertron.cg.tu-berlin.de/eitz/projects/classifysketch/

• C/C++ implementation for the paper "How do Human Sketch Objects?" https://github.com/GTmac/Classify-Human-Sketches
• Python/Jupyter https://github.com/ajwadjaved/Sketch-Recognizer
• Another one... https://github.com/jalayrac/sketch-recognizer

jalayrac's code works with python3

   apt get install caffe-cpu

Installation: feeding contours into sketch classifier , loops.

Live drawing --> classifier --> pull archive images that match the classifier tags and project back onto drawing?

Selection of "best of contours" from the collection (based on the MIM samples already processed?)

MIM Contours

sketch recognition

Sketch recognition (working sketch)

some "best of" links:

• Teddy bear ... http://vandal.ist/diversions2019/mim/sketchrecog.html#4306-02
• Ice cream cone ... http://vandal.ist/diversions2019/mim/sketchrecog.html#4290
• A panda encircled by a guitar ... http://vandal.ist/diversions2019/mim/sketchrecog.html#1981.039-01
• screwdriver, toothbrush, baseball bat ... http://vandal.ist/diversions2019/mim/sketchrecog.html#0490-01
• binoculars http://vandal.ist/diversions2019/mim/sketchrecog.html#3206

cf Saskia's story of misnaming an instrument. (The end of which was that the African museum contacted wanted not that the instrument be returned, but that the name be updated to reflect the fact that the name incorrectly referred to a larger class of instruments, and not the particular instrument in question)

How explicit do we need to be with our intentionality. Danger: Flatten the potential? Maybe keep it simple / straightforward

Meta data as interstitial frames introducing the sequences of images + sketch predictions.

List of sources:

• MIM/Carmentis Saskia Willekens
• Contours / Algorithm (what is the algorithm in use in opencv?)
• Sketch recognition database / programmer of model

Algorithms reading algorithms...