I Embodied Interaktion

Kontextualisierung

Wenn wir heute bewusst mit einem Computer arbeiten, sitzen wir meist vor einem Bildschirm und bedienen das Gerät mit einer Maus und einer Tastatur. Noch alltäglicher ist mittlerweile die Interaktion mit Smartphones. Der Bildschirm ist hier klein und mobil, Maus und Tastatur werden durch einen Touchscreen ersetzt. Diese Geräte sind in ihrer Form und Interaktion einheitlich, universell einsetzbar und immer verfügbar.

Allerdings haben all diese Interaktionssysteme gemeinsam, dass sie weitgehend entkoppelt von ihrem Umfeld sind. Der Bildschirm begrenzt ein Fenster in eine virtuelle Welt und damit auch die Wahrnehmung.

(Wenn ich mir Bilder in sozialen Medien ansehe, befinde ich mich gedanklich an fremden Orten, wenn ich ein grafikprogramm bediene, arbeite ich gedanklich mit den Optionen die die Bedienoberfläche mir bietet, mein Entwurf ist zunächst unabhängig von dem was ich wahrnehme im raum Materialen etc.)

In der Interaktionsgestaltung gibt es bereits seit einer Weile verschiedene Ansätze die dafür neue Ansätze versprechen. Steve Harrison, Deborah Tatar und Phoebe Sengers beschreiben einen Paradigmenwechsel: Neben den etablierten ersten und zweiten Paradigmen der HCI, in denen Interaktion als reine Verbindung zwischen Mensch und Maschine bzw. als Prozess der Informationsverarbeitung verstanden wird, sehen sie in einem dritten Paradigma phänomenologisch verortet. [^vgl. Harrison, Steve / Tatar, Deborah / Sengers, Phoebe (2007): The Three Paradigms of HCI, San Jose, https://www.researchgate.net/publication/215835951_The_three_paradigms_of_HCI (Abruf: 30.06.2024), S.11]

Handeln in der realen Welt ist reichhaltig, chaotisch und komplex; Situationen in denen wir uns befinden sind ein Zusammenspiel aus physischer und sozialer Interaktion, genauso wie abstrakten Gedanken. Ein Kontext, der verloren geht, wenn wir die Verbindung zwischen Mensch und Computer lediglich als Austausch und Verarbeitung von Information verstehen. [^vgl. Harrison / Tatar / Sengers (2007), S.9]

Dieses Paradigma stellt sich in der Gestaltung von Interaktion zwischen Mensch und Maschine die Frage, welche Bedeutung sie konkret für Nutzer:innen hat und welche Erfahrungen und Gefühle sie damit verbinden. Es zieht dabei verschiedene situationsabhängige Perspektiven in Betracht [^vgl. Harrison / Tatar / Sengers (2007), S.6]

Paul Dourish beschreibt mit Tangible Computing und Social Computing ähnliche Herangehensweisen, die er unter dem Begriff der Embodied Interaction zusammenfasst:

»First, I want to argue that social and tangible interaction are based on the same underlying principles. […] they both exploit our familiarity and facility with the everyday world whether it is a world of social interaction or physical artifacts. This role of the everyday world here is more than simply the metaphorical approach used in traditional graphical interface design. […] Instead of drawing on artifacts in the everyday world, it draws on the way the everyday world works or, perhaps more accurately, the ways we experience the everyday world.« [^Dourish, Paul (2001): Where the Action Is. The Foundations of Embodied Interaction, Cambridge: MIT Press, S.17]

Diese Ansätze beziehen den physischen und sozialen Kontext des Menschen bewusst mit ein. Es geht also um Kontextualisierung. Und der naheliegendste Kontext ist zunächst der Raum, der uns umgibt.

Raum

(räume als metaphorische idee) [^Dourish, Paul (2001): Where the Action Is. The Foundations of Embodied Interaction, Cambridge: MIT Press, S.88]

Räume begegenen uns ständig: Nicht nur leben wir in einer räumlichen Welt, wir arbeiten auch meist in geschlossen Räumen, welche so den Kontext des Arbeitsprozesses bestimmen. Sie geben uns dabei Optionen und Ansätze für unser Handlen.

In einer Holzwerkstatt etwa geben verschiedene Werkzeuge an den Wänden und im Raum Anhaltspunkte, ein bestimmte Aufgabe umzusetzen. Der Raum bietet alles was im handwerklichen Prozess, wofür er gedacht ist, wichtig ist und blendet alles aus, was nicht. Mit jedem Arbeitsschritt und jedem Anwenden eines neuen Werkzeugs bewegen Akteur:innen sich im Raum. Die Orte der Interaktion ändern sich.

Der Ansatz des Tangible Computing versucht diese Abläufe in digitale Prozesse zu übertragen. Durch die Möglichkeit von Computersystemen auch untereinander zu kommunizieren entsteht hier auch das Potential verschiedene Prozesse dynamisch miteinander zu verbinden und mehrere Orte der Interaktion zu schaffen:

»When computation moves out into the environment, as in the tangible computing approach, [the single center of interaction in traditional interactive systems] is lost. Not only is there not a single point of interaction, there is not even a single device that is the object of interaction. The same action might be distributed across multiple devices, or, more accurately, achieved through the coordinated use of those artifacts.« [^Dourish (2001), S.51]

(Myron Krueger) (bei bildschirmen müssen wir vom reste weggucken [^ vgl. Dourish (2001), S.27])

Kreative legen seit jeher Wert auf ihre Arbeitsumgebung. Sie gestalten Räume in denen sie sich wohlfühlen, umgeben sich mit Dingen, die sie inspirieren.

==(Grundlagen Gestaltung: Atelier)== ==(Magazine Beispiel)==

Kreatives Arbeiten ist individuell – Räume sind dabei ein Mittel entsprechende emotionale und praktische Kontexte zu schaffen.

==(Diese Räume können auch dynamisch sein, es muss kein fester Ort sein und kein geschlossener Raum. real und virtuell, Es ist ein dynamischer Workspace …== ==space as core idea of interaktion, collaborative spaces, miro -> dourish 88)==

==(Social Framing von Räumen, space and place, shared workspace)[^ vgl. Dourish (2001), S.90]== ==(space emerges through practice, by users) [^dourish 91]==

Es wirkt also regelrecht paradox, dass das erste was wir mittlerweile tun, wenn wir als Gestalter:innen kreativ arbeiten ist, uns vor einen Bildschirm zu setzen und von all dem abzukapseln.

==[Bewegliche Standpunkte, Körper -> GG Systeme und Strukturen, 68]==

---Praxis: Raumöffner

Bereits zu Beginn meiner gestalterischen Auseinandersetzung stelle ich mir die Frage wie sich Räumlichkeit stärker in die Interaktion mit digitalen Werkzeugen integrieren lässt.

Einige meiner ersten Experimente arbeiten hier mit Projektion. Im Vergleich zu einem Bildschirm hat das als Ausgabemedium eine Reihe von Vorteilen: Beispielsweise lässt sich ein Projektor auf verschiedene Oberflächen im Raum richten. Größe und Raumwirkung sind somit variabel und das Dargestellte steht ggf. auch im Wechselspiel zu Objekten im Raum, Oberflächenstrukturen und anderen Elementen an den Wänden. Außerdem werden bei projizierten Inhalten, dadurch, dass schwarz als »nichts« bzw. als kein Licht dargestellt wird, beim Arbeiten auf schwarzem Hintergrund die Grenzen der Projektionsfläche unsichtbar. Somit erscheint auch die Arbeitsfläche grenzenlos und verortet im größeren Kontext der Umgebung.

Diese Technik agiert also als eine Art ‌Raumöffner. Raum wird nicht nur in den Schaffensprozess integriert – er wird zum zentralen Schauplatz des Entwurfs.

Aus diesen Experimenten entsteht in weiteren prototypischen Iterationen die Idee einer »flexiblen Leinwand«. Mit nur wenigen, vergleichsweise simplen und etablierten technischen Hilfsmitteln entsteht die Möglichkeit fast jede Szenerie und Fläche zur Gestaltungsfläche zu machen: anything can be your canvas

(Scribble) Einem anderen Versuch liegt der Gedanke zu Grunde Räumlichkeit durch Bewegung in selbigem zu nutzen.

---Praxis

Virtualität

Computer konstruieren eine virtuelle Welt. Da die Rechenprozesse in winzigen Transistoren auf fundamentaler Ebene für Menschen nicht direkt wahrnehmbar sind, sind wir darauf angewiesen, Software und Schnittstellen (beispielsweise grafische Interfaces auf Bildschirmen) zu schaffen, die uns ermöglichen mit ihnen zu interagieren.

Es sind also auch all unsere Arbeistsprozesse mit Computern virtuelle Illusionen. Von Alan Kay und anderen Wissenschaftlern im Xerox Palo Alto Research Center (PARC) wurde dafür in den 1970er Jahren der Begriff User Illusion geprägt. [^ vgl. Kay, Alan (1984): Computer Software, in: Scientific American, Nr. 251, 09/84, S.4]

Im Lauf der Zeit haben wir verschiedene Metaphern entwickelt aus denen diese Illusion konstruiert wird. Die bekannteste und bis heute genutzte ist wohl die ebenfalls im Xerox PARC von Tim Mott entwickelte und später durch den Apple Macintosh bekannt gewordene »Schreibtisch-Metapher«. Wir schaffen eine virtuelle Repräsentation eines Schreibtischs bzw. eines Büros mit den digitalen Elementen ihrer realen Gegenstücke: Eine Fläche zum Ablegen von Dokumenten, Ordner, eine Uhr, einen Papierkorb usw. [^ vgl. Moggridge, Bill (2007): Designing Interactions, Cambridge: MIT Press, S.19 / 53]

Aber auch alle Buttons, Regler, Eingabefelder und Fenster, die sich in üblichen grafischen Interfaces wiederfinden, sind letztendlich virtuelle Repräsentationen. Sie konstituieren eine Welt. [^vgl. Bonsiepe, Gui (1996): Interface. Design neu begreifen, Mannheim: Bollmann Verlag, S.52]

Diese User Illusion findet auf verschiedenen Abstraktionsebenen statt. Selbst die Ebene der Programmierung – mit welcher Nutzer:innen in der Regel keinerlei Kontakt haben – ist letztendlich ein imaginäres Konstrukt. Programmiersprachen sind auch nur Übersetzungen in für Menschen verständlichere Systeme und Bilder von binären Prozessen aus Nullen und Einsen, was auch wieder nur eine Abstraktion von Stromflüßen durch winzige Halbleiterelemente ist. [^vgl. Dourish (2001), S.82]

Tatsächlich werden in der Softwareentwicklung und in der Beschreibung von digitalen Interfaces oft Begriffe verwendet, die aus menschlichen, sozialen Kontexten stammen, um Abläufe verständlicher zu beschreiben: »Methoden«, »Objekte«, »private«, »public«, »Dialog«-felder« oder »publishing« [^vgl. Dourish (2001), S.56]

(Computer können einen ganz neuen Computer simulieren (→ Alan Kay))

Abstraktionen, Metaphern und Repräsentationen sind in der Welt der Computer überall. Und sie sind auch wichtig, sie sind ein maßgebliches Gestaltungswerkzeug. Diese Art von Abstraktionen ist notwendig und ein Grund, warum Computer mittlerweile ein so wichtiger Bestandteil unseres Lebens sind. Sie vereinfachen, sind in verschiedenen Anwendungsfällen einsetzbar, vereinheitlichen, bauen aufeinander auf und erleichtern das Entwickeln neuer Systeme aus unabhängigen Komponenten. [^ vgl. Dourish (2001) S.82]

(keine Software muss mehr neu geschrieben werden)

Je mehr aber Prozesse über Metaphern vereinfacht werden und Illusionen geschaffen werden, desto größer wird auch die Gefahr, dass wichtige Informationen verborgen bleiben. Systeme werden intransparenter, Abläufe, die nicht funktionieren wie erwartet, bleiben unverständlich und Kontext geht verloren. [^ vgl. Dourish (2001) S.82 f]

==(Das kann dazu führen, dass wir nicht verstehen …)==

Das führt letztlich auch dazu, dass beispielsweise bei kürzlich populär gewordenen KI-Werkzeugen wie ChatGPT die Abstraktion und extrem vereinfachte Form eines Chat-Fensters darüber hinweg täuscht, dass dafür auf hochkomplexe Modelle und viel Rechenleistung zugegriffen wird, was große Mengen an Daten und Ressourcen verbraucht.

(falschinformation, ki [unverständliche maschinen 56])

(Virtuelle Illusionen neigen auch dazu in ihrer Welt gefangen zu halten: Virtuelles Zeichenprogramm, Metapher Papier wird zum Papier und lässt nichts anderes mehr zu)

praxis break the user illusion

Auch die Software-Werkzeuge, die im Rahmen dieses Projektes entstanden sind, müssen eine User Illusion konstruieren, um überhaupt verständlich zu sein und ein fokussiertes und effizientes Arbeiten zu ermöglichen. Gleichzeitig möchte ich auf diese Illusion aufmerksam machen und sie an einigen Stellen bewusst aufbrechen.

Ich entwickle einen Transparenz-Modus. Hier wird mehr Kontext zu den im Hintergrund ablaufenden Algorithmen und Systemen dargestellt. So wird beispielsweise das »Drahtgitter«, der einzelnen Polygonen aus denen 3D-Objekte brechnet werden oder die Nummerierungen die Einzelelementen im Hintergrund zugewiesen wurde sichtbar gemacht. Außerdem werden auf einer zusätzlichen Textebene Objekte, Parameter und Zustände aus dem Programmcode in Echtzeit angezeigt.

Und auch wenn das natürlich nur das Auflösen einer von vielen Abstraktionsebenen ist, zeigt diese Ebene Anwender:innen doch auf, dass es sich letztlich wie bei jeder digitalen Darstellung um ein virtuelles Konstrukt handelt. Es macht den Computer so weit wie möglich sichtbar und damit auch eine gewisse Flüchtigkeit und Abhängigkeit von technischen Gegebenheiten, wie etwa Stromversorgung, Netzwerkverbindung oder fehlerfreier Programmierung bewusst. Tatsächlich entstand die Idee des Ganzen ursprünglich nur aus der Idee heraus, mir persönlich einige wichtige technische Informationen für die Programmierung und Fehlerbehebung anzuzeigen.

Ich stelle allerdings fest, wie dieses Bewusstmachen des Digitalen in der Anwendung auch dazu anregt, Entwürfe auch immer wieder in physische Medien zu übertragen und festzuhalten. Gleichzeitig gibt dieser Modus für Nutzer:innen, die sich sonst nicht mit dieser technischen Ebene beschäftigen, einen Einblick in die »Blackbox Computer« und ggf. Verständnis seine Funktionsweise, was wiederum den kreativen Prozess beeinflussen kann. (mehr dazu in Kapitel II)

Um diese Effekte zu nutzen, beschließe ich, meine Werkzeuge immer in diesem Transparenz-Modus zu starten. Das ruft die Konfrontation mit der Illusion von Anfang an in Erinnerung. Wenn allerdings Fokus auf dem kreativen Arbeitsprozess liegen soll, also – die User Illusion also sinnvoll und notwendig wird – kann der Modus natürlich jederzeit mit einer Taste deaktiviert werden und die Darstellung wird auf den jeweiligen Entwurf des entsprechenden Werkzeugs reduziert.

praxis

Virtualität ist ein fundamentales Prinzip von Computersystem und es gibt verschiedene Ansätze wie wir es in interaktive Systeme integrieren.

Unter dem Begriff der Virtuellen Realität verstehen wir Anwendungen die uns ganz bewusst in virtuelle Welten eintauchen lassen. Entsprechende VR-Brillen blenden das natürliche Umfeld komplett aus, um es durch ein künstliches zu ersetzen. Ein Modell, dass vor allem im Kunst- und Unterhaltungsbereich Verwendung findet.

In der alltäglichen Anwendung von Computern (und insbesondere in kreativen Prozessen) sind wir hingegen auf einen erweiterten Kontext und die Verbindung zur tatsächlichen »Realität« angewiesen. Denn dort sind unsere eigentlichen Handlungen verortet und der Computer agiert nur als Werkzeug diese zu erleichtern und zu ergänzen.

Mark Weiser beschrieb in den 1990er Jahren ein Konzept, um den Computer aus der virtuellen in die physische Welt zu holen. Er nutzt dabei den Begriff Embodied Virtuality [^vgl. Weiser, Mark (1999): The Computer of the 21st Century, in: SIGMOBILE Mob. Comput. Commun. Rev., Nr. 3, 07/99, S.3] Sein Ansatz war dabei der vieler, kleiner, in verschiedensten Objekten versteckter, unsichtbarer Computer. Sogenanntes »Ubitquitous Computing« bei dem wir nicht mehr bewusst mit einem universellen Personal Computer interagieren sondern völlig unbewusst von kleinen, unsichtbaren, miteinander verbundenen Rechenmaschinen unterstützt werden, die immer genau dort sind wo sie gerade gebraucht werden. [^vgl. Weiser (1999), S.5] Das Virtuelle wird im Physischen verankert:

»computers would be nowhere to be seen, but computation would be everywhere« [^Dourish (2001), S.30]

==(UC incorporates idee der räumlichkeit, Designing interactions 461)==

Tatsächlich finden wir heute in vielen Alltagsprodukten, wie Haushaltsgeräten, Autos oder auch smarten Glühbirnen kleine Computer verbaut. In sofern hat sich Weisers Vision bewahrheitet – Computing ist tatsächlich überall.

Und doch sind Geräte, wie Laptops und Smartphones deren Funktion zunächst Computing ist und deren Zweck je nach Anwendung wechselt noch immer von unbestreitbarer Relavanz. Wenn wir Computer komplett verschwinden lassen würden, wären sie schließlich noch ungreifbarer als ohnehin. Müssen wir nicht, wenn wir Computer effektiv nutzen wollen, zumindest auch ein Stück weit begreifen, wie sie funktionieren oder uns zumindest bewusst sein, dass wir sie gerade nutzen?

Augmented Reality versucht die reale Welt durch virtuelle Elemente erweitern. So können wir etwa mit dem Smartphone testweise Möbel in einem Wohnzimmer platzieren und Apple versucht nun mit der Brille Vison Pro all unsere gewohnten Arbeitsprozesse und Anwendungen in eine hybride, räumliche Welt zu bringen.

Die Umsetzungen dieser Idee arbeiten dabei aktuell fast immer mit Kameraaufnahmen. Wir betrachten unser Umfeld dann durch einen Bildschirm, wodurch es über ein Tracking-System dann durch digitale Elemente erweitert werden kann. Es lässt sich allerdings argumentieren, dass dadurch eigentlich vielmehr ein Abbild der Realität in die Virtualität geholt wird, anstatt umgekehrt. Es entesteht eine virtuelle Repräsentation der Realität, die wir dann einfach als neue Realität hinnehmen sollen – die dieser aber natürlich auch mit noch so guten Kameras niemals gleichkommt. Wie jede:r, der:die eine solche Brille eine Weile getragen hat, beim Absetzen merkt, wirkt der Kontrast zwischen dem Kamerabild, an das man sich gewöhnt hat und dem viel reichhaltigeren direktem Bild der Augen regelrecht irritierend. Diese Methoden entkoppeln uns also – entgegen des Versprechens – von unserer natürlichen Wahrnehmung.

Der Umgang mit virtuellen Prozessen und wie wir sie mit realen verbinden ist eine große Herausforderung und die Suche nach Lösungen dafür ist mit Sicherheit noch nicht abgeschlossen. Trotzdem bleibt Virtualität auch ein mächtiges Werkzeug.

Großes Potential sehe ich vor allem immer dann, wenn das Virtuelle als Hilfsmittel agiert, neue Kontexte zu schaffen und etwa kollaborative Prozesse oder Einblicke in entfernte Orte möglich zu machen, wo auch immer es das in sonst nicht wäre.

Auch wenn Computing an sich keinerlei Objekthaftigkeit oder Räumlichkeit besitzt, kann es diese Dinge simulieren. So können etwa Objekte aus der Realität mit Kameraaufnahmen erasst werden, daraus 3D-Scans erstellt, wodurch sie später als digitale Repräsentation betrachtet und weiterverabeitet werden können. Digitale Vernetzung ermöglicht uns ein einfaches Teilen dieser Daten. Wir können örtliche und zeitliche Beschränkungen überwinden und trotzdem körperliche und räumliche Kontexte aus der Realität in die Arbeit im Digitalen übernehmen.

Durch den technischen Fortschritt entstehen hier auch ganz neue Möglichkeiten. 2023 wurde eine neue technische Methode entwickelt, bei der mit sogenanntem Gaussian Splatting und Deep-Learning-Algorithmen basierend auf eingen Bilddaten räumliche Darstellungen berrechnet werden können, in solch realistischer Abbildungsqualität und gleichzeitig verhältnismäßig kurzen Berechnungszeiten bisher nicht möglich waren. [^ Kerbl, Bernhard / Kopanas, Georgios / Leimkühler, Thomas / Drettakis, George (2023): 3D Gaussian Splatting for Real-Time Radiance Field Rendering, in: ACM Transactions on Graphics, Nr. 42(4), 08/23, https://doi.org/10.48550/arXiv.2308.04079 (Abruf: 30.06.2024)]

Mit dieser Technik erstellte »Scans« erreichen oft fotografische Qualität, sind dabei aber vollständig dreidimensional und bilden so eine virtuelle Repräsentation einer realen Szene die aus allen Winklen betrachtet werden kann.

**---Praxis: Arbeit mit realen und virtuellen Räumen **

Gaussian Splatting hat sich im Laufe des Projekts zu einer sehr Schlüsseltechnologie entwickelt. Abgesehen von der Abbilungsqualität finde ich dabei vor allem auch den Prozess des Erstellens besonders wertvoll.

Ich stelle fest, Virtualität wird vor allem dann interessant wenn sie ihren Ursprung in Realität hat. Alle in meinen Entwürfen verwendeten Scans habe ich selbst erstellt und auch wenn sie sich vergleichsweise leicht erstellen lassen (ein kurzes Video mit Aufnahmen eines Ortes oder Objekts aus möglichst vielen Winkeln genügt), erfordert der Prozess doch ein gewisses Auseinandersetzung mit der Umgebung. Ich muss mir überlegen welche Bereiche ich wie, aus welchen Winkeln aufnehmen will, damit später genügend Daten für eine detaillierte Berechnung vorhanden sind. Im Gegensatz beispielsweise zur Fotografie betrachte ich eine Situation nicht »nur« durch eine einzelne Linse sondern nehme den gesamten räumlichen Eindruck war. Und genau wie bei der analogen Fotografie kenne ich das Ergebnis erst später, da die Berechnung leistungsstarke Ressourcen und eine gewisse Zeit (in etwa 30–60 min) erfordert. Durch die investierte Zeit in den Prozess und Interaktion mit dem Ort entsteht eine persönliche Verknüpfung, die auch später bei der Weiterverabeitung und kreativen Prozess im Kopf bleibt.

Selten ist eine Darstellung dabei einerseits so detailgetreu und realistisch abbildend und macht andererseits ihre Digitalität so klar deutlich. Gaussian Splatting ist keinesweges »perfekt«. An Stellen im Raum wo nicht hinreichend Bilddaten im Traingsmaterial vorhanden sind, entstehen oft Lücken oder große, verschwommene Bereiche; and den Rändern »franst« die Darstellung in die einzelnen langgezogenen Splats aus oder Hintergründe, wie der Himmel werden zu skurrilen leinwandartigen Gebilden. Es wird deutlich, dass es sich um eine virtuelle Darstellung handelt – real und surreal zugleich.

Das lädt oft zu einer grafischen Abstraktion im weiteren kreativen Prozess ein. Es entstehen traumhafte Bilder, die Einblicke in reale Orte geben aber auch imaginäre Konstrukte sind.

---Praxis

Virtualität ist also in Computern allgegenwärtig und kann ein mächtiges Werkzeug sein, das vielfältig eingesetzt werden kann. Sie kann allerdings niemlas komplett konkret und greifbar werden. Mindestens genauso wichtig ist also, als Gegenstück die Realität und physische Körperlichkeit auch direkt zu integrieren.

Physikalität

Physisch anfassbares, Gegenständliches ist uns Menschen auf einen natürliche Art und Weise vertraut. ==(-> Quelle)== Wenn wir mit greifbaren Objekten interagieren geschieht das über eine gewisse Direktheit und Intuition. Mit üblichen Eingabemmitteln für Computer steht das in dieser Qualität nicht zur Verfügung:

Mice provide only simple information about movement in two dimensions, while in the everyday world we can manipulate many objects at once, using both hands and three dimensions to arrange the environment for our purposes and the activities at hand. A child playing with blocks engages with them in quite different ways than we could provide in a screen-based virtual equivalent. [^ Dourish (2001), S.16]

==(Desinging Interaction 515)==

Objekte in der realen Welt haben eine Reihe von einzigartigen Eigenschaften, die in der Digitalität nicht existieren: Sie sind mit allen Sinnen wahrnehmbar, Material und Form bestimmen Optik, Geruch und Haptik. Die Interaktion mit ihnen gibt Geräusche von sich. Dabei entstehen Gebrauchsspuren, Dinge nutzen sich ab und zeigen Inperfektion. All das gibt uns Aufschluss über Kontext und Funktion eines Gegenstands. Wie alt ist er? Wie oft wurde er genutzt? Wie ist er zu benutzen? Wenn wir das Objekt näher verstehen wollen, können wir es einfach genauer betrachten. Bei eventuellen Defekten geben die Spuren des Gebrauchs einen Anhaltspunkt, wo die entsprechende Ursache liegen könnte. Und das wichtigste ist dabei: Wir können das alles in wenigen Augenblicken wahrnehmen. Wir bauen Vertrauen und emotionale Bindung auf.

==(bsp Buch? Stift?, Unmittlebare Interaktion)== ==(tatsächlich praktischer Nutzen, dourish krankenakten, p20)==

Die virtuelle Welt der Computer hingegen kennt keine Abnutzungsspuren und Zwischenstände – sie besitzt nur zwei Zustände: An oder aus. John Maeda beschreibt, wie dadurch ein ein ganz eigener Prozess entsteht:

The computational process, once initiated, will run at top speed from the very moment it comes alive. And if it were to hit some kind of error, it would immediately stop. The entire world it lived within would vanish in that same instant too. [^ vgl. Maeda, John (2019): How to speak Machine. Computational Thinking for the Rest of Us, New York: Penguin Random House, S.27]

Dieses Verhalten ist so fundamental unintuitiv für uns Menschen und anders als alles andere was wir aus unserem natürlichen Umfeld kennen, dass wir uns oft schwer tun Prozesse nachzuvollziehen und es uns regelrecht frustiert, wenn etwa die Anzeige auf dem Bildschirm aufgrund eines unvorhergesehenen Fehlers im Programm einfriert. [^ vgl. Maeda (2019), S.27]

Die Qualitäten des Physischen können Computer nur simulieren. Das ist aber zum einen teilweise technisch schwierig (Gewisse Eigenschaften wie Geruch lassen sich bis heute mit digitalen Geräten kaum nachbilden) und zum anderen eben nur eine Simulation, die das Original in seiner Vollständigkeit nicht abbilden kann.

Seit den 1980er Jahren gab es im Design von grafischen Interfaces einen Trend, der Skeumorphismus genannt wird. Dabei wurden die virtuellen Metaphern wie Ordner, Buttons oder der Papierkorb explizit noch dadurch unterstützt, dass sie den physischen Gegenständen, die sie repräsentieren auch visuell so nahe wie möglich kommen. [^ vgl. Interaction Design Foundation - IxDF (2020): Skeuomorphism is dead, long live skeuomorphism, https://www.interaction-design.org/literature/article/skeuomorphism-is-dead-long-live-skeuomorphism (Abruf: 30.06.2024)]

Elemente bekamen Schattierungen und Texturen, die den Eindruck von Dreidimensionalität, Materialität und Haptik vermitteln. So hatte auch in den ersten Versionen des Betriebssystems des iPhone die Notizen-Anwendung den Anschein eines gestickten Ledereinbandes und E-Books standen aufgereiht in einem virtuellen Bücherregal mit Holzoptik.

Das war allerdings natürlich nur eine Illusion, die den Eindruck von Vertrautem vermitteln sollte – nichts davon war tatsächlich, dreidimensional, anfassbar oder haptisch wahrnehmbar. Mit der Zeit verinnerlichten Nutzer:innen diese Metaphern und neue Generationen sind mit vielen der virtuellen Konstrukte oft mehr vertraut als mit ihren analogen Vorbildern. [^vgl. Moggridge (2007) S.149] Das führte dazu, dass von allen großen Softwarehersteller wie Apple, Microsoft, Google – und damit auch im allgemeinen Trend – Interfaceelemente nach und nach wieder auf einfache Farbflächen reduziert und abstrahiert wurden – sogenanntes »Flat-Design«.

Der Alternativentwurf zu solchen grafischen Oberflächen ist Information und Interaktion tatsächlich in physischen Objekten zu verankern. Hiroshi Ishii, beschreibt das Konzept von sogenannten Tangible Bits. Während wir auditiv und visuell bereits seit Jahren in einer Welt der digitalen Information leben, erfahren wir diese kaum durch Tastsinn und Körper [^ vgl. Ishii, Hiroshi (2008): Tangible Bits. Beyond Pixels, in: Proceedings of the 2nd international conference on Tangible and embedded interaction (TEI ’08), New York: Association for Computing Machinery, https://doi.org/10.1145/1347390.1347392 (Abruf: 30.06.2024), S.XV]

Um das zu erreichen, müssen Schnittstellen von der digitalen zur physischen Welt geschaffen werden: Objekte, die wir tatsächlich greifen können, die in phänomenologisch verorteten Prozessen integriert sind. Graphical User Interfaces (GUI) werden zu Tangible User Interfaces(TUI)

Tangible Interfaces funktionieren auf verschiedenen Ebenen. Sie agieren sowohl als Controller als auch als Repräsentation der digitalen Information, die sie kontrollieren [^vgl. Ishii (2008), S.XVI]

Ein bekanntes, frühes Beispiel eines TUIs ist Durrell Bishop’s Marble Answering Machine. Eine kleine Kugelbahn mit verschiedenfarbigen Murmeln wird zu einem Telefon-Anrufbeantworter. Jede Murmel repräsentiert eine hinterlassene Nachricht. Sie können entweder zurück in die Maschine gelegt werden, um die Nachricht abzuspielen oder in das Telefon um den:die Anrufer:in zurückzurufen. [^vgl. Clark, Sean (2014): A New Interface, in: CRIS – Bulletin of the Centre for Research and Interdisciplinary Study, https://doi.org/10.2478/cris-2014-0007 (Abruf: 30.06.2024)]

Physische Interaktion mit Computern schafft Kommunikation und Emotion. Das Objekt gibt intuitiv Aufsschluss darüber, wofür es gut ist. Das ist nicht nur sichtbar, sondern auch fühlbar.[^ vgl. Dourish (2001), S.42] Sie sind dabei vielleicht weniger effizient als rein digitale Lösungen (physische Objekte verbrauchen Platz, sind aufwendiger zu transportieren und können kaputt gehen), dafür aber in der Interaktion wesentlich reichhaltiger. Es ist mehr eine Perspektive des Designs und der Ästhetik als eine des Ingenieurwesens. [^ebd.]

==(Bonsiepe)==

==Alternative Technologien geben weitere Möglichkeiten Qualität der physischen Welt in digitale Geräte zu integrieren. In E-Readern sind beispielsweise seit einigen Jahren E-ink Displays verbaut, die durch fehlende Hintergrundbeleuchtung wesentlich näher an die Optik von Papier kommen. Da sie nur zum Verändern der Anzeige Energie verbrauchen, behalten sie im ausgeschalteten Zustand das Bild bei – werden bei Inaktivität also letztlich zu analogen Artefakten.== ==Leider können sie aufgrund der sehr langsamen Aktualisierungsrate mit der Geschwindigkeit von Computersystemen kaum mithalten und deshalb in den Anwendungsfällen noch ziemlich begrenzt. [^hinweis: innovation] Und doch zeigen Beispiele wie dieses Qualitäten der physischen und der digitalen Welt voneinander profitiern können.==

---Praxis Objekte der Interaktion

Die Arbeit mit digitalen 3D-Objekten ist in Gestaltungsprozessen mittlerweile etabliert und ein mächtiges Werkzeug. Da es sich dabei aber um eine Projektion auf die zweidimensionale Fläche eines Bildschirms handelt, brauchen wir wir abstrahierte Hilfsmittel um räumlich zu navigieren. (Zum Beispiel das Klicken und Ziehen mit einer Maus, um die Ansicht zu drehen oder die Pfeiltasten der Tastatur, um sie im Raum zu bewegen). Was wäre aber, wenn ich ein reales Objekt als Repräsentation und Steuerelement nutzen könnte, indem ich es ganz natürlich im Raum bewege?

Ein altes Projekt kommt mir hier gelegen, das bereits eine ähnliche Technik verfolgt hat und so entsteht ziemlich schnell ein funktionaler Prototyp: Mithilfe eines Gyroskop und Beschleunigungssensoren lassen sich räumliche Bewegungen ziemlich akurat erfassen. Die Daten werden dann von einem Mikrokontroller verarbeitet und in Echtzeit auf ein digitales Objekt übertragen.

In der weiteren Interation reduziere ich das in seiner Größe auf ein Minimum und ergänze es um ein Gummiband, mit dem es sich an beliebigen Gegenständen befestigen lässt.

Fast jeder Gegenstand kann damit zu einem Tangible Interface werden und reale Bewegung direkt in den virtuellen Raum übertragen.

Mit dem Smartphone lassen sich relativ schnell und einfach Gegenstände scannen und als 3D-Modell in die entsprechende Anwendung laden. Mein Object-Controller lässt sich dann an dem Gegenstand anbringen, wodurch dieser direkt mit seinem digitalen Zwilling verknüpfen lässt.

(Durch die Kombinationen mehrerer Objekte entsteht ein digitales Werkzeug, das sich durch dreidimensionale Komposition zu Nutze mach und gleichzeitig Bezugspunkte zu realen Objekten herstellt)

Bereits in frühen Experimenten mit dieser Technik merke ich, wie es direkt viel mehr Spaß macht, zu entdecken welche Formen und Kompositionen bei der Betrachtung der Objekte aus verschiednen Winkeln entstehen, als in üblichen 3D-Programmen mit Maus und Tastatur. Möglicherweise betrachte ich dabei gar nicht mehr das digitale Objekt auf dem Bildschirm sondern das Original im realen Raum, wo ich auf die direkteste Art und Weise mit ihm interagieren kann. Wenn ich dabei beispielsweise aus einem bestimmten winkel eine interessante Form entdecke, habe ich diese breits ins Digitale übertragen und kann mit ihnen dort weiterarbeiten.

Physische und objekthafte Interfaces wie dieses funktionieren aber auch schon auf simplerer Ebene. Ein Drehregler mag die selbe Funktion haben als eine digitale Version, die auf einem Bildschirm angezeigt wird und doch ist das Gefühl der Interaktion direkter und vertrauter. Auf diese Weise können übliche und ständig benötigte Prozesse in digitalen Anwendungen, wie das Ändern von Parametern über Regler oder das Auslösen von Aktionen über Buttons direkt in Objekte übertragen werden und gleichzeitig die grafische User Interfaces vereinfachen oder sogar komplett überflüssig machen.

Oft reichen schon kleine Anpassungen an bereits existierenden physischen Interfaces, um Prozesse zu kontextualisieren. Tastaturen bietet bereits eine taktile Interaktion. Sie sind dabei ursprünglich für das Schreiben entwickelt. Um Funktionalität für andere Abläufe zu ermöglichen müssen wir uns in der Regel mit komplizierten und abstrakten Tastenkombinationen behelfen.

Durch das Verwenden von kleinen »Keypads« mit einem reduzierten Set an Tasten, wird die Interaktion auf die tatsächlich relevanten Optionen beschränkt. Beschriftung und formale Gestaltung des Objekts hilft, die repräsentative Funktion des Interfaces für sein Funktion zu verstärken.

Genauso lassen sich auch bereits viele vorhandene Geräte zweckentfremden und für neue Prozesse nutzen. So funktionieren etwa auch üblicherweise für Videospiele verwendete Gamepads mit ihren Joysticks sehr gut als taktiles Interface für die steuerung von 3D-Objekten.

So entsteht nach und nach eine ganze Reihe von physischen Kontrollern: manche davon selbst gebaut, manche erweitert oder auch einfach für einen neuen Kontext adaptiert.

(Aufzählung)

Ein weiterer Vorteil dieser kleinen Objekte der Interaktion, ist, dass sie beweglich sind und im Raum platziert werden können. Sie werden in einen größeren Arbeitskontext einbezogen und ich kann den Ort der Interaktion bestimmen. In Kombination mit räumlichen Ausgabemedien wie Projektionstechniken kann ich so beispielsweise »Leinwand« und »Werkzeug« am selben von mir gewählten Punkt verorten. Um dieses Verhalten zu unterstützen, statte ich einige der Interfaces mit kleinen Magneten aus, womit sie sich leicht an metallischen Oberflächen befestigen lassen.

Diese Flexibilität ermöglicht dabei auch, dass ich ein bestimmtes Tool einfach zur Seite legen kann, wenn die entsprechende Funktion oder Art der Interaktion im Moment gar nicht benötigt wird. Mit wenigen, vergleichsweise einfachen Mitteln entsteht so also ein dynamischerer, räumlicherer, natülicherer, direkterer und weniger komplexer Arbeitsprozess.

---Praxis

Dieser erste Teil der vorliegenden Arbeit war ein Fokus darauf wie wir mit Computern interagieren. Wir haben festgestellt, wie der Ansatz des Tangible Computing Kontext, Räumlichkeit und Objekthaftigkeit nutzt um einen menschlicheren Zugang zu den virtuellen Welten digitaler Geräte zu schaffen. Im folgenden nehmen wir eine weitere Perspektive ein und erkunden, was zuvor genannte Konzepte eigentlich ermöglichen und wie sie konkret den kreativen Prozess beeinflussen.

Der Computer im kreativen Prozess

Fokus / unendliche Möglichkeiten

Die Idee des Personal Computers ist auch die einer Universalmaschine. Eine Maschine, mit der fast alles möglich ist, was ich mir nur vorstellen könnte – die für jede Aufgabe eine Lösung parat hat.

Personal Computing Geräte wie ein Laptop oder ein Smartphone symbolisieren uns, dass wir mit einem Werkzeug interagieren. Tatsächlich ist der Computer aber das, was Alan Kay als Metamedium beschreibt. Ein Medium, das jedes andere Medium simulieren kann: »It is not a tool, although it can act like many tools.« [^vgl. Kay (1984), S.9] Der Nutzen – das, was wir als Werkzeug verstehen – wird erst durch die Software bestimmt. Wir interagieren damit durch Maus und Tastatur. Das sind universell anwendbare und gelernte Interfaces und der Bildschirm ist ein universelles Ausgabemedium, das sowohl jeden erdenklichen Inhalt, als auch jedes erdenkliche Werkzeug darstellen kann. Die Möglichkeiten sind endlos, alles ist nur einen Klick entfernt.

Das begründet das Potential und die Faszination des Computers. Auch im Marketing von Computer-Herstellen findet sich die Vorstellung einer universellen, kreativen »Powermaschine« seit jeher wieder. Bereits Ende der 70er-Jahre schrieb Apple auf ein Plakat »It can paint like Kandinski, play like Paderewski, and teach you who both of them are.«, um den damaligen 8-Bit Computer Apple II zu bewerben. Analog veröffentlichte der Konzern 2024 einen Werbespot bei der eine Reihe von Gegenständen wie ein Klavier, ein Zeichentisch, Farbdosen, Bücher und ein Plattenspieler von einer Hydraulikpresse zerquetscht und symbolisch in ein iPad verwandelt werden. [^ vgl. Apple (2024): Crush!, YouTube, https://www.youtube.com/watch?v=ntjkwIXWtrc (Abruf 02.07.2024)] Die Botschaft: All diese Artefakte kreativen Schaffens befinden sich nun in einem »magischen Stück Glas« und macht sie immer und überall verfügbar.

Das alles erscheint unglaublich praktisch und effizient. Aber es ist auch fundamental anders, wie wir es gewohnt sind zu arbeiten. Kreative Prozesse brauchen Fokus und Fixpunkte, an denen sie sich orientieren können. ==[Quelle]==

»Klassische« Werkzeuge haben nur einen Zweck. Sie repräsentieren ihre Funktion durch ihr Aussehen und durch ihre Objekthaftigkeit. [^ vgl. Dourish (2001), S.52] Ein Computer hingegen ist innerlich und äußerlich eine Black Box, die irgendwie alles kann, aber doch nichts davon ist.

Das schlägt vor, dass wir einen neuen Fokus auf einzelne Prozesse brauchen, Konzepte, die die Flut an Optionen an den richtigen Stellen vereinfachen. John Maeda schreibt in seinem Buch »Simplicity«:

»Simplicity is about subtracting the obvious and adding the meaningful« [^ Maeda, John (2006): The Laws of Simplicity, Cambridge: MIT Press, S.89]

Computer verleiten uns zu denken, dass all die Möglichkeiten, die sie uns bieten, auch nützlich und notwendig sind. Dabei ist, was wirklich bedeutend ist, letztendlich vom Kontext abhängig, in dem wir ein Werkzeug nutzen. Ein Kontext, den wir durch Gestaltung und Reduzierung interaktiver Systeme greifbar machen können.

**---Praxis: Werkzeug Orchester **

Ich versuche die verschiedenen Hardware- und Software-Werkzeuge für komputer.space so weit wie möglich zu vereinfachen.

Dabei kommt mir immer wieder eine Analogie zu Musikinstrumenten in den Sinn. Instrumente haben nur eine einzige Aufgabe – in Bauhaus-Tradition folgt ihre Form der Funktion – und doch sind sie oft sehr emotionale Gegenstände für die Menschen, die sie benutzen und haben einen hohen ästhetischen Wert. Ein Instrument bestimmt seine eigene Tonalität, manche sind etwas schwerer zu bedienen, andere leichter und doch – egal ob E-Gitarre, Klavier oder Xylophon – sind sie in sich geschlossene Systeme. Jedes klingt ein wenig anders und doch machen sie alle Musik.

Nach diesem Vorbild ist jedes meiner Tools beschränkt auf möglichst wenige Funktionen. Ich versuche, sie jeweils nur auf einen konkreten Anwendungsfall zu fokussieren und optimieren, anstatt eine Universalmaschine zu bauen, die überladen ist mit Optionen, von denen immer nur ein kleiner Teil im aktuellen Prozess benötigt wird. So entsteht beispielsweise eine Anwendung, mit der sich räumliche Kompositionen aus 3D-Objekten erstellen lassen, eine andere, die sich ausschließlich typografischer Komposition widmet und eine weitere zur Manipulation von Bilddateien.

Ich merke, wie nicht unbedingt immer alle Optionen sofort zur Hand zu haben, die eigene Kreativität auch richtig befeuern kann. Vor allem während ich Systeme nutze, die ich parallel noch entwickle, ist vieles, was wir im Umgang mit digitalen Werkzeugen mittlerweile gewohnt sind, nicht möglich oder einfach noch nicht umgesetzt. Eine Rückgängig-Funktion? Gibt es (noch) nicht. Mal eben die Farbe von dieser Schrift ändern? Geht nicht. Die kleine Unförmigkeit in jenem 3D-Objekt korrigieren? Geht auch nicht. Wenn mir eine Funktion für das, was ich erreichen möchte, fehlt, muss ich selbst schauen, welche Methoden ich dafür zur Verfügung habe. Gibt es vielleicht ein anderes Werkzeug, auf das ich zurückgreifen kann? Geht es vielleicht mit einer analogen Technik viel schneller und einfacher? Dabei denke ich viel mehr darüber nach, ob ich das wirklich tun will oder ob eine scheinbare visuelle Imperfektion vielleicht sogar gar nicht so schlecht ist, wie im ersten Moment gedacht.

Am Ende ist immer noch alles möglich. Ich kann Werkzeuge beliebig miteinander kombinieren. Die Software arbeitet mit standardisierten, offenen Dateiformaten wie Bilddateien und 3D Modellen, die sich einfach per »Drag-and-Drop« importieren lassen. Verschiedene Kontroller können mit verschiedenen Programmen verbunden werden und ermöglichen neue Arten der Interaktion.

So kann ich mir aus einer Reihe von simplen Werkzeugen meine eigene Maschine der unendlichen Möglichkeiten konstruieren. Die einzelnen Instrumente werden zu einem Ensemble oder sogar einem Orchester.

Trotzdem bleibt das kreative Arbeiten fokussiert auf das Wesentliche: das Gestalten. Zu jedem Zeitpunkt ist klar, was gerade passiert – es geht um einen bewussten Prozess.

---Praxis

Prozesshaftigkeit

Die Möglichkeiten von Computern, werden durch ihre Fähigkeit sich untereinander zu vernetzen, noch einmal verstärkt. Durch augenblicklichen Zugriff auf entfernte Daten und Rechenleistung entsteht eine noch viel größere »Wundermaschine«:

They can all run loops singly, doubly, and in multiple dimensions, and they can text each other (and ask each other for help) millions of times per second. We like our computers to grow infinitely in their skill level and capabilities, and the cloud lets us do just that. Today we’re at a point when holding any digital device is like grasping the tiny tentacle of an infinitely large cyber-machine floating in the cloud that can do unnaturally powerful things. The useless computer that sat innocently on your desk for many years as an exotic replacement for your typewriter is now a gateway to billions of other computers in the cloud. [^ Maeda (2019), S.63]

In vernetztem und dezentralem Computing besteht aber auch eine weitere Gefahr, dass wir vom eigentlichen Arbeitsprozess entkoppelt werden. Mit so vielen Rechenprozessen, die ständig im Hintergrund und auf verschiedenen Geräten ablaufen, ist es schwer den Überblick zu behalten, was eigentlich gerade passiert. Was findet auf dem Gerät vor mir, was auf entfernten Servern? – diese Prozesse verschwinden und werden ungreifbar. Ja, wir machen uns eigentlich nicht einmal mehr Gedanken darüber. ==[Bsp]==

==[^ Suchman, Lucy A. (1985): Plans and situated Actions. The Problem of Human-Machine Communication, http://bitsavers.trailing-edge.com/pdf/xerox/parc/techReports/ISL-6_Plans_and_Situated_Actions.pdf (Abruf: 17.05.2024) ZITAT_TBD]==

Und nun hat sich kürzlich noch eine ganz neue Technik rasant weiterentwickelt, die Prozesse noch viel mehr versteckt. Künstliche Intelligenz und Machine Learning basieren auf der Idee, dem Computer gar nicht mehr sagen zu müssen, was er tun soll, sondern ihn nur noch mit Daten zu füttern und ihn selbst lernen zu lassen, Probleme automatisiert zu lösen.

Das ist fundamental anders als jede andere Art von Computing. Computer waren schon immer hochkomplexe Maschinen, aber es ist durchaus möglich, sie zumindest bis zu einem gewissen Grad zu verstehen. Immerhin mussten sie ja von jemandem programmiert werden. Doch mit gigantischen, künstlichen neuronalen Netzten, wird es sogar für deren Erschaffer:innen immer schwieriger, nachzuvollziehen, was genau in ihnen vorgeht. Die Black Box ist vollkommen. Menschliche Interaktion mit dem Computerprozess (im Sinne eines Rechenprozesses) ist völlig verschwunden.

Dabei ist die Auseinandersetzung und Involviertheit in den Prozess, was wir Menschen genießen und was letztlich Kreativität ausmacht. Wir können beobachten, wie mit der fortschreitenden Digitalisierung sich auch analoge Medien wie Schallplatten wieder steigender Beliebtheit erfreuen. Hier werden Prozesse wieder gegenständlicher, langsamer und bewusster.

Kreativität findet im Kopf statt, aber auch durch das Machen. André Vladimir Heiz beschreibt das Tun und Denken als zentrales Gegensatzpaar im gestalterischen Prozess: »Das eine ohne das andere ist […] weder machbar noch denkbar.« [^ Heiz, Andrè Vladimir (2012): Prozesse und Programme. Prozesse durchschauen – Prozesse ausführen, Grundlagen der Gestaltung, Band 1, Sulgen: Verlag Niggli, S.25]

Er nennt dabei weiter als verbindende Elemente für diese Wechselwirkung sogenannte Kompetenzen und Performanzen. Kompetenzen sind die Fähigkeiten, die verschiedene Werkzeuge und Materialien uns bieten, während wir diese durch Performanzen aktivieren und ausführen. [^vgl. Heiz (2012): Prozesse und Programme, S.176]

Der Computer ist in diesem Modell eine Kompetenz, die uns vielfältiger Weiße befähigt – ein wirkliches Abrufen und Ausführen dieser Kompetenz funktioniert aber erst, wenn wir die Funktionsweise und Möglichkeiten, die er uns bietet, auch wirklich verstehen und kontrollieren können. Tangible Computing bedeutet also nicht nur, digitale Welten durch physische Interaktion greifbar und wahrnehmbar, sondern auch auf gedanklicher Ebene verständlicher zu machen.

Wenn wir so das Potential digitaler Kompetenzen und menschlicher Ausführung, zwischen Denken und Machen wirklich ausnutzen und verknüpfen, kann der Computer zu einem Werkzeug werden, dass den kreativen Schaffensprozess erweitert und befähigt. Steve Jobs bezeichnete den Computer als »Bicycle of the Mind«. Ein Vehikel, dass uns aus eigener Kraft und Fähigkeiten zu neuen Leistungen befähigt [^ vgl. The Financial Review (2020): »A Bicycle of the Mind« – Steve Jobs on the Computer, YouTube, https://www.youtube.com/watch?v=L40B08nWoMk, 0:00min – 1:00min, (Abruf: 02.07.2024)]

Die Kompetenzen des Computers sind einzigartig und ermöglichen Handlungen, die ohne ihn nicht möglich wären. Er kann systematisch Daten manipulieren und in Sekundenbruchteilen zahllose Variationen von etwas generieren. Er kann fast alles simulieren und Informationen nicht-destruktiv verarbeiten. Er kann sich vernetzen und zeitliche und räumliche Beschränkungen des Physikalischen überwinden.

Das »Unmögliche« kann dabei auch eine Quelle der Imagination sein. So herausfordernd es ist, die virtuellen Welten des Computers für menschliches Handeln greifbar zu machen, liegt darin auch das Potential des Computers, neue gedankliche Welten zu schaffen:

»But what computer code can represent is where the true potential lies. We could say the same for the words you are reading on this page in the sense that they spark intangible ideas in your mind« [^ Maeda (2019), S.13]

==([Bildwelten])==

---Praxis: Computer sichtbar machen // Computerästhetik

Schon immer fand ich gestalterische Entwürfe insbesondere dann interessant, wenn sie Spuren ihres Entstehungsprozesses zeigen. Genau wie der Charme eines analogen Druckverfahrens, in dem nicht zu 100% gleichmäßigen Farbauftrag liegt oder ein gezeichneter Strich Ausdruck des Zeichenmaterials und der Bewegung der ausführenden Person ist, treten auch im direkten Arbeiten mit dem Computer die der Digitalität eigenen Spuren zum Vorschein.

Als ich mit verschiedenen Bildfiltern experimentiere, entstehen bizarre Abstraktionen und mir wird wieder bewusst: Dem Computer ist egal, was das, was er gerade auf dem Bildschirm darstellt, abbildet. Er »denkt« nur in Pixeln und mathematischen Werten, die nur für das menschliche Auge verschiedene Farben repräsentieren.

Computer tun genau, was ihnen gesagt wird – was nicht immer das ist, was man erwartet. Die Erwartungshaltung ist nicht Teil des Systems. Vieles, was im Digitalen stattfindet, dekonstruiert Bildhaftes, es entstehen »Glitches« und eine einzigartige Stilistik. Eintauchen in den digitalen Prozess bedeutet auch, die eigene Ästhetik des Mediums zu entdecken. Wir befinden uns im Cyberspace.

Die Entscheidung, wie ich das nutzen will, wo ich die chaotischen Eigenheiten des Mediums zulassen will und wo Struktur, Bild und Symbolik wieder eine Rolle spielt, liegt dann bei mir als Gestalter. Die Wahl des Werkzeugs und der damit einhergehenden Prozessästhetik ist eine konzeptionelle Entscheidung.

Das Zulassen direkter Prozessspuren wirkt für mich in jedem Fall aber wesentlich ehrlicher als das ständige Simulieren oder Eliminieren dieser – die Perfektion, zu der viele digitale Werkzeuge mit ihren unzähligen Einstellungen, Retuschefunktionen und jetzt auch KI-Erzeugnissen verleiten.

Computer sind ein wichtiger Bestandteil der Welt, in der wir leben und damit auch Teil unserer visuellen Sprache.

---Praxis

Schnittstellen

Die Integration von computerbasierten Prozessen in natürliche, menschliche Prozesse wie Kreativität, ist auf vielen Ebenen eine der Schnittstellen.

Zunächst ist da die Schnittstelle zwischen Mensch und Maschine. Wir sprechen dabei in der Regel vom »Interface«. Gui Bonsiepe beschreibt den Interface-Begriff als fundamentales Konzept des Designs und Schlüsselelement in der Erzeugung von Werkzeugen:

»Das Interface erschließt den Werkzeugcharakter von Objekten und den Informationsgehalt von Daten. Interface macht Gegenstände zu Produkten. Interface macht aus Daten verständliche Informationen. Interface macht aus bloßer Vorhandenheit – in heideggerscher Terminologie – Zuhandenheit.« [^ Bonsiepe (1996), S.20]

Das Interface ist also das Element, das das abstrakte Konstrukt Computer zum Werkzeug macht.

Im Paradigma des Tangible Computing gehen Werkzeuge nun aber über rein funktionale Informationsverarbeitung hinaus. Schnittstellen entstehen hier auch in der Verbindung verschiedener Kontexte. Dourish schreibt:

»This is a critical feature of the tangible media explorations. They should be characterized not in terms of “input” and “output,” but in terms of the coordination between phenomena; between activity in a space and the pattern of light on a wall, or between the movement of objects on the desk and the information presented there.« (dourish 47)

Kontextualisiertes Arbeiten mit dem Computer erzeugt so einen Raum, der Übersetzungen und Brücken vom einen zum anderen schlägt:

zwischen Mensch und Computer
zwischen Gedanklichem und Gegenständlichem
zwischen Realität und Virtualität
zwischen Denken und Machen
zwischen Analogem und Digitalem

Scheinbare Gegensätze agieren hier als kreatives Potential. Wenn wir uns zwischen zwei Polen befinden, hilft uns das, uns zu orientieren, den Prozess einzuordnen und Entscheidungen zu treffen. [^vgl. Heiz, Andrè Vladimir (2012): Strukturen und Systeme. Strukturen erkennen – Systeme gestalten, Grundlagen der Gestaltung, Band 2, Sulgen: Verlag Niggli, S.95]

Computer in diesem Sinne zu nutzen bedeutet auch, ihn manchmal bewusst nicht zu benutzen. Thomas und Martin Poschauko definieren in ihrem Buch NEA MACHINA eine Verbindung aus den vier Elementen Kopf, Bauch, Hand und Computer. Sowohl die beiden Gegensätze auf Ideen-Ebene (Kopf und Bauch) als auch auf Werkzeug-Ebene (Hand und Computer) haben ihre ganze eigen Vor- und Nachteile und lassen sich nach einem Rotationsprinzip in unterschiedlichen Prozessen effektiv kombinieren. [^ vgl. Poschauko, Thomas & Martin (2018): Nea Machina. Die Kreativmaschine, Mainz: Verlag Hermann Schmidt, S.42 f.]

Der Wechsel zwischen Prozessen – z. B. auch zwischen der digitalen Arbeit mit dem Computer und der analogen Arbeit ohne Computer – kann helfen, kreative Blockaden zu lösen. Wenn wir mit einer Methode nicht weiterkommen, wechseln wir zu einer anderen. Die Arbeit gibt uns dann ganz neues Feedback, was oft Blockaden löst und neue Wege zum Ziel erschließt. [^ vgl. Poschauko, Thomas & Martin (2018), S.44 f.]

---Praxis: Prozesse verbinden

Immer wieder merke ich, wie ganz neue Schaffensprozesse entstehen, indem ich ganz verschiedene Prozesse miteinander verbinde. Digitales und analoges Entwerfen produziert ganz natürlicherweise formalästhetisch sehr unterschiedliche Ergebnisse. Auf der einen Seite durch Logik bedingte klare Linien und strukturierte Formen, generative Varianz und Automatisierung. Auf der anderen Seite natürliche Varianz und Imperfektion, eine gewisse Körperlichkeit und Lockerheit.

Verschiede Technologien agieren dann als verbindendes Element, um Schnittstellen zwischen den beiden Welten zu schaffen. Da wäre zum einen der Projektor mit dem ich jederzeit digital generiertes auf analoge Zeichen- und Arbeitsflächen projezieren kann. Diese Projektionen können dann als Vorlage dienen, die ich beispielsweise mit einem analogen Stift nachzeichne oder einfach abfotografiere. Die Bilder kann ich dann wieder mit digitalen Filtern manipulieren, abstrahieren usw.

Ein kleiner Handscanner wird zu einem weiteren hilfreichen Werkzeug, um schnell analoge Entwürfe ins Digitale zu übertragen. Durch möglichst unmittelbare Schnittstellen verliere ich viel weniger Zeit, indem ich mich nicht mit Simulationen herumschlage. Frage ich mich beispielsweise im Entwurfsprozess, ob eine Beschriftung handschriftlich statt in gesetzter Typografie besser wäre oder möchte eine Fläche mit einer Textur versehen, kann ich diese Dinge schnell analog produzieren, einscannen und wieder in die digitale Komposition übertragen.

==(Wechsel zwischen Prozessen hält Flow am Laufen)==

Die Verbindungen entstehen aber nicht nur auf formaler Ebene, sondern auch ganz unterschiedliche Arbeitsprozesse an sich werden verschränkt. Während ich die digitalen Werkzeuge programmiere, findet ein systematisches Denken im ständigen Wechsel mit einem Beurteilen des Ergebnisses statt (»Was passiert, wenn ich diesen Parameter ändere oder jene algorithmische Funktion hinzufüge«). Analoges Arbeiten und die Interaktion mit Tangible Interfaces und räumlichen Werkzeugen bietet hingegen die Möglichkeit viel körperlicher zu arbeiten. Auch hier gibt mir der Entwurf Feedback – der Fokus liegt aber vielmehr auf Kriterien wie Haptik, Materialität und Raumwirkung.

Um den Kontrast zwischen digital und analog voll auf die Probe zu stellen, wage ich schließlich auch ein Experiment, bei dem ich mit Acrylfarben male und diesen Prozess mit meinen digitalen Werkzeugen erweitere. Ich habe kaum Erfahrung mit dem Malprozess und so sind die digitalen Projektionen auch wie eine Art Hilfestellung für mich. Gleichzeitig provoziert dieses ungewöhnlich Setup spielerisches Denken und Handeln und ich probiere immer wieder neue Verbindungen aus. Funktioniert es besser, wenn ich projizierte Formen genau nachzeichne oder wenn ich mich eher mit lockerem Pinselstrich grob daran orientiere? Welche digital generierten Elemente möchte ich nutzen und wie wirken sie, wenn ich sie auf die physische Leinwand übertrage? Abstrakte Muster? 3D-Ojekte? Typografie?

Am Ende geht es weniger um das Ergebnis an sich, sondern um die Erfahrung des Prozesses dahinter und wie es mich auf ganz andere Weise in den kreativen Prozess involviert und auf neue Ideen bringt. Es findet ein ständiges Wechselspiel statt – aus der Freude am spielerischen Machen, konzeptionellen und technischem Denken.

---Praxis

Kontrolle und Kontrollverlust

Moderne Computersysteme haben uns beigebracht, ständig alles zu kontrollieren. Computer sind fundamental logische Systeme. Sie verfahren nach Plan und tun genau das, wozu sie programmiert wurden.

In der Art wie typische Computeranwendungen gestaltet und programmiert sind, wird dieses Verhalten oft übernommen. Lucy Suchman kritisiert dieses Modell, das davon ausgeht, dass menschliche Aktivität immer nach geplanten Entscheidungen verläuft. Handlungen sind aber in ihrem situativen Kontext meist nur vage strukturiert und nicht durch objektive Planung abbildbar. [^ vgl. Suchman, Lucy A. (1985): Plans and Situated Actions. The Problem of Human-Machine Communication, http://bitsavers.trailing-edge.com/pdf/xerox/parc/techReports/ISL-6_Plans_and_Situated_Actions.pdf (Abruf: 17.05.2024), S.123]

Insbesondere kreatives Arbeiten ist oft chaotisch und improvisiert. Wir können versuchen, den Prozess in einem gewissen Rahmen zu strukturieren und Methoden anzuwenden, die helfen konsequenter Ergebnisse zu produzieren (und Computer können uns dabei helfen), aber ultimativ ist die Idee nicht planbar. Um diese Natur des Chaotischen zuzulassen und zu stützen, müssen wir uns immer wieder vom Strukturzwang des Computers lösen und das chaotische Element in die Interaktion mit digitalen Werkzeugen integrieren. Ein Ansatz, der sich auch im eingangs erwähnten dritten Paradigma der HCI wiederfindet:

Under the third paradigm, the context ideally includes the totality of experience, including aspects that may be irrelevant to the immediate goal of the interaction. (Researchers tend to ask not only “how does context give our design meaning?”, but also “how does our design accommodate the context?”) [^ Harrison, Tatar, Sengers (2007), S.8]

Wenn auch Computer als logische Rechenmaschine eigentlich keine Eigenschaften des Chaos oder des Zufalls besitzen, können sie diese Dinge simulieren. Paradoxerweise funktioniert das oft über nur wenige logische Regeln.

Das von dem Mathematiker John Conway entwickelte Game of Life ist beispielsweise eine automatisierte Simulation, bei der sich Zellen in einem Gitter abhängig vom Zustand ihrer Nachbarzellen basierend auf nur zwei Regeln aktivieren und deaktivieren (einfärben). Es entsteht ein bewegliches Muster, das in seinem Verhalten an den zeitlichen Ablauf von über mehrere Generationen hinweg »lebenden« und »sterbenden« Pixeln erinnert. In solchen Algorithmen mag Logik und Mathematik stecken, aber was wir als Menschen beobachten, ist plötzlich Lebendigkeit, Chaos und unvorhersehbare Abläufe.

Das Unvorhergesehene ist oft ein wichtiger Akteur im kreativen Prozess und Entwurf und Quelle neuer Ideen. Thomas und Martin Poschauko vergleichen das mit dem Entdecken von »Schätzen am Wegesrand« die durch das zwischenzeitliche Abkommen vom geplanten Weg entstehen und so den Prozess bereichern. [vgl. Poschauko, Thomas & Martin (2018), S.94 f.]

Auch hier steckt das Potential in dem Zwischenspiel zwischen zwei Gegensätzen: Kontrolle und Kontrollverlust. Computer bieten Funktionalität, strukturierte Prozesse, gezielte Lösungen und die Fähigkeit komplexe Systeme zu simulieren. Es ist wichtig, diese Prozesse zu verstehen, um sie zu gestalten und zu entscheiden, wann und aus welchem Grund wir sie anwenden. Gleichzeitig können wir sie aber auch bewusst auf einer abstrahierten Ebene betrachten und uns die eigene Unfähigkeit, sie zu verstehen, zunutze machen, um das Unvorhergesehene zuzulassen.

---Praxis: Dialog mit Computern

Im Spiel mit Kontrolle und Kontrollverlust spielt ein Versuch zu Beginn des Projektes eine Schlüsselrolle. Ich experimentiere mit einer Boids-Simulation (ein von Craig Reynolds entwickelter Algorithmus der, ähnlich wie Conways Game of Life, mit einigen wenigen Regeln künstliches Schwarmverhalten simuliert) und projiziere diese auf ein Blatt Papier. Dabei kommt mir die Idee, zu versuchen, eines der vielen bewegenden Teilchen mit einem Stift zu verfolgen. Da die Bewegung aber so schnell ist, funktioniert das nur halbwegs und sehr ungenau und es entsteht eine Zeichnung einer chaotischen, scheinbar zufälligen Linie.

Dieser Zufall ist dabei weder ein rein digitales Produkt noch ein rein analoges. Er entsteht, wenn man so will, aus dem Dialog mit dem Computer heraus. Ich einige mich sozusagen auf einen Deal mit dem Computer: »Du rechnest, ich zeichne« und übergebe dann die Kontrolle an den Prozess. Anschließend kann ich diese Kontrolle wieder übernehmen und entscheiden, was ich mit dem Ergebnisse mache.

Solche Dialog-Mechaniken entstehen im spielerischen Arbeiten mit dem Computer immer wieder. Ich wähle einen rechnerischen Prozess, schaue mir an, was herauskommt und wähle dann den nächsten Prozess.

Menschen und Computer sprechen fundamental unterschiedliche Sprachen. Ich kämpfe mich damit ab, seine zu erlernen, wenn ich ihn programmiere und versuche ihm damit beizubringen, Ergebnisse zu produzieren, die in meiner Sprache wieder einen Sinn haben.

In diesen Dialogen entstehen ganz automatisch Kommunikationsschwierigkeiten: Unvorhergesehenes, Zufälliges und Chaotisches – sozusagen »Übersetzungsfehler«. Dass die Eingabe durch die Programmierung und die Ausgabe im kreativen Entwerfen so nahe beieinander liegen ist dabei ja eher die Ausnahme. Üblicherweise ist Verarbeitung von Information in der digitalen Welt ja noch viel indirekter, da Programmierer:in und Anwender:in unterschiedliche Personen sind, nie direkt miteinander sprechen und möglicherweise ganz unterschiedliche Intentionen haben. Wohl kaum hat Reynolds 1986 mein kleines Experiment im Sinn gehabt – und doch war es für mich ein inspirativer Moment, den es ohne seinen Algorithmus wahrscheinlich nicht so gegeben hätte.

==(malen)== ==(sprach framing durch das tool)==

---Praxis

Open Tools (Perspektive 3)

Wir haben nun eine Reihe von Wegen erschlossen, wie wir mit einem greifbaren Ansatz an Computing neue kreative Potentiale ausschöpfen können. Dabei war immer wieder erkennbar, wie verschiedene Aspekte (Körperlichkeit, räumlicher Zugang, Kontext, Prozesshaftigkeit, …) zum einen sehr von individuellen Bedürfnissen kreativ schaffender Personen abhängig ist und zum anderen von einer intensiven Auseinandersetzung mit dem Prozess profitiert. Mit Blick darauf wie das (auch in einem gesellschaftlichen Kontext) zu ermöglichen ist, öffnet sich eine weitere Perspektive – die von offenen, kollaborativen Strukturen und unabhängigen Werkzeugen.

Greifbarkeit bedeutet so auch, dass digitale Werkzeuge und Ressourcen, gemeinschaftlich entwickelt, leicht verständlich, individuell anpassbar und zugänglich gemacht werden.

Zugänglichkeit

Zugang zu Computern ist heute theoretisch so leicht wie noch nie. Der Großteil aller Menschen besitzt Zugang zu einem persönlichen Computer in irgendeiner Form. (Vor allem im globalen Kontext leider nicht alle, aber dieses Thema würde den Rahmen dieser Arbeit sprengen.)

Und tatsächlich sind diese Geräte auch wirklich über eine frei zugängliche Infrastruktur verbunden, die Zugriff und Austausch von Informationen und Software ermöglicht: Das Internet.

Durch seine Offenheit und freie Zugänglichkeit ist das Internet aber auch ein Ort, an dem Utopien aufeinandertreffen. Jens Schröter beschreibt die miteinander schwer vereinbarenden Ideen eines »global brains« auf der einen Seite, das kooperativen, harmonischen Austausch ermöglichen will und auf der anderen Seite das neoliberale Ideal, das im Web eine Plattform zur uneingeschränkten Auslebung individueller Freiheiten sieht. [vgl. Schröter, Jens (2004): Das Netz und die Virtuelle Realität. Zur Selbstprogrammierung der Gesellschaft durch die universelle Maschine, S.133]

Letzteres führte schließlich zu immer größerer ökonomischer Nutzung. Das Internet ist heute ein hoch-kommerzialisierter Raum. Kapitalistische Strukturen haben aus der Idee eines offenen Raums, die Entwicklung von geschlossenen Systemen innerhalb dessen begünstigt. Social-Media-Plattformen haben die Idee des Teilens individueller Inhalte, wie es zunächst über persönliche Webseiten und Blogs geschah, übernommen und in geschlossene Plattformen übertragen. Hier teilen wir weiterhin Beiträge über das Internet, aber alle Inhalte bleiben innerhalb einer nach außen abgegrenzten von einer Firma kontrollierten Plattform. Es baut sich Druck auf, entsprechende Plattformen zu nutzen, welche sich so optimal vermarkten lassen.

Abhängigkeiten von aus kommerziellen Gründen künstlich geschaffenen »Käfigen« sind in nahezu allen Bereichen digitaler Technologien zu finden: Firmen wie Apple verschränken Hardware und Software innerhalb ihrer eigenen Produkte sehr gut und schränken die Kommunikation zu anderen Systemen nach außen gleichzeitig künstlich stark ein. Im Gestaltungsbereich hat Adobe quasi ein Monopol auf Kreativsoftware geschaffen, indem es ein ganzes Paket an Werkzeugen anbietet, das vermeintlich alle Bedürfnisse abdeckt. Als erster großer Anbieter konnte es sich als Industriestandard etablieren und ist nun durch in sich geschlossene Systeme und Dateiformate scheinbar unverrückbar.

Trotz kommerzieller Plattformen, die uns mit Bequemlichkeit in künstlich abgegrenzte Kontexte locken, bietet das Web noch immer eine freie Infrastruktur zum Austausch von Informationen und immer mehr auch Werkzeugen. Auch komplexe interaktive Programme sind mittlerweile im Webbrowser ausführbar. Websites sind ein standardisiertes und Format mit vielen Möglichkeiten und bieten so einen Raum in der Kreativsoftware frei zugänglich gemacht werden kann.

Die digitale Welt bleibt ein Ort an dem immer wieder Ideen offener, und zugänglicher Strukturen geboren wurden und noch immer präsent sind. Bestes Beispiel ist hier die Open-Source-Bewegung.

==(cathedral and bazar)==

Der Open Source Gedanke muss aber keineswegs auf die rein technische Ebene der Software Entwicklung beschränkt bleiben. Technologien wie 3D-Druck ermöglichen mittlerweile auch im Hardware-Bereich ein einfaches Teilen und Nachbilden von frei zugänglichen Bauplänen.

Bereits vor der Zeit des Internets wurde 1968 zum ersten mal der Whole Earth Catalog publiziert, der unter dem Motto »access to tools« ähnliche Ideen vertrat. Das Magazin, sammelte bemerkenswerte Werkzeuge im weitesten Sinne (Bücher, Geräte, Kleidung, …) und veröffentlichte diese zusammen mit kurzen Kritiken und Informationen, wie die Produkte zu erwerben sind.

Durch die Schaffung und Nutzung frei zugänglicher Ressourcen und Werkzeuge, kann insbesondere auch kreative und gestalterische Praxis profitieren, variantenreicher und unabhängiger werden. Durch offene Strukturen und untereinander kommunizierende System kann sie ihren vielfältigen Anforderungen an Anwendungsfällen und medialer Umsetzung gerecht werden. Kreatives Computing arbeitet mit Bildern, Texten, Objekten, Audio, Bewegtbild und vielem dazwischen. All das erfordert unterschiedliche digitale Prozesse und physische Kontexte und gleichzeitg offene Schnittstellen.

Ein gewisser Trend in die Richtung offener Systeme ist auch bereits zu beobachten. Anwendungen wie Figma oder Miro sind webbasiert und damit über jeden Browser, auf jedem Gerät zugänglich – allerdings immer noch in sich geschlossene Systeme. Die 3D-Software Blender ist kostenlos verfügbar, funktional auf Industriestandard und seit Jahren Paradebeispiel für die Open-Source-Bewegung.

Das Notizwerkzeug Obsidian geht hier noch einen Schritt weiter. In Sinne des Konzeptes »File over App« basiert es bewusst auf einem offenen, standardisierten Markdown-Dateiformat (prinzipiell reine Text-Dateien). Dadurch wird sichergestellt, dass die gespeicherten Text-Informationen auch unabhängig vom Werkzeug, mit dem sie verarbeitet werden, lesbar sind und auch in längerfristiger Zukunft bestehen bleiben. Der Inhalt steht im Vergleich zum Werkzeug im Mittelpunkt. [^vgl. Ango, Steph (2023): File over App, https://stephango.com/file-over-app (Abruf 25.06.2024) ]

---praxis Open Source Design

Ein offener und dokumentarischer Zugang war von Anfang an Bestandteil des Projektes. Über den ganzen Zeitraum der Arbeit hinweg habe ich Experimente, Gedanken, Inspiration und Notizen auf einer öffentlich zugänglichen Website festgehalten. (→ notebook.komputer.space)

Sowohl verschiedene Prototypen als auch die finalen Werkzeuge sind webbasiert in Javascript programmiert und damit von überall über einen Webbrowser zugänglich.

Später habe ich auch den kompletten Code der Toolbox veröffentlicht. Damit ist aber nicht nur meine eigene Arbeit Open Source – viele quelloffene Libarys und Frameworks ermöglichten überhaupt erst die technische Umsetzung in dieser Form. Grafische Bibliotheken wie unter anderem p5.js, three.js und Paper.js sind die Basis der visuellen und interaktiven Umsetzung. Das Content-Framework Astro half mir, schnell und einfach dokumentarisch Inhalte auf verschiedenen Websites zu strukturieren. Aber auch ganze externe Anwendungen wie das Mindmap-Tool Excaldidraw ließen sich in meine eigene Plattform integrieren, da dessen Quellcode von den Entwickler:innen frei zur Verfügung gestellt wird.

Auch die bewusste Verwendung offener Dateiformate ist ein Bestandteil des Konzepts. Zum einen verwenden meine eigenen Werkzeuge standardisierte Dateitypen für Import und Export (.gltf/.glb für 3D-Daten, .ply für Gaussian Splats und übliche Bildformate wie .png und .jpg) und sind dadurch kein in sich geschlossenes System und kompatibel mit anderen Programmen. Zum anderen wähle ich bewusst Werkzeuge, die einen ähnlichen Ansatz verfolgen. Astro baut beispielsweise auf reinen Text- und Bilddaten auf und dient nur dazu, diese Inhalte dynamisch zu fertig formatiertem und gestalteten Website-Code zu verarbeiten. Information, Gestaltung und Werkzeug sind voneinander unabhängig.

Immer wieder stelle ich fest, wie gut diese Verwendung von fast ausschließlich webbasierten und offenen Werkzeugen im Designprozess funktioniert. Es ermöglicht beispielsweise auch leichtes Teilen von Zwischenständen und das Inkludieren Dritter schon während des Prozesses. Gleichzeitig ist es weitgehend unabhängig von spezifischen Plattformen und ich bin flexibel nach Bedarf Werkzeuge zu wechseln oder weitere hinzuzufügen.

So wird komputer.space in der Tradition des Whole Earth Catalogs ein offenes »evaluation and access device.« [^ Whole Earth Catalog (Fall 1968), PDF, https://archive.org/details/1stWEC-complete (Abruf: 23.04.2024), S.3] Es ist eine Dokumentation und Veröffentlichung meiner Recherchen und Arbeitsergebnisse. Kompletter Prozess und Ressourcen sind offen gelegt, wodurch es nachvollziehbare Anküpfungspunkte für Designer:innen, Software-Entwickler:innen, Kreative und Interessierte bietet, ohne dogmatisch eine feste Struktur vorzugeben.

---praxis

Individuelle Werkzeuggestaltung

Ein Lösen aus der Abhängigkeit von etablierten Werkzeugen wie der Creative Cloud von Adobe kann nur durch individuellen Einsatz und Entwicklung neuer Systeme aus der Praxis und der Gemeinschaft der Anwender:innen selbst entstehen.

Freier Zugang, Open Source und eine damit einhergehende DIY-Kultur bietet auch die Möglichkeit der Individualisierung, persönlichen Weiterbildung und Kontextualisierung. Diese Idee fand sich auch im Whole Earth Catalog wieder, der die eigene Zielsetzung einleitend so beschreibt:

»[…] power of the individual to conduct his own education, find his own inspiration, shape his own environment, and share his adventure with whoever is interested.« [^ Whole Earth Catalog (Fall 1968), PDF, https://archive.org/details/1stWEC-complete (Abruf: 23.04.2024), S.3]

Auch Dourish nennt das Individuum als zentrale Rolle im Tangible Computing. Es geht nicht mehr nur darum, was Nutzer:innen tun, sondern vor allem auch wer sie sind und in welchem Kontext sie sich konkret befinden. [^ Dourish (2001), S.39]

Vorgegebene Werkzeuge können immer nur bis zu einem gewissen Grad beschränkte und verallgemeinernde Lösungen bieten. Indem wir sie selbst gestalten oder anpassen, können wir sie an individuelle Anforderungen angleichen und sie direkt in den eigenen Prozess integrieren.

Das Arbeiten an eigenen Werkzeugen bringt uns automatisch in Kontakt mit neuen Materialen, Technologien und dem Digitalen an sich. Je mehr wir uns als Kreative mit der Funktionsweise von Computerwerkzeugen auseinandersetzen, desto mehr kommen wir in Kontakt mit Code und programmatischem Denken. Programmierung ist nicht immer der schnellste, aber noch immer der direkteste und flexibelste Weg, sich den Computer zunutze zu machen. Wir sind hier nicht mehr durch Abstraktionen und beschränkten Programmoberflächen getrennt vom Prozess und können direkt individuelle und dynamische Lösungen beschreiben.

Creative Coding ist dabei so leicht zugänglich wie noch nie. Plattformen wie Processing bzw. p5.js reduzieren technische Hürden, die den Einstieg in das Schreiben von eigenem Programmcode auf ein Minimum reduzieren. Durch Open-Source-Organisationen wie Arduino und Raspberry Pi gibt es auch im Bereich des Physical Computings mittlerweile eine große Community, die das Arbeiten mit Hardware und Erstellen eigener Tangible Interfaces möglich macht.

Gleichzeitig integrieren immer mehr Programme wie die 3D-Software Blender oder das Animationsprogramm Cavalry visuelle Programmiersysteme oder basieren sogar komplett darauf (TouchDesigner). Hier erleichtert eine visuelle Abstraktion von grafischen Elementen (meist »Nodes« genannt), die sich virtuell miteinander verknüpfen lassen, das Verständnis und trotzdem sind die Abläufe mit verschiedenen Parametern und Algorithmen, die ineinander greifen, die gleichen wie auf Code-Ebene.

Wir können immer lernen, neue Werkzeuge zu bedienen, aber sie auf fundamentaler Ebene zu verstehen und direkt mit dem Material zu interagieren, aus dem sie gemacht sind (was in der digtalen Welt Software ist), ist was Alan Kay als Computer Literacy bezeichnet:

Computer literacy is a contact with the activity of computing deep enough to make the computational equivalent of reading and writing fluent and enjoyable. As in all the arts, a romance with the material must be well under way. [^Kay (1984), S.9]

»Romance with the material« deutet auch auf den emotionalen Bezug hin, den wir durch unmittelbares Arbeiten mit dem Medium aufbauen und die Freude, die dieser Prozess bereitet.

---Praxis: Handbuch

Dieses Projekt soll nicht als festes und fertiges Produkt verstanden werden, sondern will ausdrücklich auch Kreative dazu anregen, die hier entstandenen Ergebnisse zu adaptieren und eigene Werkzeuge zu entwickeln.

Offener Quellcode und Zugang über das Web sind ein Bestandteil dieser Idee, allerdings gehört dazu auch, einen Leitfaden zur Verfügung zu stellen, der verständlich macht, wie und warum die Einzelbestandteile aus technischer und gestalterischer Sicht verwendet wurden.

Zu diesem Zweck stelle ich eine weitere Website mit einem Handbuch zur Verfügung. Dieses ist unter komputer.space/handbook offen zugänglich und beinhaltet einzelne Artikel zu den Hardware-Kontrollern und bestimmten Bestandteilen der Software. Diese enthalten Informationen zum Nachbilden durch Text, Abbildungen und 3D-Ansichten, erklären einzelne Arbeitsschritte und stellen Links und Verweise zum Erwerb der benötigten Materialen zur Verfügung. Auch wie die einzelnen Elemente miteinander verbunden werden können, wird erklärt. Über eine Downloads-Sektion am Ende jedes Artikels lassen sich zum Nachbau hilfreiche Dateien wie Druckdaten, Code oder Schaltpläne herunterladen.

Das alles ist dabei bewusst nicht streng »Schritt für Schritt« strukturiert, sondern dient zunächst hauptsächlich als Anhaltspunkt und Informationsquelle und lässt auch Alternativlösungen offen oder schlägt diese sogar konkret vor.

Das Handbuch und die darin erklärten Objekte spiegeln dabei auf optischer und praktischer Ebene den Do-It-Yourself-Gedanken wieder. Hier gezeigtes ist selbstgemacht und darf auch so aussehen. Klebeband, handschriftliche Marker-Beschriftungen und offene Elektronik sind Bestandteil dieser Ästhetik.

---praxis

Verantwortung

Mit dem Legen der Entwicklung von Werkzeugen und digitalen Systemen in die Hände von Nutzer:innen geht auch eine gewisse Eigenverantwortung einher.

Das bedeutet, sich Gedanken zu machen, welche Ressourcen die Technologien verbrauchen, die wir nutzen. Gerade neue, weiter fortgeschrittene Technologien wie etwa KI-Modelle und verbrauchen große Mengen an Energie und werfen gleichzeitig ethische Fragen auf, wie das Verwenden der Werke von Künstler:innen als Trainingsmaterial ohne deren konkrete Einwilligung oder das unkontrollierte Einschleichen von Vorurteilen in maschinelle Systeme. [^vgl. Esposito, Elena (2024): Kommunikation mit unverständlichen Maschinen, Wien: Residenz Verlag, S.56]

Künstliche Intelligenz, als am weitesten entwickelte und komplexeste Form digitaler Rechenprozesse, ist durch den mit ihr verbunden Effizienz-Gedanken nur schlecht vereinbar mit einem zuvor beschriebenen verständlichen und prozesshaften Zugang zu Werkzeugen [^vgl. Esposito (2024), S.58]

Unabhängige und individuelle Kontrolle bedeutet auch, entscheiden zu können, welche Technologien und Werkzeuge wir nutzen wollen. Der allgegenwärtige Fortschrittsgedanke lässt uns oft glauben, wir müssten immer die neusten Technologien nutzen, nur weil sie etwas Neues ermöglichen – dabei sind oft einfachere Technologien, die wir bereits lange zu unserer Verfügung haben, völlig ausreichend oder sogar viel sinnvoller.

Wie ein solcher Zugang zu Low-Tech im Gegensatz zu High-Tech funktionieren kann, zeigt das »Low-Tech Magazine«. In Online-Artikeln hinterfragt es aktuelle Technologien kritisch, und versucht Aufmerksamkeit auf das Potential noch immer relevanter, aber möglicherweise in Vergessenheit geratener Technologien und deren Anwendung zu werfen. [^ vgl. What is Low-Tech Magazine?, https://solar.lowtechmagazine.com/about/what-is-low-tech-magazine/ (Abruf: 02.07.2024)]

Menschliche Praxis bestimmt, wie wir über die Technik, die uns zur Verfügung steht, nachdenken und welche Bedeutung sie für uns hat. Und auch im Zeitalter hochautomatisierter digitaler Prozesse von LLMs ist der Mensch und seine Kreativität und Entscheidungsfähigkeit noch immer relevant. Rein synthetische Datenverarbeitung funktioniert nicht. [^ Esposito (2024), S.89]

---Technologien bewusst wählen

Heute steht uns die ganze vernetzte Welt hochkomplexer digitaler Maschinen zur Verfügung. Dabei stelle ich immer wieder fest, wie wir das (kreative) Potential vieler einfachen Technologien scheinbar noch gar nicht richtig ausnutzen. Für viele Anwendungen des kreativen Arbeitens reichen auch sehr einfache Werkzeuge und Berechnungen. So basiert ein Großteil der in dieser Arbeit verwendeten Techniken auf simplen und lange bekannten Algorithmen.

Mit etwas Recherche lassen sich viele interessante Algorithmen finden, die bereits in der Anfangszeit des digitalen Zeitalters entwickelt wurden: Die Boids-Simulation aus dem Jahr 1986 (Siehe Seite ==XX==), k-d-Trees aus dem Jahr 1975 oder Rule 30 von 1983 habe ich beispielsweise im Laufe des Projektes aufgegriffen. Damals aus einer Perspektive der Informatik entwickelt, um logische Probleme zu lösen oder die Möglichkeiten von Computern an sich zu erkunden, lassen sich damit durch die gestalterische Linse ganz neue Visualisierungen, interaktive Systeme und formale Muster entwickeln.

Andere Methoden, wie Gaussian Splatting, basieren hingegen auf fortgeschrittenen Machine Learning Algorithmen. Als Schlüssel zwischen realen und virtuellen Räumen bereichert dieses den Prozess konkret und ist damit bewusst eine sinnvolle Technologie für dieses Projekt.

Abgesehen davon finden KI-Modelle in diesem Projekt aus überlegter Entscheidung heraus keine direkte Anwendung. Nicht weil ich ihr Potential für kreative Prozesse prinzipiell ausschließen möchte, sondern weil sie, um die Kerngedanken des Projektes zu transportieren, nicht notwendig sind und noch einmal ganz andere Herausforderungen stellen als »klassisches« Computing. Greifbarer Zugang zu KI ist eine Aufgabe, die den Rahmen dieser Arbeit sprengen würde.

Analog zur Software versuche ich auch auf Hardware-Ebene so viel wie möglich bestehende Geräte und Bauteile wiederzuverwenden. Der Großteil der Kontroller entstand aus Teilen, die ich sowieso noch »rumliegen« hatte.

Diese Herangehensweise, immer zunächst einfache Technologien zu priorisieren, ist nachhaltiger, aber oft auch viel schneller und zweckmäßiger und vermeidet zu verkopfte Lösungen.

---praxis

Open Source, DIY Kultur und individuelle Kontrolle kann, wie zuvor beschrieben, eine wichtige Komponente einer reichhaltigen, unabhängigen Kreativkultur und nutzerorientierten Interaktionsgestaltung sein.

Der Whole Earth Catalog, war ein Zeugnis und Verfechter dieser Idee, allerdings sind auch Teile seiner Ideologie – wie die völlige Lossagung von jeglichen staatlichen Strukturen und apolitisches Denken sind durchaus kritisch zu betrachten. Auch der Gründer des Catalogs Steward Brad distanzierte sich später davon [^ vgl. Anna Wiener (2018): The Complicated Legacy of Stewart Brand’s »Whole Earth Catalog«, The New Yorker, https://www.newyorker.com/news/letter-from-silicon-valley/the-complicated-legacy-of-stewart-brands-whole-earth-catalog (Abruf: 02.07.2024)]

Entwicklung und Gestaltung von so allgegenwärtigen und gleichzeitig komplexen und oft ungreifbaren Technologien wie Computer es sind, kann nicht allein die Aufgabe von Individuen sein, sondern ist vielmehr eine gesellschaftliche Herausforderung.

Zu welchen Widersprüchen zu weit getriebener Individualismus im Kontext digitaler Technologien führt, beschreiben Richard Barbrook und Andy Cameron in ihrem 1996 veröffentlichten Essay »The Californian Ideology.« Darin beschreiben sie wie eine Gruppe von privilegierten, technisch versierten Fachleuten und Unternehmer:innen – die sogenannte »Virtual Class« – im Umfeld des Silicon Valley eigentlich politisch widersprüchliche Ideale unter dem Banner eines individuellen Unabhängigkeits- und Freiheitskampfes vereinigen.

Ein Merkmal ist dabei zum einen eine fatalistische Arbeitskultur: »work itself hast become the main rout to self-fulfillment for much of the ›virtual class ‹« [Barbrook, Richard / Cameron, Andy (1996): The Californian Ideology, http://www.comune.torino.it/gioart/big/bigguest/riflessioni/californian_engl.pdf (Abruf: 05.05.2024, S.5] Zum anderen entsteht ein Anti-Staats-Denken aus einem widersprüchlichen Mix aus politisch linken und rechten Perspektiven, aus »Hippie-Anarchie«, die sich von Machtinstanzen lösen will und ökonomischem Liberalismus, der eine kapitalistische Selbsterfüllung anstrebt.[^ vgl Barbrook / Cameron (1996), S.10] Mitglieder dieser Szene nutzen ihre priviligierte Stellung aus und ignorieren, wie der eigene Freiheitsdrang auf Kosten anderer geht und soziale Spaltung vorantreibt. Es entsteht ein Gefälle zwischen Menschen mit Zugang zu Informationstechnologien und jenen, die diesen nicht haben.[vgl. Barbrook / Cameron (1996), S.13 f.]

Verantwortungsvoller Einsatz digitaler Technologien ist eine Frage der Wechselwirkung und des gemeinschaftlichen Wirkens verschiedener gesellschaftlicher Instanzen. [vgl. Barbrook / Cameron (1996), S.9 f.] Barbrook und Cameron sprechen von einer digitalen Zukunft als »Hybrid aus staatlicher Intervention, kapitalistischer Unternehmerschaft und DIY-Kultur« [Übers. d. Verf.] [^Barbrook / Cameron (1996), S.16]

Teilhabe von Menschen, die Wissen über digitale Technologien und künstlerisch/kreative Schaffenskraft verbinden (»digital artisans«) formt fundamental wie wir Technologien nutzen – ihre Fähigkeiten sind notwendig, diese überhaupt zu entwickeln und anwendbar zu machen und können nicht automatisiert werden. [^ vgl. Barbrook / Cameron (1996), S.17]

Gleichzeitig kann der Staat als Kontrollinstanz und Repräsentation gesamtgesellschaftlicher Interessen agieren. Technologische Entwicklung und die dafür notwendige Infrastruktur wurde schon immer zu einem Großteil durch staatliche Mittel finanziert [^ vgl. Barbrook / Cameron (1996), S.9]

Und schließlich lässt sich auch wirtschaftliches und unternehmerisches Denken nicht ausklammern und kann durchaus treibende Kraft in der Entwicklung sein. Eine digitale Welt ohne eine gewisse Kommerzialisierung ist in einer kapitalistischen Gesellschaft auch gar nicht möglich. Hardware- und Softwareentwicklung sind aufwendig und ressourcenfordernd – es wäre also vermessen zu sagen, das sollte alles immer frei verfügbar und kostenlos sein.

Wie offen zugängliche und an individuellen Bedürfnissen orientierte Werkzeuge auch in einem wirtschaftlichen Kontext funktionieren können, zeigt beispielsweise das oben bereits genannte Obsidian. Das Tool ist kostenlos zu benutzen und finanziert sich durch optionale Zusatzfunktionen wie einen Synchronisationsdienst zwischen Geräten. Es lässt dabei auch die Integration von anderen Cloud-Diensten zu diesem Zweck offen zu. Außerdem ist es beliebig durch Plug-ins erweiterbar, die zahlreich von Nutzer:innen entwickelt werden. Das Produkt bietet also nur eine Grundstruktur, die dann frei individualisiert und angepasst werden kann.

Durch solche Strukturen wird unabhängiges Denken, die Open-Source Community und individuelle Werkzeuggestaltung aktiv gefördert und gleichzeitig können über optionale Angebote die aufwendige Entwicklung sowie Energie und Verwaltungskosten finanziert werden.

So geht es in der Auseinandersetzung mit und Entwicklung von neuen Technologien immer um ein kritisches Hinterfragen des Status quo. Das Einnehmen neuer Perspektiven, um voreingenommene Betrachtungsweisen aufzubrechen und durch hypothetische Konzepte kritische, auch moralische Fragen zu stellen, findet sich als Kerngedanke des von Dunne & Raby begründeten Critical Designs wieder. [vgl. Dunne, Anthony / Raby, Fiona: Towards a Critical Design, https://dunneandraby.co.uk/content/bydandr/42/0 (Abruf: 02.07.2024)] Die Zukunft digitalen Arbeitens bleibt eine gemeinschaftliche gestalterische Aufgabe.