accueil -- membres - les séminaires - textes théoriques - nous contacter@ -- poésie/liens

Philippe BOOTZ

Vers un multimédia contraint et a-média

1 Une mutation récente de l’écriture multimédia poétique.

Durant les deux dernières décennies, le multimédia littéraire a forgé ses genres fondamentaux (hypertexte, littérature algorithmique, poésie animée) à partir d’une conception globale. Le travail de l’auteur revenait à concevoir le comportement d’ensemble de l’œuvre, en gérant notamment chaque média dans sa spécificité.
Il se pourrait bien qu’une évolution de la conception du multimédia vienne, sous peu, modifier en profondeur cette approche. Une telle évolution est déjà perceptible. Les œuvres récentes de PH Burgaud, X. Malbreil, A. Gherban, pour ne citer que quelques auteurs, me semblent caractéristiques de cet état de fait. Cette évolution repose sur la prise en compte de la notion d’objet au détriment d’une unité globale de l’écran-son. Elle s’inscrit donc dans une tradition de la poésie animée héritée de la littérature visuelle, celle du collage. Il n’y aurait rien de fondamentalement nouveau si l’informatique ne venait, comme à l’accoutumée, ajouter une fonctionnalité à cette structuration phénoménale des niveaux perceptifs. Ce qui me semble, fondamentalement, caractériser l’art informatique à lecture privée, et ce depuis les origines, est bien cette complémentarité entre objet et fonction qui rend la notion traditionnelle de signe très insuffisante pour analyser le comportement sémiotique de telles œuvres. La fonction, en l’occurrence, qui vient compléter la notion d’objet pour orienter une nouvelle esthétique est celle de comportement.
C’est Alexandre Gherban qui a le premier attiré mon attention sur l’importance des comportements comme moteurs de la création informatique. Pourtant, à bien y regarder, une telle approche n’est pas totalement nouvelle. On assiste simplement aujourd’hui, peut-être, à la prise de conscience d’une orientation sous-jacente dès la troisième génération d’œuvres, la première étant constituée des œuvres de sensibilisation créées dans les années 60-70, la seconde par les œuvres pionnières des trois genres (hypertexte, combinatoire, animation syntaxique) dans les années 80 - début des années 90 et cette troisième par celles qui ont mixé et fait éclaté ces genres au milieu des années 90. Une telle prise de conscience ne saurait manquer d’être productive sur le plan de la création.
On trouve en effet une première proposition fondée sur la notion d’objet avec IO d’André Vallias. Cette œuvre date de 1995 et a été publiée dans alire10/DOC(K)S en 1997. Puis, en 2000, Eric Sérandour, à propos de h, publiée dans la revue lit&ratique, utilise l’interactivité comme perturbation d’un processus stationnaire, le programme gérant alors une phase transitoire autonome de retour à l’équilibre. Il énonce à cette occasion un principe d’indépendance comportementale de l’œuvre relativement aux actions du lecteur : les processus perceptibles de l’œuvre n’ont pas à attendre le bon vouloir d’un lecteur. L’autonomie des processus observables de l’œuvre était déjà à la base de la poésie animée et l’indépendance qu’il postule à la base du fonctionnement de la forme à-lecture-unique que je développe depuis 1995. C’est donc toute une tradition qui, petit à petit, fait émerger une nouvelle définition du multimédia, certainement plus proche de sa nature informatique et plus éloignée de la conception algorithmique globale que Jean-Pierre Balpe traduit avec bonheur dans sa théorie de la méta-écriture.
Afin de comprendre le fonctionnement de ces œuvres et les recherches qu’elles engendrent, il n’est pas inutile de rappeler quelques résultats du modèle procédural que j’ai forgé à partir de l’analyse des œuvres publiées en France entre 1985 et 2000.

2 Quelques résultats du modèle procédural.

Ce modèle systémique est fondé sur un postulat : les représentations mentales sont au fondement des stratégies d’écriture et de lecture et le fonctionnement technique du dispositif conditionne dans une large mesure les événements observables de l’œuvre, de sorte qu’on ne saurait appréhender cette dernière uniquement dans une perspective structurelle algorithmique, ni, d’ailleurs, à partir de la seule observation sur une machine particulière. Il faut analyser la communication dans son double mouvement : synchronique et diachronique. L’analyse de l’évolution des conceptions montre qu’on ne saurait isoler les représentations mentales du fonctionnement technique qui les engendre.
Le résultat fondamental du modèle est la " séparation des domaines " qui se décline sous plusieurs formes. L’une d’elles consiste à remarquer que le lecteur ne peut avoir accès, à partir de sa seule lecture, au travail réel de l’auteur et que l’auteur ne travaille pas la matière observable de la façon dont le lecteur l’appréhendera. Toute stratégie d’écriture doit se positionner par rapport à cette séparation. Une position extrême est donnée par les premières œuvres de poésie animée non interactive qui se voulaient transparentes au lecteur. Elles ont tenté de décrire, simplement, dans le programme, les phénomènes observables. Il s’est avéré qu’une telle tentative était vouée à l’échec car un programme n’est pas une description structurelle d’un objet observable mais un ensemble d’ordres à destination d’un processus, l’exécution, dont le phénomène observable est le produit. Ce phénomène n’étant pas un objet mais un état transitoire n’a aucune autre permanence que celle de la représentation mentale (le texte-lu) qu’il laisse dans la mémoire de qui l’a lu. La position opposée est celle du générateur automatique qui utilise la séparation pour masquer complètement l’algorithme génératif. Cette utilisation a fait dire à Jean-Pierre Balpe qu’il n’est pas l’auteur des textes générés. La plupart des œuvres se situent entre ces deux positions extrêmes mais aucune ne peut annuler cette séparation des domaines.
Cette séparation se traduit à travers plusieurs propriétés de l’œuvre, si on définit cette dernière comme l’association des phénomènes observés par l’auteur (programme source et données : textes-auteur), par le lecteur dans son espace multimédia (texte-à-voir) et par la fonction " génération " qui transforme l’un en l’autre et dont la principale composante (mais pas l’unique) est le processus d’exécution du programme compilé sur la machine du lecteur. L’œuvre ne présente pas les mêmes caractéristiques pour l’auteur et pour le lecteur. L’auteur, quelque soit l’outil logiciel utilisé, travaille l’événement observable par le lecteur comme une association (séquentielle ou parallèle) d’objets autonomes éventuellement doués de comportements et propriétés. Ces objets, suivant la nature de l’œuvre, peuvent revêtir des formes différentes (images individuelles, textes ou pages-écran notamment) et se traduire sous des formes informatiques diverses (sous-programmes, scripts, acteurs et images-objets, cartes). Cette diversité n’abolit pas la réalité du phénomène observable pour l’auteur : celle d’une association d’objets autonomes doués de comportement et en interaction mutuelle dans le temps et l’espace. Cette gestion par l’auteur des événements observables a reçu le nom, dans le modèle, de " montage horizontal " pour indiquer que le montage ne porte pas sur des séquences d’images mais sur des séquences d’objets temporels. En revanche, le montage est opéré en temps réel à l’exécution et le lecteur n’est sensible qu’au produit de ce montage, produit qui constitue la face observable de l’œuvre. Dans les approches actuelles, ce visuel ou, plus généralement, l’événement multimédia, se présente comme une image. Jean-Louis Weissberg la qualifie d’image-actée. Bien sûr, cette ambivalence structurelle n’empêche pas l’auteur de travailler le montage en vue de constituer une image, ni le lecteur de percevoir des objets dans l’image mais ces deux attitudes ne sont ni systématiques ni générales. Le montage horizontal des objets permet notamment de fabriquer des images combinatoires ou variationnelles, comme dans mes œuvres récentes, sans pour autant que le lecteur perçoive les objets et encore moins leurs règles d’association. La notion d’image actée semble bien appropriée pour décrire les questions de réception, certainement moins pour décrire la réalité programmatique de l’événement observable.
Le second résultat important du modèle procédural est " l’autonomie du processus ". Le modèle nomme ainsi une propriété fondamentale de l’œuvre informatique, relevée par ailleurs par les théoriciens de l’art numérique, celle de l’autonomie de l’œuvre. Plus exactement, dans le modèle, l’autonomie porte sur la fonction génération définie ci-dessus. On peut alors affirmer que le scripteur du phénomène observé par le lecteur est constitué de l’association de l’auteur, du lecteur et des intervenants techniques. Les œuvres présentent ainsi la particularité de ne jamais être sous la dépendance complète d’un des protagonistes de la communication, à savoir le lecteur et l’auteur. C’est pour cela que le modèle procédural juge très insuffisantes les théories qui postulent un contrôle opératoire total du lecteur comme la théorie de l’hypertexte, ou celles, comme la théorie algorithmique, qui postulent un contrôle opératoire complet de l’événement observable par le programme.
Le travail de l’auteur ne peut certainement pas se concevoir autrement qu’en termes algorithmiques (générateur automatique) ou en terme de conception de structure et contenu (hypertexte), il n’empêche que le fonctionnement technique du dispositif n’obéit pas à cette logique. C’est la raison principale du choix fait dans le modèle de ne pas dissocier le rôle des représentations mentales de celui du fonctionnement technique. Il m’a conduit, dès 1994, à concevoir un premier générateur adaptatif. Un générateur adaptatif est un programme " pseudo-intelligent " qui tente de s’apercevoir s’il se réalise ou non " comme prévu " par l’auteur. Cette mesure porte uniquement sur des états internes puisque les périphériques de sortie comme l’écran n’envoient pas d’information au programme. Lorsque le programme constate une différence entre les états réalisés et ceux attendus, il tente de se modifier lui-même pour réduire l’écart. Il ne peut le faire, bien sûr, en respectant la totalité des souhaits de l’auteur. Ainsi donc, cette prise en compte de l’autonomie du processus, et notamment de son autonomie technique, conduit à une nouvelle posture de l’auteur. Celui-ci n’est plus uniquement le concepteur d’un projet mais le gestionnaire de la brisure de ce projet. Il est amené à hiérarchiser ses exigences, à en délaisser certaines si besoin est, à assumer complètement sa perte d’autorité sur l’œuvre. Une telle posture revêt un caractère dramatique, tout spécialement dans notre société de l’information et de la communication puisqu’elle repose sur l’acceptation et la gestion d’une impossibilité de communication. Les générateurs adaptatifs constituent une classe particulière, peut-être la plus ancienne, de générateurs contraints.

3 Les générateurs contraints.

Mes recherches portent actuellement sur des types de comportements particuliers. Considérés comme activité et " intelligence " des objets à destination d’une lecture, ces comportements obéissent à des visées sémiotiques. Ils sont composantes de stratégies d’écriture. Deux orientations caractérisent les recherches entreprises dans mes créations actuelles : celle du générateur contraint et celle de la sémantique temporelle.
On peut définir, au sens large, un générateur, comme un programme qui produit un résultat observable à la lecture. Les programmes de création multimédia utilisent deux types d’algorithmes, le plus souvent entrelacés : les algorithmes de synthèse et ceux de réalisation. Un algorithme de synthèse crée un objet de l’événement observable sous forme d’une donnée interne. L’exemple typique de tels générateurs est donné par les générateurs automatiques des années 80. Ils reflètent le côté algorithmique du traitement sémiotique qui est une face du travail sur le multimédia. Un algorithme de réalisation gère l’actualisation d’un objet sous une forme observable à la lecture. Ce type de générateur reflète l’autre face de la création multimédia : le traitement perceptif. L’exemple typique de tels algorithmes est donné par les œuvres de poésie animée des années 85-90. Ces deux faces sont naturellement complémentaires, aucune œuvre ne pouvant se passer de l’une d’elle, et souvent intimement liées. Les programmes actuellement utilisés par les auteurs gèrent souvent les algorithmes de réalisation sous une forme métaphorique, celle du scénario ou de la page-écran, en s’appuyant sur le retour direct qu’offre la visualisation sur écran.
Si l’auteur veut s’éloigner du comportement mécanique, il lui est nécessaire de " casser " ces divers algorithmes en leur appliquant des contraintes dont certaines peuvent être algorithmiques. Ces contraintes sont à destination de chacun des trois co-scripteurs de l’événement observable : l’auteur, le lecteur et l’ensemble des intervenants techniques. Elles peuvent être conçues comme une modification de l’énoncé de l’algorithme par une communication indirecte de l’auteur avec l’un des co-scripteurs.
Le générateur adaptatif mentionné ci-dessus est un générateur contraint à destination des intervenants techniques. C’est en mesurant à l’exécution l’influence de cet acteur que l’auteur, par l’intermédiaire du programme lui-même, modifie les énoncés des algorithmes. Cette modification peut a priori affecter tout type d’algorithme mais il porte essentiellement actuellement sur les algorithmes de réalisation car ce sont les plus gourmands en ressources, notamment temporelles (éviter les attentes, les brisures de rythmes, les désynchronisations intempestives, les conflits entre durées d’exécution des instructions...)
Un générateur contraint à destination de l’auteur lui-même est simplement un générateur plus complexe. Dans l’exemple d’un extrait d’un générateur combinatoire, haiiku/poncture, la contrainte est manifestée par l’action d’une boucle logique si/alors portant sur un algorithme combinatoire comme le dévoile l’analyse structurelle du programme.. Cette boucle garantit la cohérence sémantique du parcours de lecture. Elle vise donc à rendre sémantiquement compatible la non-linéarité de la structure combinatoire et la linéarité de son actualisation en phénomène observable. C’est bien encore pour des besoins de sémantique temporelle que sont construites ces contraintes qui permettent à la fonction génération de se passer de l’action du lecteur.
La création de Variations sur passage avec Marcel Frémiot au Laboratoire de Musique Informatique de Marseille (MIM) a été l’occasion de construire des contraintes à destination du lecteur. Celles-ci portent uniquement sur les comportements perceptibles et donc sur les algorithmes de réalisation. Elles se sont manifestées par une " interprétation " du produit d’un algorithme de synthèse lors de son actualisation. En clair, l’algorithme combinatoire fabrique une séquence musicale particulière, qui possède une cohérence et une structure reproduites à chaque occurrence, mais cette séquence est plus ou moins étirée par des silences en fonction d’impératifs de perception, de façon à ne pas casser, ou s’opposer à, la sémantique du visuel. L’ensemble multimédia constitue une combinatoire de " focalisation ". C’est-à-dire que la perception des éléments visuels est focalisée par un plan sonore mouvant à chaque relecture, ce qui crée de fait une variation sémantique. Par ailleurs toutes les solutions potentielles de l’algorithme de synthèse combinatoire du niveau sonore ne sont pas retenues. Certaines sont éliminées par des règles de sélection appliquées en fonction d’une mesure a priori d’effets perceptifs non désirés (impression d’uniformité de ton). L’algorithme combinatoire contraint se rapproche donc d’une grammaire. Ici, également, c’est l’analyse temporelle de l’événement observé qui a guidé la construction des contraintes.

4 Des Unités Sémiotiques Temporelles ?

Comme on le voit, les contraintes, qui constituent des éléments structurels du travail de l’auteur, sont fortement corrélées du côté du lecteur à une sémiotique temporelle de l’événement observable. Cette nouvelle manifestation de la séparation des domaines nous invite à nous poser la question de la sémiotique temporelle de l’événement observable. Indépendamment de tout autre aspect sémantique, un événement multimédia est-il susceptible d’obéir à une sémantique temporelle ?
Cette question se pose depuis toujours en musique et les travaux de Pierre Schaeffer relatifs aux objets musicaux ont donné naissance à plusieurs approches théoriques d’identification d’une sémantique temporelle. Les systèmes construits se réfèrent uniquement à des expériences perceptives d’audition et sont indépendantes d’une quelconque théorie de l’écriture. Ils revêtent de ce fait un fort caractère d’universalité. Ils sont orientés suivant une sémantique dynamique de perception du geste à l’audition ou suivant une sémantique cinématique de perception d’un mouvement d’ensemble particulier.
Les travaux effectués au MIM ont abouti à une classification sémantique en UST (Unités sémiotiques Temporelles) cinématiques des formes audibles. Cette classification a pu être illustrée sur de nombreux exemples de musique classique et contemporaine. Trois œuvres complètes ont même été complètement analysées sous cet angle.
Or le travail de création poétique que j’ai mené au sein du MIM m’a permis de mettre à jour des parentés fortes entre le comportement des objets visuels programmés dans ces créations et le comportement sonore. Cette parenté porte sur les aspects pour lesquels le comportement visuel est conçu comme un développement temporel. Il semblerait que les UST musicales puissent s’appliquer aux objets visuels. L’exemple de l’extrait de la nouvelle programmation de passage incite à rechercher des UST visuelles. Cet exemple consiste à bloquer les algorithmes de réalisation de tous les médias de l’événement observable à l’exception d’un seul. L’analogie de comportement d’un paramètre singulier de chaque média avec une UST musicale est flagrante. Ces " UST visuelles ", si elles existent, ne recouvrent pas la totalité de la signification. Le traitement temporel du texte, notamment, est lu comme critère de cohérence d’une combinatoire sémantique. Il possède un caractère syntaxique dans cette combinatoire.
Un programme de recherche pluridisciplinaire a été lancé au MIM en vue de corroborer cette intuition et d’aboutir, le cas échéant, à une formalisation des UST indépendamment du média dans lequel elles s’expriment. Une telle formalisation pourrait aboutir à concevoir des générateurs d’objets multimédias indépendants des médias, objets qu’on pourrait dès lors nommer " a-médias " et dont les comportements produits par synthèse pourraient se réaliser dans divers médias. Une telle conception revient à élargir la définition proposée plus haut et à considérer le multimédia comme une association d’objets (dont certains a-médias) autonomes doués de comportements et en interaction entre eux et avec le lecteur. Une telle définition généralise la notion de comportement : un comportement est une simple loi de déplacement dans l’espace des phases de l’objet, c’est-à-dire une loi de variation d’un ou plusieurs paramètres de l’objet pertinents d’un point de vue sémiotique.

5 Conclusion.

On aurait pu penser, à entendre le jugement de certains jeunes auteurs, notamment de ceux qui perpétuent la poésie sonore, que le multimédia poétique avait quitté son statut de poésie du dispositif pour rejoindre un statut plus standard de poésie de contenu, c’est-à-dire considérer que le dispositif poétique multimédia était parfaitement connu et que les auteurs pouvaient dorénavant se concentrer sur le contenu. Un tel schéma semble bien réducteur. Certes, les éléments préfigurés ici ne seront certainement pas à l’origine d’une modification de la littérature aussi radicale que l’ont été les œuvres et recherches des années 80. Elles ouvrent en tout cas les portes de nouvelles structures et de nouvelles utilisations de ce dispositif multiformes.