Jusqu'à tout récemment, le langage était le principal mode d'expression et la production de ses effets était bien connue car elle était étudiée par la rhétorique dès le IVe siècle av. J.-C. Au cours du siècle dernier, le développement de la sémiotique et de la pragmatique a permis d'approfondir l'étude du langage comme un moyen de production du sens parmi plusieurs autres.
Avec le passage du livre à l'écran et la place de plus en plus importante que prennent les images, la production du sens ne fait plus seulement appel au langage mais implique souvent aussi des images et des sons, de façon multimodale. L'environnement numérique entraîne un foisonnement de nouvelles pratiques sémiotiques en même temps qu'une expansion des pratiques existantes. La fluidité qu'offre le numérique permet d'intégrer facilement des modes autrefois séparés, tels le texte, l'image et le son, multipliant ainsi les affordances ou possibilités offertes au producteur du message. Cela fait de la multimodalité un mode naturel d'expression. Selon Kress, cette situation va entraîner une transformation des modes et les spécialiser en fonction des besoins de représentation et de communication[1].
Le concept de « multimodalité », en anglais multimodality, provient des travaux de Gunther Kress (2003). Le terme a été introduit en français dans son sens sémiotique avec l'ouvrage de Lebrun, Lacelle et Boutin (2012)[2]. Selon ces auteurs, il désigne : « l'usage, en contexte réel de communication médiatique, de plus d'un mode sémiotique pour concevoir un objet ou un événement sémiotique[3]. » Un mode sémiotique est un moyen d'expression et de représentation de type verbal ou non-verbal visant à produire du sens. Il peut être textuel, iconique ou sonore. La combinaison de divers modes produit un « texte multimodal » appelé aussi « multitexte »[4].
À titre d'exemple, les relations image/son donnent lieu à trois grandes classes d'applications, selon Zenouda[5] :
- le son au service de l'image, comme dans l'audio-visuel classique ;
- l'image au service du son, comme dans l'informatique musicale qui permet de représenter et manipuler le son au moyen d'images ;
- l'image et le son dans une relation équilibrée visant à produire des effets de synesthésie et de fusion perceptibles entre les deux modalités.
