Liaison

Olivier: Défi ? pour vendredi 30...

... je ne parle que d'un point : l'importance pour moi d'avoir une réalisation de notre collaboration sur un exemple d'analyse linguistique.
J'ai deux propositions :
- faire un truc complexe en prenant un peu de temps
- dans un premier temps , faire un premier truc très simple (là c'est un défi, car si jamais c'était un truc qui pouvait se faire simplement et rapidement, c'est à dire d'ici 4/5 jours je pourrai en parler dans un colloque où je vais la semaine prochaine.

Voilà mon défi. Je vous transmets deux exemples. dans l'un la liaison est faite ans l'autre non. c'est le même locuteur dans le même enregistrement. Mon souhait serait de reprendre un petit sketch processing :
pour comparer les deux exemples et pour faire ressortir deux infos :
1. que dans l'un la liaison est réalisée alors que dans l'autre nom,
2. que quand elle n'est pas réalisée c'est étonnant car il réalise normalement 75% de liaisons facultatives.
Je veux donc faire ressortir la liaison mais en même temps la place de cette liaison dans son pourcentage.
- on peut utiliser des infos du textgrid pour visualiser l'intensité, le pitch, les formants, le spectre, là j'ai pas de consignes particulières
- on doit faire défiler la transcription
- et ajouter l'info sur la réalisation de la liaison en la mettant en évidence selon le pourcentage de réalisation habituelle (dans le cas que je donne le locuteur fait 75 % de liaisons facultatives, dans l'exemple "est aussi" il ne la fait pas c'est donc à remarquer bien plus que dans l'exemple "est agréable" où il la fait.

Bon je sais que c'est un défi un peu bizarre. Si c'est long à faire pour une première maquette, on le fait plus tard.
Je crois que c'est super important qu'on puisse montrer un exemple de ce type pour prouver que notre collaboration va loin. Pour les chercheurs, pour le CNRS etc. si on peut montrer votre œuvre "paysage du larynx" qui est une superbe réussite, mais en plus donner un exemple basique d'un sketch processing pour une analyse linguiste. En faisant ça, on renforce énormément notre projet.

1 "qui a les capacités de le faire est aussi valable que le fils d'un gros industriel c'est pas ça que je veux dire"

2 "et puis je sais pas la ville par elle-même est agréable enfin"

	1 est aussi 6"	2 est agréable 3"
wav	BA725_est_aussi.wav	BA725_estagreable.wav
TextGrid	BA725_est_aussi.TextGrid	BA725_estagreable.TextGrid
xml	BA725_est_aussi.xml	BA725_estagreable.xml

La 2e ligne:
<?xml-stylesheet type="text/xsl" href="http://crdo.risc.cnrs.fr/exist/crdo/styles/xsl/textgrid.xsl"?>
a été retiré des 2 fichiers xml parce que http://crdo.risc.cnrs.fr n'existe plus.

Guy

liaison           j'imagine liaison facultative 1 0 réalisé ou non
liaison-stat      le pourcentage de ce locuteur
liaison-pause     ??
débit     ??

et pour commencer
je vois bien un écran séparé en deux (les deux liaisons ) avec les éléments communs qui se modifient et se comparent

10 tiers

1 name = "phones"          Phonème
2 name = "syll"            Syllabe
3 name = "pos"             Catégorie grammaticale
4 name = "words"           Mot
5 name = "phono"           Phonétique
6 name = "ortho"           Transcription
7 name = "liaison"         Liaison facultative LF:0 ou LF:1
8 name = "liaison-stat"    Liaison facultative réalisée 0% ... 100%
9 name = "liaison-pause"   Temps entre deux mots sans liaison
10 name = "debit"           mots/seconde

Olivier

- il peut y avoir toutes les infos qu'on veut provenant de praat (des tires ou de l'analyse du signal : intensité etc.)
- pour cet exemple pédagogique ce que je propose de faire ressortir c'est les 3 infos suivantes :
- LF:0 ou LF:1 c'est à dire de voir que la liaison a été réalisée ou pas (ce sont des exemples de liaisons facultatives donc les deux cas sont possibles). Dans un exemple elle est réalisée dans l'autre pas.
- 75% : là c'est le taux de réalisation de ce locuteur en moyenne. D'autres locuteurs pourraient avoir 10%, 100% etc. donc il faudrait donner cette information. Si c'était avec un histogramme n verrait simplement que le barre serait au trois quart du total possible. Cette info est lam^me pour les deux exemples.
- la troisième info est la combinaison des deux premières afin de mettre en évidence le cas particulier (ou pas) de cette liaison précisément. Dans l'exemple ou la liaison est réalisée comme le locuteur a un taux moyen de liaison à 75 % c'est pas spectaculaire. Par contre quand il ne fait pas la liaison c'est plus étonnant (puisqu'il fait des liaisons 7,5 fois sur 10) donc il faudrait attirer l'attention sur cette liaison (c'est ce qu'on appelle un cas marqué). Plus la différence avec la moyenne est importante plus la cas est spectaculaire ( si la moyenne est à 50 % c'est jamais spectaculaire, si la moyenne est à 99 % c'est super spectaculaire). Ainsi en voyant défiler la transcription on aurait notre attention attirée à partir de différentes infos.

C'est pour moi un premier exemple assez simple mais qui peut expliquer vers là où on va. Ensuite si on a les moyens on ira plus loin en prenant en compte de sinfos plus compliquées mais là ce serait déjà formidable de montrer qu'avec les mêmes outils et les mêmes données l'artiste construit une œuvre (qui est sa description/intreprétation qu'il ne justifie pas mais qui est très puissante) et le chercheur une interprétation/description qu'il justifie).
Ca me plait trop tout ça !

sinon pour répondre à tes deux questions auxquelles je n'ai pas répondues :
débit c'est le débit du locuteur (il parle à 181 mots par minutes, il se trouve qu'on a constaté qu'avec le temps le débit augmente et que le taux d eliaison baisse). Je n'ai pas mis la priorité sur c epoint dans mon exemple mais l'info est disponible.
Liaison-pause c'est simplement l'info sur le temps qu'il ya entre les deux mots quand il n'y a pas de liaison. C'et aussi une info disponible mais celle là je ne m'en sers pas pour l'instant. Vous connaissez les autres infos : les mots, leurs catégories grammaticale (POS), les syllabes, phonèmes)...

Olivier

J'adore, c'est génial et super motivant !
Des remarques mais peut-être que j'ai mal interprété l'image. Là on comprend bien qu'on est dans le cas vert qui est le cas minoritaire est on voit bien que c'est le cas minoritaire à 75%
- pour moi l'idée est de ne pas avoir les deux exemples en même temps (donc là il suffirait d'enlever l'exemple est-agréable qui apparait en bas.
- est-ce qu'on peut éventuellement ajouter la tire POS (celle où il ya marqué les catégories grammaticales) sous la transcription orthographique ou sous la transcription phonétique ?
- j'ajoute une autre information qui serait très utile, mettre en évidence la consonne de liaison qaund il y a liaison. C'est à dire le T dans l'exemple où il y a liaison
- enfin mais ça c'est une remarque pour moi qu'on fera plus tard, il faudra que j'ajoute une tire avec le nombre de syllabes des mots liaisonnants (aussi = 2 syllabes et agréable = 3)

Pour comprendre l'intérêt pour nous actuellement mes collègue stravaille avec de transcription sous praat avec un codage du type "est0102aussi" c'est illisible et ce la ne déclenche pas d'interprétation, là oui !

...

si c'est pas compliqué j'inverserai l'ordre de la barre en haut pour qu'elle représente le pourcentage de liaison facultative de sur une échelle de zéro à 100. Là ce serait 75-25 et non 25-75.
C'est un détail.

...

Guy

...

Olivier

Yes !
J'aime les 2 mais je crois que je préfère le 4 (avec le T comme dans le 3 quand il y a la liaison).
Question, le fond serait le spectrogram réel de praat sur le segment concerné ?

Guy

deux sketch indépendants
ou un sketch avec deux boutons( 1,2, avec, sans,A,B) pour passer de l'un à l'autre ?

Olivier

je préfère deux sketchs indépendants (mais je sais pas trop pourquoi).

Olivier

Ca marche sur windows, j'obtiens un sketch qui tourne bien !

Ca continue de marcher trop bien et d'être trop génial !
Il faudra prévoir une touche pause (et/ou un une pause automatique du défilement quand il y a une info sur une liaison LF=0 ou LF=1, par exempel à la fin du segment formé par les deux mots, mais c'est vraiment pas la priorité, une touche pause peut suffire)

Il faudra juste qu'on voit ce que cela donne quand il y aura les autres tires pour que l'info sur la liaison, la consonne etc. soient lisibles suffisamment longtemps (ou surtout qu'on ait le temps d'appuyer sur la touche pause à ce moment là.

Guy

j'ai ajouté la tier liaison_consomne en 11
nouveaux textGrid, xml et wav et jpg
Liaison03Guy.zip
la barrette verticale est "grise" par défaut et verte quand LF:0 et orange quand LF:1

Gérard

Oui BA725_est_aussi raccourci, c'est mieux.

Mais BA725_estagreable.TextGrid dure 2.607 secondes (vu dans Praat)
BA725_estagreable.xml dure 3 secondes (vu dans gedit)
BA725_estagreable.wav dure 3 secondes
La version d'origine du .TextGrid durait bien 3 secondes
Je m'y perds complètement!
Il faut que tout ait la même durée.
BA725_est_aussi OK, les 3 durent 5.23 secondes
Finalement, j'aime les silences!

La liaison s'affiche: Liaison04.zip (800K)

// Touche Clavier:
// Z Retour au debut
// S Sauve l'ecran (format png)
// Espace Pause

Ouvrir un fichier dans le dossier data

Les fichiers .TextGrid et .xml ont 11 tiers:

//   1 name = "phones"           Phonème
//   2 name = "syll"             Syllabe
//   3 name = "pos"              Catégorie grammaticale
//   4 name = "words"            Mot
//   5 name = "phono"            Phonétique
//   6 name = "ortho"            Transcription
//   7 name = "liaison"          Liaison facultative LF:0 ou LF:1
//   8 name = "liaison-stat"     Liaison facultative réalisée 0% ... 100%
//   9 name = "liaison-pause"    Temps entre deux mots sans liaison
// 10 name = "debit"            mots/seconde
// 11 name = "liaison-consomne" T par exemple

Mais j'ai toujours du mal avec le spectre.
Je ne le comprends pas.
Je ne "l'entends' pas.

La coupure entre le haut et le bas, avec le degrade de gris, fait qu'on ne voit pas le rapport entre le haut et le bas.

Je n'avais pas compris que la partie haute etait bien le haut du spectre!
Je croyais que c'etait un autre spectre.

Voila mes "Spectrogram settings" dans Praat

Ca donne ça.

Je vois plutot ça vertical.

L'horizontal, c'est le temps.

Mettre ces % horizontalement, ça induit en erreur.

Enfin, c'est une opinion...

Guy: et ça c'est de la roupie de sansonet?

est aussi

est agréable

Guy Ma petite contribution

le cercle devient vert au passage
le rectangle vert du haut passe à 100%

color   CouleurOrange     = color(214, 69, 7,200); //
color   CouleurVert       = color(18, 134, 4,200); //
color   CouleurOrangeOn   = color(214, 69, 7); //
color   CouleurVertOn     = color(18, 134, 4); //

le bandeau du haut
les mots au milieu ...

Liaison04Guy.zip

Tire ou Tier ? Fatiguer ou Pneu ou Rangée ?

Liaison06.zip (850K)

Olivier

- ... J'ai un problème d'affichage de la ligne POS car les annotations se chevauchent à l'écran (certaines sont écrites l'une sur l'autre).
j'ai aussi des mots collés dans la ligne transcription
- l'idéal serait d'afficher en même temps les deux mots de la liaison là je n'arrive pas à faire pause pile à ce moment là (il faudrait avoir est agréable avec leurs étiquettes POS, et le T dans le rond
- un second idéal serait d'avoir la ligne de transcription en gros, le curseur qui se déplace et quand on arrive sur une liaison l'apparition des mots liaisonnant de leur étiquette POS + tout le reste qui est très bien : la lettre de liaison s'il y a liaison et la couleur selon le bandeau en haut.

Guy

Doit on être autant démonstratif pour LF1 que pour LF 0?

Olivier

A ce stade là de notre travail oui.
J'ai autant d'intérêt pour LF1 que pour LF0.
En fait on doit être démonstratif sur le fait que ce que fait le locuteur à ce moment là est différent de ce qu'il fait en moyenne et plus c'est différent plus on devrait être démonstratif. D'où l'importance de la barre en haut. Dans notre double exemple c'est LF0 qui est spectaculaire car le gars fait des liaisons 7,5 fois sur 10, donc ne pas en faire est spectaculaire.
On ne fait pas cela maintenant mais j'imagine par exemple que le rond dans lequel il y a la liaison pourrait être inversement proportionnel à la barre de couleur. Dans nos exemples si LF1 le rond devrait être plus petit (car la barre orange est grande) et si LF0 ce rond devrait être grand car la barre verte est petite.
Ce que je recherche avec cette visualisation c'est de faciliter d'une part une lecture de plusieurs informations en même temps et d'autre part de faire ressortir les cas particuliers par rapport aux cas les plus fréquents.

Déjà avec ce qu'on a fait on attire l'attention sur le fait que ce qui est important c'est cette variation par rapport à la norme ! C'est ça que cherche à repérer.

Guy

a priori pour que ça prenne toute la largeur:

Taille police / est aussi

18
18
18
60
espacement entre les lignes 60

Taille police / est agréable

35
35
35
60
espacement entre les lignes 80

Liaison07.zip (850K)

// Touche Clavier:
//       Z Retour au debut
//       F Texte Fixe aligné On/Off
//       S Sauve l'ecran (format png) "maore-123.png" 123 = Numero frame
// Espace Pause

Olivier

... super.
Une seule remarque importante :
- est-ce qu'il est possible d'avoir deux mots qui s'affichent en même temps (j'arrive à faire pause par exemple sur "aussi" ou "agréable" ) :
je voudrais voir "est aussi" et dans l'autre exemple "est agréable"
C'est possible facilement ?

Sinon autres remarques pour plus tard :
- le premier réflexe quand on a fait pause et l'envie de se recaler avec précision en bougeant un peu en avant ou en arrière. j'imagine que ce n'est pas une fonction simple
- au début on a envie que toutes les infos soient alignées (comme sous praat), là c'est pas le cas dans l'exemple "aussi" en vert est à gauche de la barre et aussi + ADV est à droite, mais on s'y fait
- j'aimerais lancer les deux exemples sur mon écran pour avoir deux fenêtres en même temps, là je dois stopper processing et le relancer pour avoir accès au choix du fichier xml que je dois jouer, c'est moi qui ne sait pas faire ?

Guy

résumons...

- ligne ortho fixe
- quand le curseur atteint la liaison la police devient blanche et le fond orange comme dans le cercle
- ligne POS et Phono mobile
- Aucun mot ne se superpose,c'est la ligne entière qui se repositionne sur le bon intervalle en suivant le curseur
- quand on fait pause (barre d'espace) l'alignement est juste dans toutes les tier

ça vous va ?

Effectivement on va pouvoir dire dire que notre liaison a atteint un palier...

Sinon oui c'est ça.
Estce qu'on peut grossir la ligne ortho (qui est très bien avec les deux mots de couleur, c'est la ligne de référence ?
Sinon on peut utiliser la ligne words.

Dernier truc, je me suis rendu compte que l'exemple est aussi comporte uen autre liaison réalisée dans le même extrait. Je l'ai codée dans le fichier joint: BA725_est_aussi2.TextGrid
Cela serait intéressant car cela met les deux exemples dans le même extrait et en plus les gens ne ne me demanderont pas pourquoi rien ne se passe sur cette autre liaison. Je ne sais pas si cela demande du boulot supplémentaire ou s'il faut juste remplacer le textgrid + le XMLdans les data. J'imagine qu'il y a du boulot de nettoyage donc dans ce cas on laisse tomber.

Le son n'est plus synchrone avec l'image du spectre!
Dans est_aussi.

Qu'est ce qui a encore changé?
Je passe un temps fou à m'y retrouver dans les fichiers.
Il faut que tous les fichiers ait la même durée!
Le wav a changé!
...
Il y a eu 3 versions du fichier wav de 3 durées différentes:
Version 1 5.44"
Version 2 6'
Version 3 5.22"
C'est revenu à la version 2 de 6"
OK le xml et le TextGrid durent aussi 6"
mais le spectre a du être fait avec celui de 5'22"! (??)
A l'oeil (et a l'oreille) tout est décalé!

Autre problème pour estagreable:

BA725_estagreable.wav       3'
BA725_estagreable.TextGrid 2.60"
BA725_estagreable.xml     2.60"
BA725_estagreable.jpg       ???

Je craque

Il faut toujours utiliser la dernière version des fichiers dans le dossier data de la dernière version reçu du sketch.
Mac et Windows ouvre "automatiquement" le dernier dossier data ouvert et pas le dernier dossier data reçu!

Liaison10.zip (870K)

En haut F Fixe Off
En bas F fixe On

    Que choisir?

// Touche Clavier:
//       Z Retour au debut
//       F Texte Fixe aligné On/Off
//       S Sauve l'ecran (format png) "maore-123.png" 123 = Numero frame
// Espace Pause

"La grippe est de retour. Elle a atteint son seuil épidémique pour la deuxième semaine consécutive, a indiqué l'Institut national de veille sanitaire..."
Le Monde - Il y a 16 heures

Guy

remue la souris avec ease -> Translate.pde
...
là c'est fluide, ca glissse.
tout est dans: x = x*0.9 + mouseX*0.1;
y = y*0.9 + mouseY*0.1;
...
On termine avec plein de questions qui se soulève au fur et à mesure de l'avancement des travaux
mais je pense que ce sera bien pour la deuxième phase
...
kes tu penses de cette simulation ... ? liaison.mp4
...
c'est plutot ça -> Sequence02.mp4
...
par palier -> liaison_palier2.mp4