Conservation principles in DIME-DAMSL

Conservation principles
in
DIMEDIME-DAMSL
Luis A. Pineda et al.
IIMAS, UNAM, Mex.
Noviembre, 2004
DIMEDIME-DAMSL
DIME:
– Diálogos Inteligentes Multimodales en Español
DAMLS:
– Dialog Act Markup in Several Layers
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Dimensions
state
Information level
Forward looking functions
Backward looking functions
Multimodal information (DIME)
Dimensions
Communicative state:
Information level:
Forward looking functions:
Communicative
– Intelligible and complete
– Semantic content
– How the utterance affects the believes and future
actions of the conversational participants, and the
subsecuent discourse
Backward looking functions:
Multimodal information:
– How the utterance is related to the previous discourse
– Relation to the indexical context
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME-DAMSL tag set & format
utt-X = [ edo-com = {uninterp | mono | abandonada},
niv-inf = {tarea | admin-tarea | admin-com | lista-niveles | otros},
func-adelante = [ dec = {afirm | reafirm | otra},
sol-inf = {preg-s/n | preg-pro | preg-imp},
influ-acc-fut-esc = {dir-accion | opcion-abierta},
comp-acc-fut-hab = {oferta | compromiso},
conv = {abre, cierra},
performativo = {gracias | perdon | accion-perf},
exclama,
otra
],
func-atras = [
acuerdo =
[ref-ant, {acepta | acepta-parte | quiza | parte |
espera | rechaza | rechaza-parte}],
ent = [ref-ant, {SNE | ack | back-channel | repeticion | comp |
correccion}],
resp = {ref-ant | lista-ref-ant}
],
mod = [graf = {apt-obj | apt-zona | apt-trayect | apt-objs-coord |
mueve-obj | agrega-obj | quita-obj | plan-graf | visual}]
].
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME-DAMSL additions
utt-X = [ edo-com = {uninterp | mono | abandonada},
niv-inf = {tarea | admin-tarea | admin-com | lista-niveles | otros},
func-adelante = [ dec = {afirm | reafirm | otra},
sol-inf = {preg-s/n | preg-pro | preg-imp},
influ-acc-fut-esc = {dir-accion | opcion-abierta},
comp-acc-fut-hab = {oferta | compromiso},
conv = {abre, cierra},
performativo = {gracias | perdon | accion-perf},
exclama,
otra
],
func-atras = [
acuerdo =
[ref-ant, {acepta | acepta-parte | quiza | parte?
espera | rechaza | rechaza-parte}],
ent = [ref-ant, {SNE | ack | back-channel | repeticion | comp |
correccion}],
resp = {ref-ant | lista-ref-ant}
],
mod = [graf = {apt-obj | apt-zona | apt-trayect | apt-objs-coord |
mueve-obj | agrega-obj | quita-obj | plan-graf | visual}]
].
El Proyecto DIME, DCC-IIMAS, UNAM 2006
1
Dialogue structure
The
dialogues can be thought of as a sequence
of transactions
Each transaction involves two planes:
– Conversational obligations
Transaction´s structure
Intention
– Wizard interprets intention
Intention
satisfaction:
– Wizard provides information or performs action
– Common ground: agreement between speakers
There
specification:
– Subject expresses intention
– Wizard ask for confirmation (requests user´s okey)
is very little task management language:
– Subject confirms (accepts) action
– Mixed initiative
– Tacit agreement about task sequentiallity and
initiative
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Intention´s specification
Main
intention (subject)
– Kinds:
Information request
Action directive
Information request + Action directive (mostrar)
Intention´s satisfaction
Main
– Perhaps (very often) multimodal
– Request information or action confirmation
Action
– Perhaps multimodal
interpretation (subject):
– Multimodal interpretation (perhaps visual)
– Creates an obligation
Intention
act (wizard):
– Provides information or performs action (or both)
– Act confirmation/acceptance
interpretation (wizard)
– Interpretation transactions
– Wizard commits/accepts or a rejects
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Obligations balance
Main intention specification (subject)
– Creates an obligation (charge)
Intention interpretation (wizard)
– Interpretation transactions (may be many)
– Must be a commit (charge)
Main information or action act (wizard):
– Multimodal action (credit, credit)
– Request action confirmation (charge)
Action interpretation (subject):
– Multimodal interpretation (visual)
– Action confirmation (credit)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Obligations balance
Main intention (subject)
– Creates an obligation (charge)
Intention interpretation (wizard)
– Interpretation transactions (may be many)
– Must be a commit (charge)
Main information or action act (wizard):
– Multimodal action (credit, credit)
– Request action confirmation (charge)
Action interpretation (subject):
– Multimodal interpretation (visual)
– Action confirmation (credit)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
2
Common ground balance
Main intention specification (subject)
– Creates an obligation (agr-charge)
Intention interpretation (wizard)
– Interpretation transactions (may be many)
– Must be an accept (agr-credit)
Main information or action act (wizard):
– Multimodal action (agr-charge)
– Request action confirmation (agr-charge)
Action interpretation (subject):
– Multimodal interpretation (visual)
– Action acceptance (agr-credit)
Common ground balance
Main intention specification (subject)
– Creates an obligation (agr-charge)
Intention interpretation (wizard)
– Interpretation transactions (may be many)
– Must be an accept (agr-credit)
Main information or action act (wizard):
– Multimodal action (agr-charge)
– Request action confirmation (agr-charge)
Action interpretation (subject):
– Multimodal interpretation (visual)
– Action acceptance (agr-credit)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
The basic structure
CommonCommon-ground balance
Main intention (subject)
– Creates an obligation (charge)
Intention interpretation (wizard)
– Interpretation transactions
– Reject (credit)
Main intention (subject)
– utt25 :
después <sil> me puedes poner <sil> [e]l el
extractor de aire encima de la <sil> de la estufa
Intention interpretation (wizard)
Action act (wizard):
– utt26 : s: okey
– utt27 : s: performs action
así está bien ?
Action interpretation (subject):
– Multimodal interpretation (visual)
– utt28 : u: sí
– utt29 : así está bien
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Obligations structure
Main intention (subject)
– utt25 :
DIMEDIME-DAMLS tags
– utt25 :
después <sil> me puedes poner <sil> [e]l el
extractor de aire encima de la <sil> de la estufa (dir-accion)
después <sil> me puedes poner <sil> [e]l el (charge)
extractor de aire encima de la <sil> de la estufa
Intention interpretation (wizard)
– utt26 : s: okey (charge)
Action act (wizard):
– utt27 : s: performs action
(credit, credit)
así está bien ? (charge)
Action interpretation (subject):
Main intention (subject)
Intention interpretation (wizard)
– utt26 : s: okey (compromiso)
Action act (wizard):
– utt27 : <ruido> <no-vocal> (mueve-obj)
así está bien ? (sol-inf)
Action interpretation (subject):
– Multimodal interpretation (visual)
– Multimodal interpretation (visual)
– utt28 : u: sí
– utt28 : u: sí
– utt29 :
así está bien (credit)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
– utt29 :
así está bien (resp)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
3
Agreement structure
DIMEDIME-DAMSL tags
Main intention (subject)
– utt25 :
después <sil> me puedes poner <sil> [e]l el
extractor de aire encima de la <sil> de la estufa (agr-charge)
– utt25 :
después <sil> me puedes poner <sil> [e]l el
extractor de aire encima de la <sil> de la estufa
Intention interpretation (wizard)
– utt26 : s: okey (agr-credit)
Action act (wizard):
– utt27 : <ruido> <no-vocal> (agr-charge)
así está bien ?
(arg-charge)
Action interpretation (subject):
Intention interpretation (wizard)
– utt26 : s: okey (acepta 25)
Action act (wizard):
– utt27 : <ruido> <no-vocal> (afirm)
así está bien ?
Action interpretation (subject):
– Multimodal interpretation (visual)
– Multimodal interpretation (visual)
– utt28 : u: sí
– utt28 : u: sí
– utt29 :
Main intention (subject)
– utt29 :
así está bien (agr-credit (2))
así está bien (acepta 27, afirm)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Spatial language and indexicallity
Intention specification:
– Initial vague formulation of intention due to the use of spatial
language (usually by the subject)
– Incremental interpretation of the intention specification
– Incremental refinement or determination of spatial referents
(possible using deictic references)
– The refinement cycle usually ends up with a multimodal
statement (language + deitic)
Intention satisfaction:
– Wizard provides information or performs action
– Wizard ask for confirmation (requests user´s okey!)
– Subject starts confirmation transaction (recursively)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Incremental interpretation of arguments
48 u
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?
49 s
50 u
51
52 s
53
54 u
55 s
56
57 u
58
<no-vocal> en la pared de la izquierda ?
si
ésta
okey
dónde quieres que la ponga ?
arriba del frigobar
okey
<ruido> (s performs action) ahí está bien ?
si
ahí está bien
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Obligations structure
DIMEDIME-DAMSL tags
48 u
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?
charge
48 u
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?
49 s
50 u
51
52 s
53
54 u
55 s
<no-vocal> en la pared de la izquierda ?
charge
49 s
50 u
51
52 s
53
54 u
55 s
<no-vocal> en la pared de la izquierda ?
56
<s performs action> ahí está bien ?
57 u
58
si
si
ésta
credit
okey
charge+
dónde quieres que la ponga ?
charge
arriba del frigobar
credit
charge+
okey
56
<s performs action> ahí está bien ?
57 u
58
si
ahí está bien
credit/credit
charge
credit
El Proyecto DIME, DCC-IIMAS, UNAM 2006
dir-accion
sol-inf
si
ésta
resp 49
okey
compromiso
dónde quieres que la ponga ?
sol-inf
arriba del frigobar
resp 53
compromiso
okey
ahí está bien
mueve-obj
sol-inf
resp 56
El Proyecto DIME, DCC-IIMAS, UNAM 2006
4
Agreement structure
48 u
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?
agr-charge
49 s
50 u
51
52 s
53
54 u
<no-vocal> en la pared de la izquierda ?
agr-charge
55
okey
s
Agreement
Is the speaker adressing a previous proposal, request or claim?
si
yes
ésta
yes
agr-credit
okey
agr-part-credit
dónde quieres que la ponga ?
agr-charge
arriba del frigobar
agr-credit
si
48 u
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?
<ruido> (s performs action) ahí está bien ?
Is the speaker agreeing to all the p.r.c
si
s
56
57 u
58
Aceptar
Aceptar-parte
Rechaza
agr-credit (2)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
no
<no-vocal> en la pared de la izquierda ?
espera 48
ésta
afirm
okey
acepta-parte 48
dónde quieres que la ponga ?
espera 48
arriba del frigobar
afirm
acepta-parte 48
acepta 48
okey
<ruido> (s performs action) ahí está bien ?
afirm
si
ahí está bien
afirm/acepta 56
El Proyecto DIME, DCC-IIMAS, UNAM 2006
no
48 u
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?
49 s
50 u
51
52 s
53
54 u
<no-vocal> en la pared de la izquierda ?
55
s
yes
no
Don´t tag
no
Espera (hold)
no
Is the speaker agreeing to all the p.r.c
Is the speaker disagreeing with part of p.r.c?
si
no
Aceptar-parte
no
Is the spaker disagreeing
With all of the p.r.c?
si
Rechaza
ésta
afirm
okey
acepta-parte 48
dónde quieres que la ponga ?
espera 48
arriba del frigobar
afirm
acepta-parte 48
acepta 48
okey
<ruido> (s performs action) ahí está bien ?
48 u
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?
49 s
50 u
51
52 s
53
54 u
<no-vocal> en la pared de la izquierda ?
arriba del frigobar
afirm/acepta 53
55
okey
acepta-parte 48
acepta 48
afirm
si
ahí está bien
afirm/acepta 56
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME-DAMLS
Is the spaker stating their attitude towards the p.r.c?
si
espera 48
si
56
57 u
58
Is the speaker adressing a previous proposal, request or claim?
yes
Rechaza-parte
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Agreement
Is the speaker agreeing with part of the p.r.c
Quiza
DIMEDIME-DAMLS
si
Aceptar
si
Is the spaker disagreeing
With all of the p.r.c?
si
ahí está bien
si
Is the speaker disagreeing with part of p.r.c?
no
DIMEDIME-DAMLS agreement tags
55
Espera (hold)
no
si
agr-charge (2)
Don´t tag
no
Is the speaker agreeing with part of the p.r.c
agr-part-credit
agr-credit
56
57 u
58
49 s
50 u
51
52 s
53
54 u
no
Is the spaker stating their attitude towards the p.r.c?
s
ésta
afirm/acepta 49
okey
acepta-parte 48
dónde quieres que la ponga ?
espera 48
Quiza
no
Rechaza-parte
El Proyecto DIME, DCC-IIMAS, UNAM 2006
56
57 u
58
espera 48
si
<ruido> (s performs action) ahí está bien ?
afirm
si
ahí está bien
afirm/acepta 56
El Proyecto DIME, DCC-IIMAS, UNAM 2006
5
DIMEDIME-DAMLS
Agreement
48 u
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?
49 s
50 u
51
52 s
53
54 u
<no-vocal> en la pared de la izquierda ?
Is the speaker adressing a previous proposal, request or claim?
yes
no
Is the spaker stating their attitude towards the p.r.c?
yes
Don´t tag
no
Is the speaker agreeing with part of the p.r.c
Espera (hold)
no
si
Is the speaker agreeing to all the p.r.c
si
Is the speaker disagreeing with part of p.r.c?
si
no
Aceptar
no
Is the spaker disagreeing
With all of the p.r.c?
Aceptar-parte
Rechaza
s
si
ésta
afirm/acepta 49
okey
acepta-parte 48
dónde quieres que la ponga ?
espera 48
arriba del frigobar
afirm/acepta 53
okey
acepta-parte 48
acepta 48
Quiza
no
si
55
Rechaza-parte
El Proyecto DIME, DCC-IIMAS, UNAM 2006
56
57 u
58
espera 48
<ruido> (s performs action) ahí está bien ?
afirm
si
ahí está bien
afirm/acepta 56
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Multimodal level
48 u
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?
49 s
50 u
51
52 s
53
54 u
55 s
56
57 u
58
<no-vocal> en la pared de la izquierda ?
Conservation Principles
si
ésta
apt-obj
okey
visual
dónde quieres que la ponga ?
arriba del frigobar
In task oriented converations there is a
credit for every charge in both the
obligations and the common ground planes
okey
(s performs action) ahí está bien ?
visual
si
ahí está bien
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Conservation Principles
(charge/
charge/credit)
credit)
Obligations
on participants (charge/credit):
Does it work?
work?
Complex
transactions
– Spatial language and indexicallity
– On the other: sol-inf/resp, dir-accion/action
– Determination of vague referents
– On the same: compromiso/action, oferta/action
– Utterance with multiple functions in one plane?
Common
– Utterance with functions in different planes?
ground:
– Charge by one participant: sol-inf, dir-accion, afirm
– Exceptions?
– Credit by the other: acepta, acepta-parte, espera,
reject, rechaza-parte, quiza (maybe)
parte?
afirm
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
6
Incremental interactive resolution
Interfaz gráfica
3
u puedes mover la estufa hacia la izquierda ?
4
s <ruido> hacia dónde ?
5
6
7
8
u
s
s
s
9
u
10
11
12
13
s
s
u
u
<ruido> hacia <sil> hacia la derecha
<no-vocal> hacia la derecha
<no-vocal> okey
que tanto quieres que la desplace ?
a la mitad del espacio que hay entre la ventana
y la pared
Okey
quieres que mueva este objeto <sil> hacia acá ?
No
Hacia el otro lado
Home Designer
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Incremental interactive resolution
Obligations balance
14
s Okey
3
u puedes mover la estufa hacia la izquierda ?
charge*
15
s este objeto hacia acá ?
4
s <ruido> hacia dónde ?
charge
16
17
18
19
Sí
s Okey
s <ruido> (move object)
s ahí está bien ? <no-vocal>
5
u <ruido> hacia <sil> hacia la derecha
credit
charge*
20
21
22
u Un poco menos por favor
s Okey
s <ruido> (move object)
6
7
8
23
s ahí está bien ?
24
u ahí está bien
s <no-vocal> hacia la derecha
s <no-vocal> okey
s que tanto quieres que la desplace ?
a la mitad del espacio que hay entre la ventana
u
y la pared
s Okey
s quieres que mueva este objeto <sil> hacia acá ?
u No
u Hacia el otro lado
9
El Proyecto DIME, DCC-IIMAS, UNAM 2006
10
11
12
13
Obligations balance
14
s Okey
15
s este objeto hacia acá ?
16
17
18
19
20
21
22
s
s
s
u
s
s
Sí
Okey
<ruido> (move object)
ahí está bien ? <no-vocal>
Un poco menos por favor
Okey
<ruido> (move object)
charge
credit
charge
credit
charge
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Obligations tags
charge
credit
charge
credit (17, 13)
charge
credit/charge
charge
credit
23
s ahí está bien ?
charge
24
u ahí está bien
credit
El Proyecto DIME, DCC-IIMAS, UNAM 2006
3
u puedes mover la estufa hacia la izquierda ?
4
s <ruido> hacia dónde ?
5
u <ruido> hacia <sil> hacia la derecha
6
7
8
s <no-vocal> hacia la derecha
s <no-vocal> okey
s que tanto quieres que la desplace ?
a la mitad del espacio que hay entre la ventana
u
y la pared
s Okey
s quieres que mueva este objeto <sil> hacia acá ?
u No
u Hacia el otro lado
9
10
11
12
13
dir-accion*
sol-inf
resp 4
dir-accion*
sol-inf
resp 8
sol-inf
resp 11
dir-accion
El Proyecto DIME, DCC-IIMAS, UNAM 2006
7
Obligations tags
14
s Okey
15
s este objeto hacia acá ?
16
17
18
19
Sí
s Okey
s <ruido> (move object)
s ahí está bien ? <no-vocal>
20
u Un poco menos por favor
21
22
s Okey
s <ruido> (move object)
Common ground balance
3
u puedes mover la estufa hacia la izquierda ?
sol-inf
4
s <ruido> hacia dónde ?
resp 15
compromiso
mueve-obj
sol-inf
resp 19
dir-accion
compromiso
mueve-obj
5
u <ruido> hacia <sil> hacia la derecha
6
7
8
10
11
s <no-vocal> hacia la derecha
s <no-vocal> okey
s que tanto quieres que la desplace ?
a la mitad del espacio que hay entre la ventana
u
y la pared
s Okey
s quieres que mueva este objeto <sil> hacia acá ?
12
u No
13
u Hacia el otro lado
3
u puedes mover la estufa hacia la izquierda ?
4
s <ruido> hacia dónde ?
5
u <ruido> hacia <sil> hacia la derecha
6
7
8
10
11
s <no-vocal> hacia la derecha
s <no-vocal> okey
s que tanto quieres que la desplace ?
a la mitad del espacio que hay entre la ventana
u
y la pared
s Okey
s quieres que mueva este objeto <sil> hacia acá ?
12
u No
13
u Hacia el otro lado
3
u puedes mover la estufa hacia la izquierda ?
4
s <ruido> hacia dónde ?
5
u <ruido> hacia <sil> hacia la derecha
6
7
8
10
11
s <no-vocal> hacia la derecha
s <no-vocal> okey
s que tanto quieres que la desplace ?
a la mitad del espacio que hay entre la ventana
u
y la pared
s Okey
s quieres que mueva este objeto <sil> hacia acá ?
12
u No
13
u Hacia el otro lado
23
s ahí está bien ?
sol-inf
24
u ahí está bien
resp 23
El Proyecto DIME, DCC-IIMAS, UNAM 2006
9
14
s Okey
charge?
15
s este objeto hacia acá ?
charge
16
17
18
19
20
21
22
s
s
s
u
s
s
23
s ahí está bien ?
charge
24
u ahí está bien
credit
credit
credit
charge
charge
credit/charge
credit
charge
El Proyecto DIME, DCC-IIMAS, UNAM 2006
9
s Okey
15
s este objeto hacia acá ?
16
17
18
19
Sí
s Okey
s <ruido> (move object)
s ahí está bien ? <no-vocal>
20
u Un poco menos por favor
21
22
s Okey
s <ruido> (move object)
23
s ahí está bien ?
24
u ahí está bien
Comm.
charge?
charge
credit
charge?
charge
credit
credit*
charge
El Proyecto DIME, DCC-IIMAS, UNAM 2006
afirm,
reject 3
Comm. level
quiza
afirm
quiza
afirm
reject 5
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Common ground tags
Common ground tags
14
charge
credit, credit*,
charge*
Common ground tags
Common ground balance
Sí
Okey
<ruido> (move object)
ahí está bien ? <no-vocal>
Un poco menos por favor
Okey
<ruido> (move object)
charge*
quiza
afirm
acepta 13
afirm
afirm
acepta-parte 18
acepta 20
afirm
afirm
acepta
El Proyecto DIME, DCC-IIMAS, UNAM
2006 22
9
afirm,
reject 3
Comm. level
quiza
afirm
quiza
afirm
reject 5
El Proyecto DIME, DCC-IIMAS, UNAM 2006
8
Common ground tags
Agreement
Is the speaker adressing a previous proposal, request or claim?
yes
no
Is the spaker stating their attitude towards the p.r.c?
yes
Don´t tag
no
Is the speaker agreeing with part of the p.r.c
Espera (hold)
no
si
Is the speaker agreeing to all the p.r.c
si
Is the speaker disagreeing with part of p.r.c?
si
no
Aceptar
no
Is the spaker disagreeing
With all of the p.r.c?
Aceptar-parte
Quiza
no
si
Rechaza
3
u puedes mover la estufa hacia la izquierda ?
4
s <ruido> hacia dónde ?
5
u <ruido> hacia <sil> hacia la derecha
6
7
8
13
s <no-vocal> hacia la derecha
Comm. level
s <no-vocal> okey
quiza
s que tanto quieres que la desplace ?
a la mitad del espacio que hay entre la ventana
u
afirm
y la pared
s Okey
quiza
s quieres que mueva este objeto <sil> hacia acá ?
afirm
u No
reject 5
u Hacia el otro lado
El Proyecto DIME, DCC-IIMAS, UNAM 2006
14
s Okey
15
s este objeto hacia acá ?
16
17
18
19
Sí
s Okey
s <ruido> (move object)
s ahí está bien ? <no-vocal>
20
u Un poco menos por favor
21
22
s Okey
s <ruido> (move object)
23
s ahí está bien ?
24
u ahí está bien
9
10
11
12
Rechaza-parte
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Common ground tags
Agreement
Is the speaker adressing a previous proposal, request or claim?
yes
no
Is the spaker stating their attitude towards the p.r.c?
yes
Don´t tag
no
Is the speaker agreeing with part of the p.r.c
Espera (hold)
no
si
Is the speaker agreeing to all the p.r.c
si
Is the speaker disagreeing with part of p.r.c?
si
no
Aceptar
no
Is the spaker disagreeing
With all of the p.r.c?
Aceptar-parte
si
Quiza
no
Rechaza
Rechaza-parte
quiza
El Proyecto DIME, DCC-IIMAS, UNAM 2006
yes
no
Is the spaker stating their attitude towards the p.r.c?
Aceptar
Espera (hold)
no
Is the speaker agreeing to all the p.r.c
si
Don´t tag
no
si
Is the speaker disagreeing with part of p.r.c?
si
no
Aceptar-parte
no
Is the spaker disagreeing
With all of the p.r.c?
si
Rechaza
afirm
acepta-parte 18?
acepta 20
afirm
afirm
acepta 22
Common ground tags
Is the speaker adressing a previous proposal, request or claim?
Is the speaker agreeing with part of the p.r.c
afirm
acepta 13
afirm
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Agreement
yes
afirm,
reject 3
Quiza
no
Rechaza-parte
El Proyecto DIME, DCC-IIMAS, UNAM 2006
14
s Okey
15
s este objeto hacia acá ?
16
17
18
19
Sí
s Okey
s <ruido> (move object)
s ahí está bien ? <no-vocal>
20
u Un poco menos por favor
21
22
s Okey
s <ruido> (move object)
23
s ahí está bien ?
24
u ahí está bien
quiza
afirm
acepta 13
afirm
afirm
acepta-parte 18
acepta 20
afirm
afirm
acepta 22
El Proyecto DIME, DCC-IIMAS, UNAM 2006
9
Visual interpretation
3
u puedes mover la estufa hacia la izquierda ?
4
s <ruido> hacia dónde ?
5
6
7
8
u
s
s
s
9
u
10
11
12
13
s
s
u
u
<ruido> hacia <sil> hacia la derecha
<no-vocal> hacia la derecha
<no-vocal> okey
que tanto quieres que la desplace ?
a la mitad del espacio que hay entre la ventana
y la pared
Okey
quieres que mueva este objeto <sil> hacia acá ?
No
Hacia el otro lado
Visual interpretation
visual
14
s Okey
15
s este objeto hacia acá ?
16
17
18
19
20
21
22
s
s
s
u
s
s
Sí
Okey
<ruido> (move object)
ahí está bien ? <no-vocal>
Un poco menos por favor
Okey
<ruido> (move object)
23
s ahí está bien ?
24
u ahí está bien
El Proyecto DIME, DCC-IIMAS, UNAM 2006
(charge/
charge/credit)
credit)
Obligations on participants:
– On the other: sol-inf/resp, dir-accion/action
– On the same: compromiso/action, oferta/action
Common ground:
– Charge by one participant: sol-inf, dir-accion,
afirm (new information)
– Credit by the other: acepta, acepta-parte, espera,
rechaza, rechaza-parte,
afirm (answers)
– No charge/credit: quiza (maybe)!
– Charge and credit possibly by the same: rechaza
visual
DIMEDIME-DAMSL tags
utt-X = [ edo-com = {uninterp | mono | abandonada},
niv-inf = {tarea | admin-tarea | admin-com | lista-niveles | otros},
func-adelante = [ dec = {afirm | reafirm | otra},
sol-inf = {preg-s/n | preg-pro | preg-imp},
influ-acc-fut-esc = {dir-accion | opcion-abierta},
comp-acc-fut-hab = {oferta | compromiso},
conv = {abre, cierra},
performativo = {gracias | perdon | accion-perf},
exclama,
otra
],
func-atras = [
acuerdo =
[ref-ant, {acepta | acepta-parte | quiza |
espera | rechaza | rechaza-parte}],
ent = [ref-ant, {SNE | ack | back-channel | repeticion |
comp | correccion}],
resp = {ref-ant | lista-ref-ant}
],
mod = [graf = {apt-obj | apt-zona | apt-trayect | apt-objs-coord |
mueve-obj | agrega-obj | quita-obj | plan-graf | visual}]
].
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Information request
Questions
visual
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Conservation Principles
visual
According to the mode of expression
and other information requests:
– According to the mode of expression
Yes/no
– According to the intentional structure
questions:
– ¿quieres un mueble como éstos <sil> aquí?
Wh-questions:
– ¿que tanto quieres que la desplace?
Questions expressed with imperatives:
– Me <sil> muéstrame otra vez eh los muebles
<sil> todos
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
10
Genuine question
According to the intentional structure
Genuine
question
– Normal
– Determinative (Spatial language and indexical
reference)
– Question/action directive (mostrar)
– Confirmation question:
Confirming information
Confirming the result of an action directive
Check question
Conditions:
– The speaker requests information that he/she does
not have and is (honestly) required to achieve
his/her goals
– The speaker believes the listener has the
information and is in a position to provide it
– This is assumed by the listener
– The question creates an obligation on the listener
to provide the information
Example:
– a ver <sil> <no-vocal> ¿cuál es la diferencia entre el
tercero y el cuarto ?
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Determinative question
Conditions:
– Spatial references are very underdetermined and there is often
the need to request that the information provided is furthere
specified
– The question may contain an indexical reference supported,
possible, with an overt ostension
– The question may prompt an answer including an indexical
(deictic) expression supported by an explicit ostensive act
Context:
– u: ¿me puedes poner e[l] <sil> el tercero junto a la
estufa <sil> éste?
Determinative question:
– s: ¿éste junto a la estufa?
QuestionQuestion-Action directive
Conditions:
– The speaker expresses and action directive whose
only purpose is to provide information, and the
action directive is in the end an information
request
Example:
– eh ¿me puedes mostrar los tipos de muebles que tengo?
The answer is multimodal and may include indexical
references
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Confirmation question
Conditions:
– Information request that has the purpose to confirm:
Confirmation of action
– The speaker requests that the hearer confirms whether the
Information supplied previously
An action directive requested previoulsy
– The request in not due to a communication problem
– This question does not avance the task toward its goals and it is
tagged as otro.
result of an action requested by the hearer and perfomed by
the speaker is the expected one.
– The specification of an action is normally a very
underdetermined act
– Actions are performed in the spatial domain, and the result
of an action is realized through the visual modality
– This confirmation is not due to a communication problem
Context:
– u: me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador?
Conditions:
Contexto:
– u: después <sil> ¿me puedes poner <sil> [e]l el extractor
Confirmation question:
– s: ¿en la pared de la izquierda?
El Proyecto DIME, DCC-IIMAS, UNAM 2006
de aire encima de la <sil> de la estufa?
– s: okey
–
<Grpahical action> ¿así está bien?
El Proyecto DIME, DCC-IIMAS, UNAM 2006
11
Check question
Conservation Principles
(charge/
charge/credit)
credit)
Conditions:
– A has doubts about whether something expressed previoulsy
by B corresponds to B´s actual or expected intentions
expressed previously by B (or its consequences) is inconsitent
with the world
– A intendes that B reviews his/her believes or/and intentions
– A knows the (expected) answer to the question, which will be
in conflict with other believes previously expressed by B, so
this is not a genuine question
Pregunta:
– s:
¿quieres que mueva este objeto <sil> hacia acá?
Respuesta:
– u: no, hacia el otro lado
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Obligations plane:
– On the other: sol-inf/resp, dir-accion/action
– The state resulting from the realization of the intention
– On the same: compromiso/action, oferta/action
Common ground plane:
– Charge by one participant: sol-inf, dir-accion,
afirm (new information)
– Credit by the other: acepta, acepta-parte, espera,
rechaza, rechaza-parte,
afirm (answers)
– No charge/credit: quiza (maybe)!
– Charge and credit by the same: rechaza
El Proyecto DIME, DCC-IIMAS, UNAM 2006
The end
El Proyecto DIME, DCC-IIMAS, UNAM 2006
12