Rozenfarb Dan | Keepcon Lingüística y Big Data

Lingüística y Bigdata
Dan Rozenfarb + Adrián Lisenberg
Agosto de 2013
¿Qué hacemos?
Moderación de UGC
Clasificados
Medios
Comunidades online
…
Keepcon | Bigdata 2013, Argentina
2
Comprensión
“
consolador de ultima moda
bibraciones estupendas encontraras
tu punto g y no lo soltaras ni para
buscar a tus ijos al colejio
Keepcon | Bigdata 2013, Argentina
”
3
Texto correcto
Shakira sos buenísima me regustan tus caderas
Conjugación verbal (tiempo, modo, persona, número)
Flexión de Género
Flexión de Número
Sufijos (aument
aument.,
., diminut
diminut.,
., peyorativo, superlativo, etc.)
Prefijos (intensidad, oposición, negación, etc.)
Keepcon | Bigdata 2013, Argentina
4
Texto incorrecto
T3 kon testo enel forrrooo
forrrooo,, hest@
hest@ vien
vien??
Símbolos y números
Errores ortográficos y de tipeo
Splitting
Merging
Letras repetidas
Keepcon | Bigdata 2013, Argentina
5
Combinaciones de “estúpido”
Estúpido / Estúpida/ Estúpidos/ Estúpidas
Género y Número
Sufijos
Prefijos
Ortografía / Fonética/
Gráfica / Flexiones
Regionales/
Merging
Splitting
Repeticiones
Keepcon | Bigdata 2013, Argentina
4
40
640
Estupidito/ Estupidazo/
Estupidísimo/Estupidote/ …
Superestúpido/ Hiperestúpido/
Reestúpido/ …
19,200
Etupido / Estup1d0/ 3stupido/
Stúpido/ Eztupido/ Estupidus/…
576,000
e.s.t.u.p.i.d.o / est upi do/
est….u…p..idoo/ ….
1,600,000
38,300,000
Eresunestu pido/
estu pidototal/
Sonmuyes tu pidos/
Estupidoooooo/
Estuupido/ …
6
Detección de no-palabras
Asasjldkaldf
Tecladismo
:) :(
Emoticones
8===)
Arte ASCII
jajjaja
Risas
Keepcon | Bigdata 2013, Argentina
Idioma
7
Morfología
Googleadoras
Google
Google
verbo
Keepcon | Bigdata 2013, Argentina
a
dor
adj..
adj
a s
femen.
plural
8
Sintaxis
Desgracia la para suerte qué
Vendo un arma
Arma un combo
Keepcon | Bigdata 2013, Argentina
9
Semántica
La lata descansa casas verdes
La pasé mal
Me gustó mal
Keepcon | Bigdata 2013, Argentina
10
Pragmática
Esta mañana me tomé un submarino
Keepcon | Bigdata 2013, Argentina
11
ML - Feature selector
sartén
che
ch4von
rebenque
chabón
siempre
hola
pereza
silbose
cilindro
holis
penita
holaaa
cheibon señalan
Julieta
bolsa
papoña
Chabón
chabon
sinécdoque
sintiola
Ezequiel
Hola
partisano
c.h.a.b.o.n
camino
aplausos
Ferro
Keepcon | Bigdata 2013, Argentina
12
Tipos de información
Información «útil»
Taggeada
Estructurada
13%
20%
80%
Desestructurada
87%
No taggeada
Fuente: Computer World,
World, Meryll Lynch, IDC´
IDC´s Digital Universe Study 2012
Keepcon | Bigdata 2013, Argentina
13
Dificultades
Info
Info.. estructurada
Desestructurada
Keepcon | Bigdata 2013, Argentina
+ fácil
difícil
14
¿Qué se necesita?
Lingüística
Formación y recursos humanos
Recursos lingüísticos en «argentino»
(corpus anotados, estadística,
gramáticas, etc.)
Keepcon | Bigdata 2013, Argentina
15
Preguntas
¿Eh?
Keepcon | Bigdata 2013, Argentina
16