Morfología IMPORTANTE Seguramente al final de las diapositivas viene una tarea… por favor revise la última diapositiva Mejor revise todas.. puede encontrar otra tarea Morfología Morfología ◦ F. Gram. Parte de la gramática que se ocupa de la estructura de las palabras. Busca identificar la raíz de los verbos, sustantivos, pronombres, etc. Para distinguir la esencia del significado de la palabra analizada. Morfología Y la wiki dice.. La morfología (del griego μορφ- [morph]: forma, + λογία' [logía]: tratado), es la rama de la lingüística que estudia la estructura interna de las palabras para delimitar, definir y clasificar sus unidades, las clases de palabras a las que da lugar (morfología flexiva) y la formación de nuevas palabras (morfología léxica). Morfología y sintaxis La gramática divide el estudio de todas las lenguas en 2 secciones: Morfología y sintaxis. La morfología explica la estructura interna de las palabras y el proceso de formación de palabras. La sintaxis describe cómo las palabras se combinan para formar sintagmas, oraciones y frases. Morfología Entrada: Secuencia de fonemas (letras) Salida: Secuencia de pares (lema, tag(s)) Estudia: ◦ Composición de fonemas en formas léxicas (palabras) a partir de sus raíces (lema) + categorías morfológicas (inflexión, derivación, composición). Morfología Morfema: unidad mínima con sentido Raíz: morfema principal o libre. Afijos: dan significado adicional ◦ Prefijos ◦ Sufijos ◦ Circunfijos Morfología Una palabra es una secuencia de morfemas. Un afijo es un morfema secundario: ◦ Prefijo – afijo concatenado frente a la raíz Feliz – infeliz ◦ Sufijo – afijo concatenado al final de la raíz Marca – marcas Árbol – árboles Morfología Pseudohospitalización ◦ Pseudo – hospitalización ◦ Hospitalizar – hospitalización ◦ Hospital – hospitalizar Destruir Mano Capital Sucio Morfología Restricciones semánticas: ◦ No es posible adjetivar negativamente un nombre que ya tiene una carga negativa: Feliz – infeliz. Triste – *intriste. Correcto – incorrecto. Errado – *inerrado Morfología ◦ Problema: Identificar y eliminar los prefijos y sufijos que acompañan a la raíz de la palabra: Morfología Conjugaciones. ◦ Al asociar los verbos a los pronombres en un solo tiempo se derivan varias presentaciones: Yo corro tú corres Él / ella corre Nosotros corremos Ustedes corren Ellos/ellas corren Morfología Tiempos. Al usar un mismo verbo para una persona específica, pero con distintos tiempos se obtienen palabras distintas. Morfología Irregulares. ◦ Las palabras derivadas de la raíz no observan un patrón ordinario : Morfología Género y número. ◦ En consecuencia a la adaptación del término al género y número del vocablo original se altera: ◦ Alternaciones ortográficas: los morfemas pueden cambiar según el contexto Pez pezs peces Maní Manís Maníes Morfología Diminutivos y superlativos. ◦ Son todas aquellas palabras que se usan para expresar una comparación a partir de una referencia: Morfología Incongruencias. : Errores al generar raíces que no correspondan y que representan otra cosa. ¡Los límites no son claros! Pasta – pasto Punto – punta Foco – foca Marco – marca Campana – campanilla Fila – filo Raya – rayo Pilón – piloncillo Velo – vela Manzana – manzanilla Taza – tazo Manzano – manzanillo Morfología Meta: tomar formas de entrada y producir salidas. Entrada Salida Morfológica Parseada Gatos Gato + S + PL Gato Gato + S + SG Gatitos Gato+Masc+PL+Dim Raíz Raíz + S + SG Raíces Raíz + S + PL Morfología 2da. columna:: contiene la raíz + características morfológicas. ◦ +S significa que la palabra es un sustantivo. ◦ +SG significa que es singular, +PL plural. Morfología Entrada Salida parseada Pavos Pavo + S + Masc + Pl Pavo Pavo + S + Masc + Sg Bebo beber + V + Pind + 1p + Sg Canto Cantar + V + Pind + 1P + Sg Canto Canto + S + Masc + Sg Puse Poner + V + Perf + 1P + Sg Vino Venir + V + Perf + 3P + Sg Vino Vino + S + Masc + Sg Lugar Lugar + N + Masc + Sg Morfología La descomposición de una palabra de la entrada en su forma de base y sus afijos se denomina lematización (stemming). ¿Para qué la morfología? Usos corrientes ◦ Corrigiendo la ortografía *presición => inherente a la palabra Yo caminabas => concordancia número y género termino / término => contexto / categoría gramatical sólo / solo => contexto / categoría gramatical ◦ Separación de sílabas ta-re-a, trans-crip-ción, dí-a ¿Para qué la morfología? Recuperando su origen – significado ◦ Para clasificación de textos: mientras más se mencione una palabra (un significado) con mayor seguridad el texto versa sobre ese tema huracán, huracanes lluvia, lluvias Como primer paso de un analizador sintáctico. ¿Para qué la morfología? Recordemos: ◦ Recuperación de información: recopilación de documentos pertinentes ◦ Extracción de información: extracción de piezas de información de interés a partir de documentos ◦ Minería de texto: descubriendo nuevas asociaciones entre las piezas de información extraídas Morfología Formas de combinar morfemas ◦ Flexión ◦ Derivación ◦ Composición Morfología Flexión: mecanismo de producción de palabras dentro de una misma clase y con igual semántica. comeré – comiste ladrón – ladronzuelo Morfología Tres clases en función de su inflexión ◦ Partículas o palabras sin inflexión (artículos) ◦ Verbos : admiten la conjugación ◦ Nominales : palabras con declinación (género, número, adverbios, etc.) Morfología Derivación: Crear nuevas palabras. Cambia su categoría de parte de la oración. (tarea) Comer – comestible ◦ No se puede aplicar a todas las palabras de una cierta clase Correr – *corrible Morfología ◦ Depende de su origen: Triste – tristeza, Feo – *feeza ◦ Combinar una raíz con un afijo: Estable (adj) estabilizar (verbo) estabilización (sustantivo ) desestabilización (sustantivo) Morfología Composición ◦ Proceso para crear nuevas palabras. A partir de dos palabras (raíces) creamos una nueva Cabizbajo Maniatado Malhablado Morfología Para construir un analizador morfológico, es necesario: ◦ Lexicón: la lista de raíces y afijos, juntos con información básica sobre ellos (si una raíz es una raíz sustantivo o una raíz verbo, etc) Morfología Morfotáctica: modelo del morfema, explica que clases de morfemas pueden seguir otras clases de morfemas dentro una palabra. Ejemplo: el morfema plural sigue al sustantivo en lugar de precederlo. Morfología ◦ Reglas ortográficas: reglas de deletreo para modelar los cambios que ocurren en una palabra, usualmente cuando 2 morfemas se combinan: Por ejemplo z ces que cambia raíz + -s a raíces, en lugar de raízs) Morfología La mayoría de herramientas asignan y desambiguan: ◦ Asignación de etiquetas. ◦ Desambigüación de etiquetas. El lexicón Diccionario: libro en el que se recogen y explican de forma ordenada voces de una o más lenguas, de una ciencia o de una materia determinada. ◦ Lexicón = diccionario El lexicón El lexicón más simple consistiría de una lista explícita de cada palabra del lenguaje. ◦ Incluyendo abreviaciones ◦ Imposible listar cada palabra posible. El Lexicón Lexicones computaciones: estructurados con una lista de cada una de las raíces y afijos del lenguaje y una representación de la morfotáctica. El Lexicón y Morfotáctica Se puede modelar la morfotáctica con un AEF. plural (-s) sust-reg q0 q1 q2 sust-irreg-pl sust-irreg-sg Sust-reg Sust-irreg-pl Sust-reg-sg Plural Gato Perro raíces Peces Raíz Pez -s El Lexicón y Morfotáctica El AEF anterior asume que el lexicón incluye sustantivos regulares que toma el plural regular –s (gatos, perros, niños). Incluye formas de sustantivos irregulares, no toman la –s, tanto singulares (pez, raíz) y plurales (peces, raíces) El Lexicón y Morfotáctica Un modelo similar para la inflexión verbal Forma-verbo-irreg-pas Raíz-verb-reg q0 Pasado q1 q3 Pasado participio (-ado) Raíz-verb-reg Geru(ando, endo) Raíz-verb-irreg q2 3-sing (-s) El lexicón y Morfotáctica PARSING MORFOLÓGICO CON TRANSDUCTORES DE ESTADO FINITO Parsing morfológico con transductores de estado finito(TEF) Dada la entrada gatos, queremos de salida gato + S + PL (sustantivo plural) Se utiliza una versión de morfología en 2 niveles. Parsing morfológico con TEF Representa una palabra como una correspondencia entre un nivel léxico: ◦ Representa una simple concatenación de morfemas formando una palabra,. Y un nivel superficial: ◦ Representa el deletreo real de la palabra final. Parsing morfológico con TEF El parsing morfológico construye reglas de mapeo que mapean secuencias de letras. ◦ como gatos, en el nivel superficial, en morfemas y secuencias de características como gato + S + PL en el nivel léxico. g a t o g a t o +S +PL s Parsing morfológico con TEF El autómata que se utiliza para realizar el mapeo entre estos 2 niveles es el transductor de estado finito o TEF. Un transductor mapea entre un conjunto de símbolos y otro; un transductor de estado finito lo hace con un autómata finito. Parsing morfológico con TEF Parsing morfológico con TEF Usualmente se visualiza un TEF como un autómata de 2 cintas que reconoce o genera pares de cadenas. El TEF tiene una función más general que un AEF: ◦ Un AEF define un lenguaje formal al definir un conjunto de cadenas. ◦ Un TEF define una relación entre conjuntos de cadenas. Parsing morfológico con TEF Se puede ver un TEF como: ◦ TEF como reconocedor: un transductor que toma un par de cadenas como entrada y emite aceptada si el par-cadena está en el lenguaje y rechazada si no está. ◦ TEF como un generador: una máquina que saca pares de cadenas del lenguaje. La salida es un si o un no, y un par de cadenas de salida. ◦ TEF como un traductor: una máquina que lee una cadena y saca otra cadena. FIN… Por hoy Tarea Instalar herramienta FreeLing, revisar con un ejemplo las funciones que tiene y cómo se hace el análisis morfológico. Leer el artículo Analizador Morfológico Disponible: un Recurso Importante para PLN en Español de Alexander Gelbukh y Grigori Sidorov