UNIVERSIDAD NACIONAL DE TRUJILLO
FACULTAD DE CIENCIAS FISICAS Y MATEMATICAS
ESCUELA ACADEMICO PROFESIONAL DE INFORMÁTICA
DISEÑO DE UNA PROPUESTA DE SISTEMA INTELIGENTE
UTILIZANDO PROCESAMIENTO DE LENGUAJE NATURAL (PLN)
PARA RECONOCIMIENTO DE MENSAJES EXTORSIVOS.
Autores
Argomedo Pflücker Kevin Christian
Cóndor Ruiz Alexander Tito
Asesor
Ing. Jorge Luis Gutiérrez Gutiérrez
17 de Diciembre de 2014
Trujillo, La Libertad
INDICE
INTRODUCCIÓN ................................................................................................................................... 1
CAPÍTULO I .......................................................................................................................................... 4
MARCO TEÓRICO ................................................................................................................................. 4
1.1.
Mensajes SMS extorsivos ................................................................................................... 4
1.1.1. Definición ............................................................................................................................ 4
1.1.1.1.Mensaje SMS .......................................................................................................... 4
1.1.1.2.Extorsión ................................................................................................................. 4
1.1.2. Características ..................................................................................................................... 4
1.1.3. Arquitectura para la red SMS ............................................................................................. 6
1.2.
PLN ....................................................................................................................................... 7
1.2.1. Definición ............................................................................................................................ 7
1.2.2. Problemas en PLN ............................................................................................................... 7
1.2.2.1.La variación y la ambigüedad lingüística ............................................................... 7
1.2.2.2.Detección de separación entre las palabras ........................................................ 10
1.2.2.3.Complejidad del conocimiento Lingüístico .......................................................... 10
1.2.2.4.Complejidad del conocimiento extra lingüístico ................................................. 11
1.2.2.5.Recepción imperfecta de datos ............................................................................ 12
1.2.3. Tipos de PLN ...................................................................................................................... 12
1.2.3.1.Procesamiento de Voz .......................................................................................... 12
1.2.3.2.Procesamiento de Texto ....................................................................................... 13
1.2.4. Componentes Principales ................................................................................................. 13
1.2.4.1.Análisis Morfológico ............................................................................................. 13
1.2.4.2.Análisis Sintáctico ................................................................................................. 14
1.2.4.3.Análisis Semántico ................................................................................................ 15
1.2.4.4.Análisis Pragmático .............................................................................................. 17
1.2.5. Aplicaciones....................................................................................................................... 18
1.2.5.1.Recuperación de información .............................................................................. 18
1.2.5.2.Interfaces en lenguaje natural ............................................................................. 19
1.2.5.3.Traducción Automática ........................................................................................ 21
1.2.5.4.Reconocimiento del Habla ................................................................................... 23
1.2.5.5.Generación de Lenguajes Naturales .................................................................... 24
1.2.6. Ejemplos ............................................................................................................................ 27
1.2.6.1 Traducción Informática ........................................................................................ 27
1.2.6.2 Clasificación de Textos ......................................................................................... 28
1.2.6.3 Recuperación de Información .............................................................................. 29
1.2.6.4 Entendimiento/Generación de lenguaje Natural ................................................ 30
1.2.6.5 Otros...................................................................................................................... 30
1.3.
Clasificador Bayesiano Ingenuo ........................................................................................ 30
1.3.1. Definición .......................................................................................................................... 30
1.3.2. Modelo Probabilístico ....................................................................................................... 31
1.3.3. Estimación de Parámetros y modelo de eventos............................................................. 32
1.3.4. Corrección de Muestras .................................................................................................... 33
1.3.5. Construcción de un clasificador del modelo probabilístico ............................................. 33
CAPÍTULO II ....................................................................................................................................... 34
MATERIALES Y MÉTODOS.................................................................................................................. 34
2.1.
Tipo de Estudio .................................................................................................................. 34
2.2.
Población ........................................................................................................................... 34
2.3.
Muestra ............................................................................................................................. 34
2.4.
Técnica de Recolección de Datos ...................................................................................... 35
2.5.
Instrumento de Recolección de Datos ............................................................................. 35
2.6.
Procedimiento de Investigación ....................................................................................... 35
CAPÍTULO III ...................................................................................................................................... 36
RESULTADOS ..................................................................................................................................... 36
3.1.
Descripción ........................................................................................................................ 36
3.2.
Modelo Propuesto de PLN ................................................................................................ 36
3.3.
Elementos del Software .................................................................................................... 37
3.3.1. Análisis léxico .................................................................................................................... 37
3.3.2. Análisis sintáctico .............................................................................................................. 37
3.3.3. Análisis semántico............................................................................................................. 37
3.3.4. Análisis estadístico ............................................................................................................ 38
REFERENCIAS BIBLIOGRÁFICAS ......................................................................................................... 41
INTRODUCCIÓN
La presente investigación tiene por objetivo el diseño de un sistema inteligente para el
reconocimiento de mensajes de texto extorsivos utilizando Procesamiento del Lenguaje Natural
(PLN). Los datos sobre los que hemos trabajados son una muestra de mensajes de texto tanto
extorsivos como no extorsivos.
En la actualidad, PLN es una rama de la inteligencia artificial desarrollada en su mayoría para el
idioma inglés, no existen muchos estudios que se enfoquen en el idioma español, tanto la riqueza
de este idioma y su ambigüedad hacen que el tratamiento sea mucho más complejo. Este trabajo
nos permite brindar un pequeño aporte al estudio de PLN enfocado al idioma español.
En nuestro país, la seguridad ciudadana se ve amenazada por bandas criminales que amedrentan a
las personas y “solicitan” un pago para que no se atente contra sus vidas; día a día encontramos
en las noticias un nuevo caso de extorsión, de personas que ven como el fruto de su trabajo, su
vida y la de sus seres queridos se ve riesgo si es que no entregan la suma de dinero que se les
exige.
Este proyecto se enfoca en los mensajes de texto extorsivos, es decir, analizar estos mensajes
antes de que la persona afectada los reciba; de esta manera el usuario evita recibir este tipo de
amenazas y extorsiones, además de tener la posibilidad de identificar al emisor de estos mensajes.
Es por ello que consideramos que nuestro proyecto se justifica socialmente ya que permite evitar
que una persona reciba mensajes extorsivos, ayudando a mantener su tranquilidad; además se
justifica académicamente porque pondremos en práctica técnicas de procesamiento del lenguaje
natural, gramáticas de libre contexto e investigación en el área de la lingüística española que es un
área poco trabajada.
1
Con relación a nuestra investigación nos hemos topado con trabajos realizados como:
El trabajo (F. Gelbukh, N. Galicia Haro, & A. Bolshakov, 1998) que tuvo como finalidad realizar
análisis sintácticos a textos en español y además colaborar con la enseñanza del idioma al
extranjero. Los patrones de manejo sintáctico son una colección completa de descripciones de
todos los posibles "objetos" de una palabra específica. Del trabajo, utilizaremos la forma en que
clasifica una palabra por su ambigüedad gramatical, sea esta sustantiva, adjetival, entre otras.
Egresados de la escuela de Informática (Bautista & Tuesta, 2004) desarrollaron una aplicación, la
cual consiste en ingresar una consulta en lenguaje natural (idioma español ) y ésta, luego de emitir
avisos para que el usuario corrija las palabras mal escritas; transforma esa consulta a una
sentencia SQL y devuelve el resultado de dicha consulta. Definen una gramática muy útil para el
idioma español, la cual usaremos en el proyecto.
En el trabajo realizado en la Universidad Nacional de Colombia (Ovalle, 2002) se consideró la tarea
de la clasificación de frases del lenguaje natural, utilizando redes neuronales recurrentes. Se
obtuvo como resultado la clasificación de las frases por su estado gramatical. En este trabajo se
logró en un porcentaje aceptable esta clasificación, utilizando como ejemplos para entrenar a la
red neuronal recurrente, frases codificadas del lenguaje natural, basándose esta codificación en la
teoría lingüística de Reacción y Ligamiento. Bajo la salvedad que, se aplica en frases correctas
gramaticalmente, utilizaremos el entrenamiento de esa red neuronal como un referente para
entrenar la nuestra.
El trabajo realizado en la Universidad de Sevilla (L. Cruz, A. Troyano, Enríquez, & Ortega, 2008)
abordo la tarea de determinar si en el texto se expresan opiniones negativas o positivas, esta
aplicado al idioma español aplicándolo a un corpus de críticas de cine en español de construcción
propia, se planteó además una versión supervisada del clasificador que mejora significativamente
la precisión. Para la parte de pruebas se seleccionaron 400 criticas aleatorias del corpus (mitad
consideradas positivas y la mitad de negativas), de los resultados obtenidos usando el proceso
supervisado son mucho mejores que los obtenidos a partir del proceso no supervisado. De este
trabajo tomaremos como referencia la metodología usada para el tratamiento de los textos en
español.
2
Por todo lo antes mencionado la pregunta es: ¿Cómo reconocer mensajes de texto extorsivos?,
ante esta pregunta la hipótesis que consideramos es que, mediante un sistema inteligente
utilizando procesamiento del lenguaje natural podemos reconocer dichos mensajes.
Finalmente el objetivo que perseguimos es lograr el diseño de una propuesta de sistema
inteligente para el reconocimiento de mensajes extorsivos.
Este trabajo presenta los siguientes capítulos:
En el capítulo I se presenta el marco teórico donde analizaremos aspectos básicos relacionados
con nuestro proyecto, aspectos como la tecnología que se usa para el envió de los mensajes de
texto, un visión general de PLN y algunas de sus aplicaciones.
El capítulo II se refiere a los Materiales y Métodos, aquí exponemos cuestiones propias de la
investigación tales como: tipo de estudio, población, muestra, técnicas e instrumentos usados en
la recolección de datos y el procedimiento de la investigación.
En el capítulo III se presentan los resultados obtenidos en la investigación, describimos tales
resultados, además presentamos el modelo de PLN propuesto y el software implementado.
El capítulo IV aborda la discusión de los resultados mostrados en el capítulo III, considerando
aspectos como la determinación y los factores críticos que afectan a la eficacia, además se habla
sobre trabajos futuros.
Finalmente presentamos las conclusiones obtenidas a lo largo de la investigación y las
recomendaciones que a nuestro modesto entender pueden ser consideradas para futuras
investigaciones.
3
CAPÍTULO I
MARCO TEÓRICO
1.1. Mensajes SMS extorsivos
1.1.1. Definición
1.1.1.1. Mensaje SMS
SMS son las siglas de Servicio de Mensaje Corto. Disponible en redes
digitales GSM permitiendo enviar y recibir mensajes de texto de hasta 160
caracteres a teléfonos móviles vía el centro de mensajes de un operador
de red.
También se pueden enviar mensajes cortos a través de Internet, usando
un sitio web de SMS.
Si el teléfono al que se envía el mensaje está apagado o fuera de
cobertura, el mensaje se almacena en la red y se entrega en cuanto el
teléfono se conecta de nuevo a la red. (Diccionario de Informática y
Tecnología)
1.1.1.2. Extorsión
Presión que se hace a una persona, mediante el uso de la fuerza o la
intimidación, para conseguir de ella dinero u otra cosa. (Real Academia
Española)
1.1.2. Características

Un mensaje corto puede tener una longitud de hasta 160 caracteres. Esos 160
caracteres pueden ser palabras, números o una combinación alfanumérica. Los
mensajes cortos basados en No-texto (por ejemplo, en formato binario)
también se utilizan.

Los mensajes cortos no se envían directamente del remitente al receptor, sino
que se envían a través de un centro de SMS. Cada red de telefonía móvil que
utiliza SMS tiene uno o más centros de mensajería para manejar los mensajes
cortos.
4

El servicio de mensajes cortos se caracteriza por la confirmación de mensaje de
salida. Esto significa que el usuario que envía el mensaje, recibe
posteriormente otro mensaje notificándole si su mensaje ha sido enviado o no.

Los mensajes cortos se pueden enviar y recibir simultáneamente a la voz y
datos. Esto es posible porque mientras que la voz o los datos asumen el control
de un canal de radio dedicado durante la llamada, los mensajes cortos viajan
sobre un canal dedicado a señalización independiente de los de tráfico.

Hay formas de enviar múltiples mensajes cortos. La concatenación SMS (que
encadena varios mensajes cortos juntos) y la compresión de SMS (que consigue
más de 160 caracteres de información dentro de un solo mensaje corto) han
sido definidas e incorporadas en los estándares del GSM SMS.

Para utilizar el servicio de mensajes cortos, los usuarios necesitan la suscripción
y el hardware específico:
-
Una suscripción a una red de telefonía móvil que soporte SMS.
-
Un teléfono móvil que soporte SMS
-
Conocimiento de cómo enviar o leer mensajes cortos usando su terminal
móvil.
-
Un destino para enviar el mensaje, o dónde recibir el mensaje. Éste es
generalmente otro teléfono móvil, una PC o un buzón de e-mail.
(Interactividad GSMspain)
5
1.1.3. Arquitectura para la red SMS
La figura, muestra la estructura básica de la red SMS.

SME (Short Messaging Entity) : Entidad que puede enviar o recibir mensajes
cortos, pudiendo estar localizada en la red fija, una estación móvil, u otro
centro de servicio.

SMSC (Short Message Service Center): Es el responsable de la transmisión y
almacenamiento de un mensaje corto, entre el SME y una estación móvil.

SMS-Gateway/Interworking MSC (SMS-GMSC): es un Centro de Intercambio
de Mensajería capaz de recibir el mensaje corto, interrogando al HLR (Home
Location Register) sobre la información de encaminamiento y enviando el
mensaje corto al MSC visitado de la estación móvil receptora. Está
normalmente integrado en el SMSC.

HLR (Home Location Register): Es una base de datos usada para el
almacenamiento permanente y gestión de los usuarios y el perfil del servicio.
Sobre la interrogación del SMSC, el HLR le proporciona la información de
encaminamiento para el usuario indicado. El HLR, también informa al SMSC,
el cual previamente inició un intento de envío de SMS fallido a una estación
móvil específica, que ahora la estación móvil es reconocida por la red y es
accesible.

MSC (Mobile Switching Center): Lleva a cabo funciones de conmutación del
sistema y el control de llamadas a y desde otro teléfono y sistema de datos.

VLR (Visitor Location Register): Es una base de datos que contiene
información temporal de los usuarios. Esta información, la necesita el MSC
para dar servicio a los usuarios de paso (que están de visita).
6

BSS (Base Statio System): Formada por el BSCs(base-station controllers) y por
BTSs (base-transceiver strations), su principal responsabilidad es transmitir el
tráfico de voz y datos entre las estaciones móviles. (Información Técnica
GSMspain)
1.2. PLN
1.2.1. Definición
Es la disciplina que pertenece al campo de la inteligencia artificial; cuál a su vez al
campo de la informática; que asume como objetivo básico el tratamiento
automático de la información lingüística. De hecho, a este campo de estudio
también se le denomina Lingüística computacional.
Se ocupa de la formulación e investigación de mecanismos computacionales para
la comunicación entre personas y maquinas mediante el uso de lenguajes
naturales. (Conference on Intelligent Text Processing and Computational
Linguistics)
1.2.2. Problemas en PLN
1.2.2.1. La variación y la ambigüedad lingüística
El lenguaje natural, entendido como la herramienta que utilizan las
personas para expresarse, posee propiedades que merman la efectividad
de los sistemas de recuperación de información textual. Estas
propiedades son la variación y la ambigüedad lingüística. Cuando
hablamos de la variación lingüística nos referimos a la posibilidad de
utilizar diferentes palabras o expresiones para comunicar una misma
idea. En cambio, la ambigüedad lingüística se produce cuando una
palabra o frase permite más de una interpretación.
Ambos fenómenos inciden en el proceso de recuperación de información
aunque de forma distinta. La variación lingüística provoca el silencio
documental, es decir la omisión de documentos relevantes para cubrir la
necesidad de información, ya que no se han utilizado los mismos
términos que aparecen en el documento. En cambio, la ambigüedad
implica el ruido documental, es decir la inclusión de documentos que no
7
son significativos, ya que se recuperan también documentos que utilizan
el término pero con significado diferente al requerido. Estas dos
características dificultan considerablemente el tratamiento automatizado
del lenguaje. A continuación se muestran algunos ejemplos que ilustran
la repercusión de estos fenómenos en el proceso de recuperación de
información:
A nivel morfológico una misma palabra puede adoptar diferentes roles
morfo-sintácticos en función del contexto en el que aparece,
ocasionando problemas de ambigüedad (ejemplo 1).
Ejemplo 1. Deja la comida que sobre, sobre la mesa de la cocina, dijo
llevando el sobre en la mano.
La palabra sobre es ambigua morfológicamente ya que puede ser un
sustantivo masculino singular, una preposición, y también la primera o
tercera persona del presente de subjuntivo del verbo sobrar.
A nivel sintáctico, centrado en el estudio de las relaciones establecidas
entre las palabras para formar unidades superiores, sintagmas y frases,
se produce ambigüedad a consecuencia de la posibilidad de asociar a una
frase más de una estructura sintáctica. Por otro lado, esta variación
supone la posibilidad de expresar lo mismo pero cambiando el orden de
la estructura sintáctica de la frase (ejemplo 2).
Ejemplo 2. María vio a un niño con un telescopio en la ventana.
La
interpretación
de
la
dependencia
de
los
dos
sintagmas
preposicionales, con un telescopio y en la ventana, otorga diferentes
significados a la frase:
(i)
María vio a un niño que estaba en la ventana y que tenía un
telescopio.
(ii)
María estaba en la ventana, desde donde vio a un niño que tenía
un telescopio
(iii)
María estaba en la ventana, desde donde miraba con un
telescopio, y vio a un niño.
A nivel semántico, donde se estudia el significado de una palabra y el de
una frase a partir de los significados de cada una de las palabras que la
8
componen. La ambigüedad se produce porque una palabra puede tener
uno o varios sentidos, es el caso conocido como polisemia (ejemplo 3).
Ejemplo 3. Luís dejó el periódico en el banco.
El término banco puede tener dos significados en esta frase:
(i)
Entidad bancaria
(ii)
Asiento.
La interpretación de esa frase va más allá del análisis de los componentes
que forman la frase, se realiza a partir del contexto en que es formulada.
Y también hay que tener en cuenta la variación léxica que hace
referencia a la posibilidad de utilizar términos distintos a la hora de
representar un mismo significado, es decir el fenómeno conocido como
sinonimia (ejemplo 4):
Ejemplo 4: Coche / Vehículo / Automóvil.
A nivel pragmático, basado en la relación del lenguaje con el contexto en
que es utilizado, en muchos casos no puede realizarse una interpretación
literal y automatizada de los términos utilizados. En determinadas
circunstancias, el sentido de las palabras que forman una frase tiene que
interpretarse a un nivel superior recurriendo al contexto en que es
formulada la frase (ejemplo 5).
Ejemplo 5. Se moría de risa.
En esta frase no puede interpretarse literalmente el verbo morirse si no
que debe entenderse en un sentido figurado.
Otra cuestión de gran importancia es la ambigüedad provocada por la
anáfora, es decir, por la presencia en la oración de pronombres y
adverbios que hacen referencia a algo mencionado con anterioridad
(ejemplo 6).
Ejemplo 6. Ella le dijo que los pusiera debajo
La interpretación de esta frase tiene diferentes incógnitas ocasionadas
por la utilización de pronombres y adverbio: ¿quién habló?, ¿a quién?,
¿qué pusiera qué?, ¿debajo de dónde? Por tanto, para otorgar un
9
significado a esta frase, debe recurrirse nuevamente al contexto en que
es formulada.
Con todos los ejemplos expuestos queda patente la complejidad del
lenguaje y que su tratamiento automático no resulta fácil ni obvio.
(Valles & Pedraza, 2007)
1.2.2.2. Detección de separación entre las palabras
Este suele ser un gran problema, especialmente cuando se recepcionan
los datos en forma oral; y es que en la lengua hablada no se suelen hacer
pausas entre palabra y palabra.
El lugar en el que se debe separar las palabras a menudo depende de
cuál es la posibilidad que mantenga un sentido lógico, tanto gramatical
como contextual; lo cual tiende a realizarse utilizando técnicas
probabilísticas. Esto es debido a nuestro idioma, ya que, por ejemplo, en
la lengua escrita, idiomas como el chino mandarín tampoco tienen
separaciones entre las palabras. (Carboneli, 1992)
1.2.2.3. Complejidad del conocimiento Lingüístico
Hay dos tipos de conocimiento necesario para el reconocimiento de las
estructuras en el texto y para la resolución de ambigüedades:
 Conocimiento general
Son los algoritmos y las gramáticas, es decir, lo que se aplica a todo el
lenguaje, a cualquier oración o texto. Gramáticas detalladas y
algoritmos muy sofisticados, con una profunda base matemática
pueden mejorar mucho la eficiencia de análisis de texto. Pero aunque
los buenos algoritmos pueden aumentar la rapidez del proceso, en
pocos casos pueden ellos mejorar la calidad de los resultados. Jamás
un algoritmo astuto podrá entender el lenguaje sin un inmenso
conocimiento sobre las palabras individuales.
 Conocimiento léxico.
Es específico para cada palabra, o a veces para grupos de palabras.
Dependiendo de la calidad de análisis necesario, se puede requerir
mucha información: cómo se conjuga la palabra, qué significa y qué
10
relaciones impide a otras palabras en la oración, qué preposiciones
usa para marcar sus objetos, cuáles palabras se usan para expresar los
sentidos como ‘muy’, ‘hacer’, ‘resultado’, etcétera. La mayoría de esta
información es específica para cada idioma: por ejemplo, casarse en
español requiere la preposición “con”, en inglés el equivalente de “a”,
en ruso de sobre; papel (rol) en español usa desempeñar para
expresar el sentido de ‘hacer’, y en inglés el equivalente de jugar.
Uno de los problemas contemporáneos del procesamiento de texto es
que la cantidad del conocimiento léxico necesario es tan inmensa que
resulta muy difícil alcanzar el grado necesario de conocimiento en un
sistema específico.
La compilación, ya sea manual o semiautomáticamente, de los
diccionarios de varios tipos –morfológicos, sintácticos, semánticos– es
una de las más importantes tareas de hoy en la lingüística
computacional. (Gelbukh & Bolshakov, 2000)
1.2.2.4. Complejidad del conocimiento extra lingüístico
Los diccionarios de las propiedades gramaticales de las palabras no son el
único conocimiento necesario para entender el lenguaje. Lo que falta es
el conocimiento de las propiedades de las cosas y de las situaciones en el
mundo real. El problema es que el texto no comunica toda la información
necesaria para entenderlo, sino que omite muchas ideas obvias, las
cuáles se pueden simplemente restaurar por el humano que escucha,
pero no por la computadora.
Consideremos una analogía. Cuando explicamos a alguien cómo ir al
Metro, le decimos algo como esto:
«Del Ángel vas por Reforma dos paradas en la dirección opuesta a la
Diana, bajas en el Caballito y das vuelta a la derecha».
Tenemos en nuestra mente un mapa, y estamos seguros que el que oye
también tiene en su mente un mapa igual al nuestro; lo único que
necesitamos es darles unas pistas sobre su trayectoria en este mapa,
unos puntos clave. Ahora bien, ¿qué sucederá si el que oye es un
extranjero y no sabe ni qué son el Angel o la Diana, ni cómo llegar allá, ni
11
siquiera cómo usar los peseros, cómo se ven, dónde subir, ni que hay que
pagar y cuánto? Ésta es la situación de las computadoras: son extranjeras
en nuestro mundo, no saben cómo usarlo, cómo se comportan las cosas
en él. Las personas lo aprenden observando las cosas y participando en
las situaciones. Las computadoras no tienen esta oportunidad. (Arreiza
Londoño & Henao Restrepo, 2000)
1.2.2.5. Recepción imperfecta de datos
Acentos extranjeros, regionalismos o dificultades en la producción del
habla, errores de mecanografiado o expresiones no gramaticales, errores
en la lectura de textos mediante Reconocimiento Óptico de Caracteres
(OCR). (Carboneli, 1992)
1.2.3. Tipos de PLN
1.2.3.1. Procesamiento de Voz
En inglés se denomina Voice/Speech Recognition (o con sus siglas SR).
Es la fase de la aplicación que recibe los sonidos, mediante el clásico y
conocido micrófono (de mejor o peor calidad) transformándolos,
luego de un largo proceso interno, en conjuntos de palabras
conocidas, es decir, en una presunta frase. Esta frase puede tener o
no sentido, pero es la interpretación que el módulo hace de los
sonidos recibidos vía micrófono. El procesamiento de voz se puede
dividir en las siguientes categorías:
-
Reconocimiento de Voz:
Trata con el análisis del contenido lingüístico de una señal de
voz
-
Codificación de Voz:
Técnicas de compresión de las señales de voz
-
Análisis de Voz:
Estudio de los sonidos y la voz para propósitos de contenido
lingüístico, médico, forense, etc.
-
Síntesis de Voz:
Creación de voz artificial por medio de la computadora.
-
Mejoramiento de Voz:
12
Técnicas para el mejoramiento de la inteligibilidad y/o la
calidad en la percepción de las señales de voz.
Una vez obtenida la frase; se sigue con el análisis de lenguaje natural.
(Larios)
1.2.3.2. Procesamiento de Texto
El procesamiento de texto es más sencillo que el procesamiento de
voz; ya que se procesa una frase que ya se encuentra escrita, sólo
recepciona; evitándonos el procesamiento
de sonidos para
decodificar la misma.
Una vez obtenida la frase, se procede a realizar su estudio de
lenguaje. El estudio del lenguaje natural se estructura normalmente
en 4 niveles de análisis:
-
Morfológico.
-
Sintáctico.
-
Semántico.
-
Pragmático.
Además se pueden incluir otros niveles de conocimiento como es el
análisis del discurso, que estudia cómo la información precedente
puede ser relevante para la comprensión de otra información; y,
finalmente, lo que se denomina conocimiento del mundo, referente al
conocimiento general que los hablantes han de tener sobre la
estructura del mundo para mantener una conversación. (Larios)
1.2.4. Componentes Principales
1.2.4.1.Análisis Morfológico
Su función consiste en detectar la relación que se establece entre las
unidades mínimas que forman una palabra, como puede ser el
reconocimiento de sufijos o prefijos. Este nivel de análisis mantiene una
estrecha relación con el léxico.
13
El léxico es el conjunto de información sobre cada palabra que el sistema
utiliza para el procesamiento. Las palabras que forman parte del
diccionario están representadas por una entrada léxica, y en caso de que
ésta tenga más de un significado o diferentes categorías gramaticales,
tendrá asignada diferentes entradas.
En el léxico se incluye la información morfológica, la categoría gramatical,
irregularidades sintácticas y representación del significado.
Normalmente el léxico sólo contiene la raíz de las palabras con formas
regulares, siendo el analizador morfológico el que se encarga de
determinar si el género, número o flexión que componen el resto de la
palabra son adecuados. (Sosa)
1.2.4.2.Análisis Sintáctico
Tiene como función etiquetar cada uno de los componentes sintácticos
que aparecen en la oración y analizar cómo las palabras se combinan para
formar construcciones gramaticalmente correctas. El resultado de este
proceso consiste en generar la estructura correspondiente a las categorías
sintácticas formadas por cada una de las unidades léxicas que aparecen en
la oración.
Las gramáticas, tal como se muestra en la siguiente figura, están formadas
por un conjunto de reglas:
O --> SN, SV
SN --> Det, N
SN --> Nombre Propio
SV --> V, SN
SV --> V
SP --> Preposición, SN
14
Dónde:
O= Oración
SN = Sintagma nominal
SV = Sintagma verbal
Det = Determinante
Ejemplo de una gramática simple: las reglas tiene como función la
composición de estructuras
El resultado del análisis se puede expresar en forma arbórea. Los árboles
son formas gráficas utilizadas para expresar la estructura de la oración,
consistentes en nodos etiquetados (O, SN, SV, etc.) conectados por ramas:
1.2.4.3.Análisis Semántico
En muchas aplicaciones del PLN los objetivos del análisis apuntan hacia el
procesamiento del significado. En los últimos años las técnicas de
procesamiento sintáctico han experimentado avances significativos,
resolviendo los problemas fundamentales.
15
Sin embargo, las técnicas de representación del significado no han
obtenido los resultados deseados, y numerosas cuestiones continúan sin
encontrar soluciones satisfactorias.
Definir qué es el significado no es una tarea sencilla, y puede dar lugar a
diversas interpretaciones. A efectos funcionales, para facilitar el
procesamiento, la modularidad es una de las propiedades más deseables.
Haciendo uso de esta concepción modular es posible distinguir entre
significado independiente y significado dependiente del contexto.
El primero, tratado por la semántica, hace referencia al significado que las
palabras tienen por sí mismas sin considerar el significado adquirido según
el uso en una determinada circunstancia. La semántica, por tanto, hace
referencia a las condiciones de verdad de la frase, ignorando la influencia
del contexto o las intenciones del hablante. Por otra parte, el componente
significativo de una frase asociado a las circunstancias en que ésta se da,
es estudiado por la pragmática y conocido como significado dependiente
del contexto.
Atendiendo al desarrollo en el proceso de interpretación semántica, es
posible optar entre múltiples pautas para su organización, tal como se
determinan en los siguientes párrafos.
En referencia a la estructura semántica que se va a generar, puede
interesarnos que exista una simetría respecto a la estructura sintáctica, o
por el contrario que no se dé tal correspondencia entre ellas. En el primer
caso, a partir del árbol generado por el análisis sintáctico se genera una
estructura arbórea con las mismas características, sobre la cual se realizará
el análisis semántico. En el segundo caso, en la estructura generada por la
sintaxis se produce un curso de transformaciones sobre las cuales se
genera la representación semántica.
Cada una de las dos opciones anteriores puede implementarse de forma
secuencial o paralela. En la interpretación secuencial, después de haber
finalizado la fase de análisis sintáctico, se genera el análisis semántico. En
16
cambio, desde un procedimiento en paralelo, el proceso de análisis
semántico no necesita esperar a que el analizador sintáctico haya acabado
toda su tarea, sino que puede ir realizando el análisis de cada
constituyente cuando éste ha sido tratado en el proceso sintáctico.
Finalmente en combinación con cada una de las opciones anteriores,
podemos escoger un modelo en el que exista una correspondencia entre
reglas sintácticas y semánticas o, contrariamente, podemos optar por un
modelo que no cumpla tal requisito. En caso afirmativo, para cada regla
sintáctica existirá una regla semántica correspondiente.
El significado es representado por formalismos conocidos por el nombre
de knowledge representation. El léxico proporciona el componente
semántico de cada palabra en un formalismo concreto, y el analizador
semántico lo procesa para obtener una representación del significado de
la frase. (Sosa)
1.2.4.4.Análisis Pragmático
Añade información adicional al análisis del significado de la frase en
función del contexto donde aparece. Se trata de uno de los niveles de
análisis más complejos, la finalidad del cual es incorporar al análisis
semántico la aportación significativa que pueden hacer los participantes, la
evolución del discurso o información presupuesta.
Incorpora así mismo información sobre las relaciones que se dan entre los
hechos que forman el contexto y entre diferentes entidades. (Sosa)
17
1.2.5. Aplicaciones
Entre las tareas principales del procesamiento de lenguaje natural se puede
mencionar:
1.2.5.1. Recuperación de información
La aplicación del procesamiento de lenguaje natural más obvia y una de
las más importante en el momento actual es la búsqueda de información
(se llama también recuperación de información). Por un lado, en Internet
y en las bibliotecas digitales se contiene una cantidad enorme de
conocimiento que puede dar respuestas a muchísimas preguntas que
tenemos. Por otro lado, hay tanta información que no sirve porque ya no
se puede encontrarla. Hoy en día la pregunta ya no es “¿si se sabe
cómo...?” sino “ciertamente se sabe, pero ¿dónde está esta
información?”.
Técnicamente, rara vez se trata de decidir cuáles documentos (así se
llaman archivos o textos en la recuperación de información) son
relevantes para la petición del usuario y cuáles no. Usualmente, una
cantidad enorme de documentos se puede considerar como relevantes
en cierto grado, siendo unos más relevantes y otros menos. Entonces, la
tarea se entiende cómo medir el grado de esta relevancia para
proporcionar al usuario primero el documento más relevante; si no le
sirvió, el segundo más relevante, etc.
El problema más difícil de la recuperación de información es, sin
embargo, no de índole técnica sino psicológica: entender cuál es la
necesidad real del usuario, para qué formula su pregunta. Este problema
se complica ya que no existe un lenguaje formal en el cual el usuario
podría
formular
claramente
su
necesidad.
(La
dirección
más
prometedora de resolver este problema es, nuevamente, el uso de
lenguaje natural.)
Las técnicas más usadas actualmente para la recuperación de
información involucran la búsqueda por palabras clave: se buscan los
18
archivos que contengan las palabras que el usuario teclee. Es decir, la
representación formal usada es el conjunto de las cadenas de letras
(palabras), usualmente junto con sus frecuencias en el texto (en número
de ocurrencias). La claridad matemática de la tarea causó mucho avance
en la teoría de estos métodos. Las ideas más usadas son los modelos
probabilísticos y los procedimientos iterativos e interactivos: tratar de
adivinar qué necesita el usuario preguntándolo cuáles documentos le
sirven).
Sin embargo, los métodos que involucran sólo las palabras (como
cadenas de letras) pero no el sentido del texto son muy limitados en su
capacidad de satisfacer la necesidad informática del usuario, es decir, de
hallar la respuesta a la pregunta que tiene en mente. Se puede mejorar
mucho aplicado las siguientes operaciones, desde las más sencillas hasta
más complejas:

Coincidencia
de
las
formas
morfológicas
de
palabras:
buscando pensar, encontrar piénsalo.

Coincidencia de los sinónimos, conceptos más generales y más
específicos:
buscando cerdo,
encontrar puerco, mascota, animal,
etc.

Tomar en cuenta las relaciones entre las palabras en la petición del
usuario y en el documento: buscando estudio de planes, rechazar
como no relevante planes de estudio.
(Conference on Intelligent Text Processing and Computational
Linguistics)
1.2.5.2. Interfaces en lenguaje natural
Las computadoras están entrando en todos los aspectos de nuestra vida
cotidiana: en las oficinas, en las tiendas, en las escuelas, en los servicios
públicos. Sin embargo, la gran mayoría del pueblo no tiene la
preparación adecuada para usarlas ya que se requiere saber cómo se
usan. Y nunca va a tener esta preparación, por el simple hecho:
19
económicamente, más conviene que las máquinas se adapten al modo
de la comunicación de las personas y no que todas las personas (las
cuales sólo en el mundo hispanohablante son 400 millones), generación
tras generación, aprendan cómo usar las máquinas –por ejemplo,
aprendan el SQL para formular con precisión sus preguntas.
De esto surge la idea ya muy conocida de las películas de fantaciencia: las
personas debemos poder hablar con las máquinas (o sea, los robots)
como hablaríamos con nuestros sirvientes, dándoles órdenes en la forma
cotidiana y escuchando sus respuestas.
Hablando de darles órdenes, no se trata de pronunciar los comandos
especiales que de otra manera escogeríamos del menú: abrir, edición,
copiar, guardar, salir (de modo similar a como se habla al perro pastor).
En lugar de esto, se trata de hablar a la máquina como hablaríamos al ser
humano.
Un tipo específico de las interfaces en lenguaje natural son preguntas
complejas a una base de datos. Como un ejemplo, podemos mencionar
el sistema TRAINS desarrollado en la Universidad deRochester en los
EE.UU. por James Allen. Este sistema vende los boletos de tren. El cliente
–que puede ser cualquier persona sin ningún conocimiento sobre las
máquinas– llama por teléfono a la estación de trenes y formula su
necesidad: tengo que ir mañana en la tarde a Nueva York. El programa –
sin siquiera darse cuenta el cliente de que habla con una máquina y no
con una persona– trata de entender su pregunta e internamente la
traduce a SQL, para ejecutar la búsqueda en su base de datos. Después,
el programa conduce (por teléfono) el diálogo con el usuario,
explicándole los precios y las condiciones, escuchando sus preguntas o
comentarios sobre cuál boleto más le conviene, etc. Finalmente, si llegan
al acuerdo, le reserva el boleto. Todo eso, nuevamente enfatizamos, no
requiere del cliente ningún conocimiento previo sobre el manejo de los
20
programas sino sólo el manejo natural de lenguaje que cotidianamente
usa para hablar con otras personas.
El problema más importante de este tipo de aplicaciones es que –a
diferencia de las aplicaciones en la recuperación de información– se
requiere entender exactamente la intención del usuario, ya que el costo
de error puede ser muy alto. Realmente, si el robot entiende
incorrectamente el comando, pude hacer alguna acción destructiva o
peligrosa. Si se malentiende la pregunta a la base de datos, la
información proporcionada resultará incorrecta, lo que puede causar
consecuencias graves.
Entonces, las interfaces en lenguaje natural en muchos casos requieren
de las representaciones de información más detalladas y complejas, así
como del análisis lingüístico más preciso y completo. (Conference on
Intelligent Text Processing and Computational Linguistics)
1.2.5.3. Traducción Automática
Históricamente, el sueño de la traducción automática motivó las
primeras investigaciones en lingüística computacional. A la primera vista,
la traducción parece ser un trabajo bastante mecánico y aburrido, que
puede fácilmente hacer la máquina: sustituir las palabras en un lenguaje
con sus equivalentes en el otro.
Sin embargo, con los avances en los programas de traducción se hizo
cada vez más obvio que esta tarea no es tan simple. Esto se debe, en una
parte, a las diferencias entre los lenguajes las cuales varían desde muy
obvias (por ejemplo, el orden de palabras es diferente en inglés y en
español) hasta más sutiles (el uso de diferentes expresiones y diferente
estilo).
21
El esquema general de prácticamente cualquier traductor automático es
(en acuerdo con el esquema expuesto en la introducción a este artículo)
el siguiente:

El texto en el lenguaje fuente se transforma a una representación
intermedia,

De ser necesario, se hacen algunos cambios a esta representación,

Luego, esta representación intermedia se transforma al texto en el
lenguaje final.
En algunos sistemas, al texto generado con este esquema también se
aplican algunos ajustes previstas por las heurísticas de traducción.
De la calidad esperada de traducción y de la proximidad de los dos
lenguajes depende qué tan profundas son las transformaciones entre las
dos representaciones, es decir, que tan diferente es la representación
intermedia del texto en el lenguaje humano.
En algunos casos (se puede mencionar los traductores entre los lenguajes
tan parecidos como español y catalán, portugués y gallego, etc.) basta
con la representación morfológica: el análisis y generación de las
palabras fuera del contexto. Por ejemplo, la palabra española hijas se
analiza como HIJO-femenino-plural, se transforma (usando una tabla de
correspondencias) a la representación FILHA-femenino-plural, de la cual
se genera la palabra portuguesa filhas (aqui, HIJA y FILHA son claves de
acceso a la base de datos que contiene las propiedades de las palabras
en los lenguajes correspondientes).
En otros casos, cuando hay diferencias estructurales más profundos
entre los lenguajes (que es el caso de casi cualquier par de idiomas,
incluidos español–inglés, español–francés, etc.), se usan como la
representación intermedia (que en este caso se llama interlingua) las
estructuras formales de predicados lógicos o sus equivalentes, por
ejemplo, redes semánticas (véase más abajo). Esta representación
22
independiente de lenguaje es en realidad el sentido del mensaje que
comunica el texto. Es decir, la transformación del texto a esta
representación formal es comprensión del texto, y la transformación en
el sentido contrario es generación: teniendo una idea, decirla en el
lenguaje humano. (Conference on Intelligent Text Processing and
Computational Linguistics)
1.2.5.4. Reconocimiento del Habla
Es una disciplina de la inteligencia artificial que tiene como objetivo
permitir la comunicación hablada entre seres humanos y computadoras.
El problema que se plantea en un sistema de este tipo es el de hacer
cooperar un conjunto de informaciones que provienen de diversas
fuentes de conocimiento (acústica, fonética, fonológica, léxica, sintáctica,
semántica y pragmática), en presencia de ambigüedades, incertidumbres
y errores inevitables para llegar a obtener una interpretación aceptable
del mensaje acústico recibido.
Un sistema de reconocimiento de voz es una herramienta computacional
capaz de procesar la señal de voz emitida por el ser humano y reconocer
la información contenida en ésta, convirtiéndola en texto o emitiendo
órdenes que actúan sobre un proceso. En su desarrollo intervienen
diversas disciplinas, tales como: la fisiología, la acústica, la lingüística, el
procesamiento de señales, la inteligencia artificial y la ciencia de la
computación.
Un aspecto crucial en el diseño de un sistema de RAH es la elección del
tipo de aprendizaje que se utilice para construir las diversas fuentes de
conocimiento. Básicamente, existen dos tipos:

Aprendizaje deductivo: Las técnicas de Aprendizaje Deductivo se
basan en la transferencia de los conocimientos que un experto
humano posee a un sistema informático. Un ejemplo
paradigmático de las metodologías que utilizan tales técnicas lo
23
constituyen los Sistemas Basados en el Conocimiento y, en
particular, los Sistemas Expertos.

Aprendizaje inductivo: Las técnicas de Aprendizaje Inductivo se
basan en que el sistema pueda, automáticamente, conseguir los
conocimientos necesarios a partir de ejemplos reales sobre la
tarea que se desea modelizar. En este segundo tipo, los ejemplos
los constituyen aquellas partes de los sistemas basados en los
modelos ocultos de Márkov o en las redes neuronales artificiales
que son configuradas automáticamente a partir de muestras de
aprendizaje.
En la práctica, no existen metodologías que estén basadas únicamente
en el Aprendizaje Inductivo, de hecho, se asume un compromiso
deductivo-inductivo en el que los aspectos generales se suministran
deductivamente y la caracterización de la variabilidad inductivamente.
(Congreso de Sevilla: La lengua española y las nuevas tecnologías, 2011)
1.2.5.5. Generación de Lenguajes Naturales
Es el proceso de la construcción de un texto en lenguaje natural para la
comunicación con fines específicos. Texto se refiere aquí a un término
general y repetitivo aplicable a expresiones, o partes de ellas, de
cualquier tamaño, tanto habladas como escritas. En el ser humano, el
que sea hablado o escrito tiene consecuencias en el nivel deliberativo y
de edición que ha tenido lugar; si el lenguaje es hablado puede faltar
revisión ya que la mayoría de los programas actuales pueden hablar, si
bien casi todos sólo presentan palabras en una pantalla. La decisión de
revisar o usar la palabra escrita o hablada no es una opción para la
generación del programa en la actualidad; pero se debe abordar el tema
en el diseño de un programa en particular.
El principal énfasis de la generación de lenguajes naturales no es sólo el
facilitar el uso del ordenador sino también el desarrollar una teoría
24
computacional de la capacidad del lenguaje humano. En este sentido
constituye una herramienta para extender, aclarar y verificar teorías que
se han formulado en lingüística, psicología y sociología acerca de la
comunicación entre humanos.
Un generador de lenguaje natural típicamente tiene acceso a un gran
conjunto de conocimiento del cual ha de seleccionar información para
presentar a los usuarios en varias formas. El generar texto es, pues, un
problema de toma de decisiones con múltiples restricciones: de
conocimiento proposicional, de herramientas lingüísticas disponibles, de
los objetivos de la comunicación del usuario a quien se dirige el texto, y
de la situación y del discurso pasado. Se trata de identificar los factores
involucrados en este proceso y de determinar la mejor forma de
representar estos factores y sus dependencias.
Para generar un texto, un sistema debe escoger cierta información de la
base de conocimiento, decidir cómo organizarla, y determinar cómo
producir el texto en lenguaje natural, lo cual incluye el decidir acerca de
la entrada del léxico y de las estructuras sintácticas.
Esto hace que el proceso de generación se divida en dos partes: una
componente de planificación del texto y una componente de generación
propiamente dicha. Ésta a su vez se divide en dos tareas: la de escoger
los objetos del léxico y la de efectuar selecciones gramaticales. En todo
esto se trata de escoger apropiadamente para expresar lo mejor posible
el significado deseado.
Planificación de textos
Cuando se hace de arriba a abajo, se generan textos para sistemas
complejos, en sistemas expertos para dialogar con una gran variedad de
usuarios. El proceso de planificación es algo restrictivo ya que no puede
alcanzar planificación oportunista. En algunos casos se incorporan
25
métodos de abajo a arriba, para aprovecharse de planificación
oportunista.
Generación de textos

Elección de léxico. En este campo se trabaja desde los puntos de
vista lingüísticos y computacionales. Este problema es difícil. En
algunos casos se trata al nivel de la representación conceptual sobre
cuya base opera el generador. Este método puede resultar en una
arquitectura de procesamiento más simple. En otros casos se trata
de que la elección de léxico no ocurra de una forma aislada sino
como parte del problema de la elección léxico gramatical. En otros
casos se han desarrollado generadores basados en la teoría
significado-texto, donde el léxico desempeña un papel central, que
influye en el proceso de generación.

Recursos gramaticales. En este campo la gramática a utilizar es una
componente importante del sistema, y toma decisiones de cómo
expresar sintácticamente la información deseada. En algunos casos
se trata de una gramática que tenga en cuenta las correferencias del
discurso. En otros casos la gramática se diseña para manejar las
necesidades de la generación de oraciones incrementalmente.

Morfología. Este campo trata de la formación de la palabra
(inflexión, palabras derivadas, palabras compuestas). Se basa en un
léxico que contiene entradas para un conjunto de palabras y reglas
para las inflexiones. (Ángel G. Jordán, 1992)
1.2.5.6. Respuestas a Preguntas
Llamado en inglés Question Answering (QA) es un tipo de recuperación
de la información. Dada una cierta cantidad de documentos (tales como
World Wide Web), el sistema debería ser capaz de recuperar respuestas
a preguntas planteadas en lengua natural. QA es observado como un
método que requiere una tecnología de Procesamiento de lenguaje
natural más compleja que otros tipos de sistemas para la Recuperación
26
de documentos, y, en algunos casos, se le observa como un paso por
delante de la tecnología del buscador.
Un sistema de question answering es uno de los sistemas más complejos
en torno a la recuperación de información. Debemos de tener en cuenta
que un sistema basado en el question-answering es mucho más difícil
que un sistema normal que se encarga de buscar una información en una
cantidad más o menos grande de documentos, ya que estos debe extraer
de dichos documentos un fragmento de texto (mínimo) que responda a
una pregunta dada en lenguaje natural. Estos sistemas están muy ligados
a los buscadores web.
Un sistema de question-answering intenta reconocer un amplio rango de
tipos de cuestiones, incluyendo hechos, listas, definiciones, cómo,
cuándo, dónde, por qué, etc. Dichas búsquedas pueden variar desde
pequeñas colecciones de documentos locales, organizaciones internas de
documentos, hasta la web entera (o una parte de ella). (Computació)
1.2.6. Ejemplos
1.2.6.1 Traducción Informática

Systran
Es
uno
de
los
sistemas
comerciales
de traducción
automática más veteranos.
Es utilizado de manera gratuita en las múltiples instalaciones
accesibles por Internet: AOL, AltaVista, o el Instituto Cervantes.
La empresa ofrece módulos preparados para más de 40 idiomas.
Systran además integra funciones multilingües muy útiles para
aplicaciones como el comercio electrónico, CRM, bases de
datos, correo electrónico, mensajería instantánea, SMS, WAP.
Todas desarrolladas bajo fundamento de PLN. (Systran)
27

Google Translate
Es un sistema de traducción automática gratuito proporcionado
por Google Inc, basado
en procesamiento estadístico del
lenguaje para traducir un texto, documentos y páginas web a
otras lenguas. Google introdujo su propio software de traducción
en 2007, antes Google utilizaba el traductor SYSTRAN, que es
utilizado por otros servicios de traducción, tales como Babel
Fish, AOL y Yahoo.
(Traductor
Google)
1.2.6.2 Clasificación de Textos
 Filtro Spam.
Algunas
han
sido
incorporadas
en
productos,
servicios
y software para aliviar la carga que cae sobre usuarios y
administradores. No existe la fórmula perfecta para solucionar el
problema del spam por lo que entre las múltiples existentes unas
28
funcionan mejor que otras, rechazando así, en algunos casos, el
correo deseado para eliminar completamente el spam, con los
costes que conlleva de tiempo y esfuerzo.
 Clasificación de temas.
Tratan
de
establecer
una
división
lógica
y
sistemática
del conocimiento, que permita representar el contenido de
manera sintética. Ordenación o disposición por clases o grupos
 Análisis Sentimental.
Es el uso de PLN, análisis de textos y lingüística computacional para
identificar y extraer información subjetiva en materiales fuente.
Determina la actitud de un sujeto respecto a algún tema. Su
actitud será su juicio o evaluación de estado afectivo; o la
comunicación emocional que pretenda expresar.
(Antispam)
1.2.6.3 Recuperación de Información

Search Engines : Google Search, Lucene
Diseñados para buscar información. Los resultados de búsqueda
son presentados generalmente en una línea de resultados. La
información es una mezcla de diferentes fuentes ( páginas web,
imágenes, otro tipo de archivos ). A diferencia de los directorios,
que son supervisados sólo por editores humanos; los engranes
de búsqueda presentan información en tiempo real. (Apache
Lucene)
29

Text Databases: MongoDB, CouchDB.
Son aquellas que gestionan datos semi estructurados. Es decir
documentos. Estos datos son almacenados en algún formato
estándar como puede ser XML, JSON o BSON. Son las bases de
datos NoSQL más versátiles. Se pueden utilizar en gran cantidad
de
proyectos,
incluyendo
muchos
que
tradicionalmente
funcionarían sobre bases de datos relacionales. (Bases de Datos
Textuales)
1.2.6.4 Entendimiento/Generación de lenguaje Natural
Chatbots
1.2.6.5 Otros

Corrección Automática

Compiladores

Intérpretes

Resúmenes Automáticos

Scraping
1.3. Clasificador Bayesiano Ingenuo
1.3.1. Definición
Un clasificador Bayesiano Ingenuo es un clasificador probabilístico simple, basado
en la aplicación del teorema de Bayes con fuertes supuestos de independencia. Un
término más descriptivo para el modelo de probabilidad subyacente es "modelo
de producción independiente".
El clasificador asume que la presencia o ausencia de una característica particular,
no está relacionada con la presencia o ausencia de cualquier otra característica,
teniendo en cuenta la variable de clase. Por ejemplo, una fruta puede ser
considerada como una manzana si es rojo, redondo, y alrededor de 3cm. de
30
diámetro. Un clasificador de Bayes Ingenuo considera cada una de estas funciones
para contribuir de manera independiente a la probabilidad de que esta fruta es
una manzana, independientemente de la presencia o ausencia de las otras
características.
Para algunos tipos de modelos de probabilidad, clasificadores de Bayes ingenuo se
puede entrenar de manera muy eficiente en un entorno de aprendizaje
supervisado. En muchas aplicaciones prácticas, la estimación de parámetros para
los modelos Bayes naive utiliza el método de máxima verosimilitud, es decir, se
puede trabajar con el modelo Bayes naive sin creer en la probabilidad bayesiana o
el uso de cualquiera de los métodos bayesianos.
Una ventaja de Bayes Ingenuo es que sólo se requiere una pequeña cantidad de
datos de entrenamiento para estimar los parámetros necesarios para la
clasificación. Porque se supone que las variables independientes, sólo las
varianzas de las variables para cada clase tienen que ser determinados y no a toda
la matriz de covarianza. (Clasificador bayesiano.)
1.3.2. Modelo Probabilístico
El modelo de probabilidad para un clasificador es:
Sobre una variable dependiente C, con un pequeño número de resultados (o
clases). Esta variable está condicionada por varias variables independientes desde
a
.
El problema es que si el número n de variables independientes es grande (o
cuando éstas pueden tomar muchos valores), entonces basar este modelo en
tablas de probabilidad se vuelve imposible. Por lo tanto el modelo se reformula
para hacerlo más manejable usando el teorema de Bayes, quedando de ésta
forma:
31
En la práctica sólo importa el numerador, ya que el denominador no depende de
y los valores de
son datos, por lo que el denominador es, en la práctica,
constante.
El numerador es equivalente a una probabilidad compuesta:
Que puede ser reescrita como sigue, aplicando repetidamente la definición de
probabilidad condicional:
Y así sucesivamente. Ahora es cuando la asunción “ingenua" de independencia
condicional entra en juego: se asume que cada
otra
para
es independiente de cualquier
. Esto significa que:
(Drakos & Moore, 2001)
1.3.3. Estimación de Parámetros y modelo de eventos
Todos los parámetros del modelo se pueden aproximar con frecuencias relativas
del conjunto de entrenamiento. Estas son las estimaciones de máxima
verosimilitud de las probabilidades. Una clase 'antes se puede calcular suponiendo
clases equiprobables, o calculando una estimación de la probabilidad de clase del
conjunto de entrenamiento. Para estimar los parámetros para la distribución de
una característica, uno debe suponer una distribución o generar modelos no
paramétricos para las características del conjunto de entrenamiento.
Las hipótesis sobre la distribución de funciones se llaman el modelo de eventos
del Clasificador bayesiano. Por características discretas como las encontradas en la
clasificación de documentos, las distribuciones multinomiales y Bernoulli son
populares. Estos supuestos conducen a dos modelos distintos, que a menudo se
32
confunden. Cuando se trata de los datos continuos, un supuesto típico es que los
valores continuos asociados con cada clase se distribuyen según una distribución
de Gauss.
En general, el método de distribución es una mejor opción si hay una pequeña
cantidad de datos de entrenamiento, o si se conoce la distribución precisa de los
datos. El método de discretización tiende a hacer mejor si hay una gran cantidad
de datos de entrenamiento, ya que va a aprender para adaptarse a la distribución
de los datos. Desde Bayes ingenuo se utiliza típicamente cuando una gran cantidad
de datos está disponible, se prefiere generalmente el método de discretización
sobre el método de distribución.
(Clasificador bayesiano.)
1.3.4. Corrección de Muestras
Si el valor de la clase y de la función dada no ocurren juntas en los datos de
entrenamiento, entonces la estimación basada en la probabilidad de frecuencia
será cero. Esto es un problema, ya que acabará con toda la información de las
otras probabilidades cuando se multiplican. Por lo tanto a menudo es necesario
incorporar una pequeña corrección de muestreo, llamada pseudocontador, con
toda la probabilidad estimada, de tal manera que no hay probabilidad alguna para
que dé exactamente cero. (Clasificador bayesiano.)
1.3.5. Construcción de un clasificador del modelo probabilístico
Hasta ahora la discusión ha derivado del modelo de características
independientes, es decir, el modelo de probabilidad de Bayes ingenuo. El
clasificador Naïve Bayes combina este modelo con una regla de decisión. Una regla
común es para recoger la hipótesis de que es más probable, esto se conoce como
el máximo de una regla de decisión a posteriori o MAPA.
El clasificador correspondiente, un clasificador de Bayes, es la función definida de
la siguiente manera: (Drakos & Moore, 2001)
33
CAPÍTULO II
MATERIALES Y MÉTODOS
2.1. Tipo de Estudio
Es una investigación de diseño no experimental, toda vez que los resultados se obtienen
con datos de prueba.
2.2. Población
La población para el presente estudio, dada la complejidad del idioma español estaría
formada un número infinito de formas distintas de escribir un mensaje.
2.3. Muestra
Dado que la población de mensajes es infinita optamos por usar un muestreo aleatorio
simple para poblaciones desconocidas con un nivel de confianza del 95% y un error de
muestreo del 5%
Dónde:
-
n = Tamaño de muestra
-
z = Coeficiente de confiabilidad (1,96)
-
p = 0.50
-
e = Error (0, 05)
Aplicando la formula obtenemos que la muestra es de tamaño 384 mensajes.
34
2.4. Técnica de Recolección de Datos
Los mensajes fueron recolectados a través de un formato de monitoreo realizado por la
policía; dicho monitoreo consiste en el proceso sistemático de recolectar y utilizar la
información para hacer un seguimiento al progreso de un particular, en nuestro caso, los
casos de extorsión.
2.5. Instrumento de Recolección de Datos
En este caso, será el software de sistema inteligente, en la que se ejecute el programa, el
encargado de recolectar los datos.
2.6. Procedimiento de Investigación
En primer lugar vamos a separar la muestra de los mensajes que constituyen a ese estudio
Luego diseñaremos un diccionario (corpus) que contendrá las palabras escritas
correctamente que aparecen generalmente en los mensajes extorsivos; y sus funciones
gramaticales respectivas.
Luego vamos a diseñar la gramática de libre contexto para el análisis sintáctico.
Se analizara el texto obtenido del análisis sintáctico usando el clasificador de Bayes
iIngenuo, este resultado será considerado dentro del vector de características necesario
para la red neuronal.
Después vamos a diseñar una red neuronal tomando en consideración la base de
conocimientos de los patrones que requiere la misma (vector de características).
Finalmente, desarrollaremos un sistema inteligente para hacer las pruebas del caso con los
mensajes de la muestra.
35
CAPÍTULO III
RESULTADOS
3.1. Descripción
El software recibirá como entrada una frase, la cual será evaluada. En primer lugar se
revisará si cada palabra está correctamente escrita, de no ser así, se procederá a su
corrección individual. Luego, se determinará si el mensaje tiene sentido (análisis
sintáctico, análisis semántico); para la red neuronal es necesario obtener un vector de
características, dicho vector tendrá como primer parámetro el resultado obtenido del
clasificador de bayes ingenuo, el cual es aplicado a la frase luego de ser analizada
sintácticamente, el segundo parámetro del vector de características es el resultado
obtenido del análisis semántico. Del resultado de la red neuronal, conoceremos si el
mensaje ingresado es amenazante o no.
3.2. Modelo Propuesto de PLN
36
3.3. Elementos del Software
3.3.1. Análisis léxico
Se analiza cada una de las palabras de la frase verificando que estas se
encuentren bien escritas, en caso contrario corregir su escritura.
3.3.2. Análisis sintáctico
A partir de las palabras obtenidas en el análisis léxico, asociaremos estas a la
figura gramatical que le corresponda obteniendo posibles frases, las cuales
serán analizadas para elegir una sintácticamente correcta.
Para esto se emplea un corpus de figuras gramaticales, que contiene las
palabras y sus respectivas figuras gramaticales.
Una primera parte de este análisis consiste en generar las frases candidatas
como en el siguiente ejemplo:

Entrada:
Mensaje: “tu pagaras o yo mato a tu familia”

Salida: arreglo de frases según su figura gramatical
['pronombre', 'verbo', 'pronombre', 'verbo', 'pronombre', 'sustantivo']
['pronombre', 'verbo', 'sujeto', 'verbo', 'pronombre', 'sustantivo']
3.3.3. Análisis semántico
El desarrollador semántico tendrá como parámetro de entrada la frase ya
procesada en el análisis sintáctico y determinara si esta tiene sentido.
37
3.3.4. Análisis estadístico
Para este análisis hemos usado el clasificador Naive Bayes que está basado en
el teorema de bayes, para lo cual se implementado las siguientes funciones:

Lista_palabra(texto): esta función recibe una frase, la cual separara
palabra por palabra y devuelve otro arreglo donde se almacenan todas las
palabras que tienen 3 letras o más.

Entrenar(textos) : esta función recibe un arreglo de frases como parámetro
de entrada, estas frases además ya están clasificadas como extorsivas y no
extorsivas, como retorno tendremos los siguientes datos:
o
Cantidad de palabras, es un arreglo donde se guarda la palabra
además de la cantidad de veces que esta palabra ocurre tanto en los
mensajes extorsivos como en los no extorsivos.
o
Cantidad de categorías, en nuestro caso siempre es dos ya que solo
clasificamos entre extorsivo y no extorsivo.
38
o
Cantidad de textos, es la cantidad de frases que se están usando para
el entrenamiento.
o
Cantidad total de palabras en las frases, sin tomar en cuenta las
repeticiones ni las palabras de longitud menor a tres.

Clasificar(texto,c_palabras,c_categorias,c_textos,c_tot_palabras)
Esta función toma los datos obtenidos por la función entrenar, además de
la frase que será evaluada y devuelve la categoría a la que pertenece. En
esta función se usa el clasificador bayes ingenuo.
39
40
REFERENCIAS BIBLIOGRÁFICAS
Congreso de Sevilla: La lengua española y las nuevas tecnologías. (2011). Obtenido de
http://cvc.cervantes.es/obref/congresos/sevilla/tecnologias/mesaredon_moreno.htm
Ángel G. Jordán. (1992). Lenguas y tecnologías de la información. Sevilla.
Antispam. (s.f.). Obtenido de http://heptagrama.com/deteccion-spam.htm
Apache Lucene. (s.f.). Obtenido de http://lucene.apache.org/
Arreiza Londoño, R., & Henao Restrepo, L. M. (2000). Implicaciones extralingüísticas e
intertextuales en la lectura. Colombia.
Bases de Datos Textuales. (s.f.). Obtenido de
http://institutos.filo.uba.ar/ravignani/biblioteca/bases-de-datos-en-texto-completo
Bautista, Y., & Tuesta, R. (2004). Implementacion de un Spanish Query para una base de datos
financiera. Trujillo: UNT.
Carboneli, J. (1992). El procesamiento del lenguaje natural, tecnología en transición. Sevilla.
Clasificador bayesiano. (s.f.). Obtenido de http://centrodeartigo.com/articuloseducativos/article_4294.html
Computació, C. d. (s.f.). Lingüística Computacional. Barcelona.
Conference on Intelligent Text Processing and Computational Linguistics. (s.f.). Obtenido de
http://www.cicling.org/ampln/NLP.htm
Diccionario de Informática y Tecnología. (s.f.). Obtenido de
http://www.alegsa.com.ar/Dic/sms.php
Drakos, N., & Moore, R. (2001). Computer Based Learning Unit. Sydney: Cambridge University
Press.
F. Gelbukh, A., N. Galicia Haro, S., & A. Bolshakov, I. (1998). Diccionario de Patrones de Manejo
Sintactico para análisis de texto en español. Mexico D.F.
Gelbukh, A., & Bolshakov, I. (2000). AVANCES Y PERSPECTIVAS DE PROCESAMIENTO AUTOMÁTICO
DE LENGUAJE NATURAL. Mexico.
Información Técnica GSMspain. (s.f.). Obtenido de
http://www.gsmspain.com/info_tecnica/sms/pagina3.php
Interactividad GSMspain. (s.f.). Obtenido de
http://www.gsmspain.com/info_tecnica/sms/pagina1.php
41
L. Cruz, F., A. Troyano, J., Enríquez, F., & Ortega, J. (2008). Clasificación de documentos basada en
la opinión: experimentos con un corpus de criticas de cina en español. Sevilla.
Larios, E. (s.f.). Pontificia Universidad Católica del Perú. Obtenido de Trabajo Sistemas Operativos
para Telecomunicaciones: http://blog.pucp.edu.pe/item/54702/introduccion-a-lastecnologias-de-reconocimiento-de-voz
Ovalle, S. R. (2002). Clasificacion de frases del lenguaje natural usando redes neuronales
recurrentes. Bogota.
Real Academia Española. (s.f.). Obtenido de
http://buscon.rae.es/drae/srv/search?id=boA0vUoQFDXX2LHCD71v
Sosa, E. (s.f.). Procesamiento del lenguaje natural: revisión del estado actual, bases teóricas y
aplicaciones . Obtenido de
http://www.elprofesionaldelainformacion.com/contenidos/1997/enero/procesamiento_d
el_lenguaje_natural_revisin_del_estado_actual_bases_tericas_y_aplicaciones_parte_i.ht
ml
Systran. (s.f.). Obtenido de http://www.systran.es/
Traductor Google. (s.f.). Obtenido de http://www.traductorgoogle.es/
Valles, M., & Pedraza, R. (2007). El Procesamiento del Lenguaje Natural en la Recuperación de
Información Textual y áreas afines.
42
Descargar

para reconocimiento de mensaj