LA REPRESENTACIÓN DE LA PERICIA BASE PARA

LA REPRESENTACIÓN DE LA PERICIA
BASE PARA DESARROLLAR UN SISTEMA EXPERTO:
EL CASO DE DESPIDO EN DERECHO LABORAL 1, 22
Alfonso Orantes, Lidubina Sánchez, Rossy Santamaría y Enrique Marín
Resumen
En este trabajo se describe el proceso de elaboración de un Sistema Experto para el abordaje de un
problema jurídico. El sistema fue desarrollado a través del Ambiente Triple C. Se definió como
espacio del problema el Despido bajo el régimen jurídico anterior a la Ley Orgánica del Trabajo.
Este análisis y representación, mediante técnicas de Ingeniería del Conocimiento, de las estructuras
de conocimientos de un especialista con más de 25 años de experiencia en Derecho Laboral. Se
describen las tres fases generales del proceso: Entrevistas, elaboración de los Algoritmos, y
creación de la Base de Conocimientos en Triple C. Se enfatizan las ventajas de los algoritmos
como herramienta para analizar y representar conocimientos condicionales complejos. Se contrasta
el enfoque de la Ingeniería del Conocimiento con la investigación tradicional.
El proceso de entrevistas consistió en 3 etapas: 1) Familiarización con el contenido - Marco de
referencia jurídico, aplicación al Derecho Laboral, Ejemplos 2) Clarificación Conceptual y
Categorización; 3) Preparación de los Algoritmos. La elaboración de los Algoritmos requirió
de 4 pasos: 1) Identificación de las contingencias y Condiciones; 2) Elaboración del Algoritmo
Central; 3) Derivación de los Algoritmos Periféricos; 4) Evaluación formativa. Se obtuvieron 3
Algoritmos periféricos para el Despido (Principios generales, fuero, ordinario) para un total de
9 diagramas. Se ilustra su uso en Triple C, cuya BC se representan mediante sistemas de
producción, requiere una micro computadora con sistema operativo MSDOS, 512 K bytes de
memoria RAM y capacidad gráfica. El trabajo revela de manera elocuente el aporte que puede
dar el psicólogo en el Proceso de elaboración de un Sistema Experto. Sobre todo, pretende
ilustrar con un ejemplo práctico los beneficios que un sistema de esta naturaleza puede
proporcionar a los profesionales del derecho, inclusive en tareas docentes.
Introducción
En este trabajo se describe el proceso de elaboración de un Sistema Experto. De esta
manera se ilustra cómo psicólogos, utilizando técnicas de Ingeniería del Conocimiento,
pueden participar en este proceso, obteniendo, organizando y representando estructuras de
conocimientos que definen la pericia de un experto. Al mismo tiempo se pretende dar a
conocer, mediante un ejemplo, las ventajas potenciales que un Sistema Experto ofrece desde el
punto de vista profesional, en este caso dentro del Derecho, cuando se requiera tomar
decisiones encadenadas para resolver casos complejos. El desarrollo y uso de un Sistema
Experto, además de herramienta profesional puede emplearse como un versátil recurso de
apoyo a la docencia en Educación Superior.
1
Versión del trabajo presentado en el XXXIII Congreso Interamericano de Psicología, San José de Costa
Rica, en Julio de 1991, reflejando el Trabajo de Licenciatura (Opción Psicología Industrial) de Liduvina
Sánchez y Rossy Santamarina, bajo la supervisión del primer autor y con la colaboración del Profesor
Enrique Marín, experto en la materia.
2
Publicación Orantes, A., Sánchez, L., Santamaría, R., & Marín, E. (1995). La representación de la Pericia. Base
para desarrollar un Sistema Experto: El caso de Despido en Derecho Laboral. Psicología, 20, 3-18. Caracas,
UCV).
Se eligió como espacio de problema el tópico Despido, desde el punto de vista del
Derecho Laboral. Con la ayuda de un experto, con más de 25 años de experiencia en la
materia, se representó la pericia necesaria para identificar las diferentes condiciones
imprescindibles para dilucidar cualquier caso. Para esto se utilizaron técnicas especiales de
entrevista complementadas con la sistematización de los conocimientos mediante el uso de
algoritmos. El trabajo se apoyó en un marco de referencia previamente desarrollado para el
análisis de esta tarea (Suárez & Vilera, 1988).
Del análisis resultante se crearon bases de conocimientos que pueden funcionar como
un Sistema Experto utilizando en este caso el Ambiente Triple C (Moreno, 1988), que
permite generar, editar y utilizar bases de conocimientos de tipo condicional, representados
mediante Sistemas de Producción (Newell, 1973).
La Ingeniería del Conocimiento
Esta disciplina se ha desarrollado como una especialidad de la Inteligencia Artificial
(Gardner, 1985). En sentido restringido, su función es transvasar a un sistema computacional
la pericia que posee un experto sobre un dominio particular de conocimientos. La Ingeniería
del Conocimiento integra enfoques y procedimientos para extraer, organizar y representar los
conocimientos y estrategias del experto, para convertirlos, mediante procedimientos
analógicos, en bases de conocimientos que puedan ser empleados dentro del contexto de un
Sistema Experto. Pero la Ingeniería del Conocimiento también ha sido considerada, en un
sentido amplio, como una nueva y potente modalidad de investigación que refleja la filosofía
de la Inteligencia Artificial y cuyas peculiaridades pueden contrastarse con la investigación
tradicional (Wick & Schoech, 1988); fundamentalmente en términos de sus fines, pues
mientras se ha hecho énfasis en generar nuevos conocimientos, la Ingeniería del Conocimiento
intenta elaborar modelos del conocimiento y las destrezas de una persona o de un grupo de
personas. En la Tabla 1 se resumen estas diferencias.
Se pueden considerar cuatro fases generales en el proceso de ingeniería del
conocimiento:
(1)
Las Entrevistas con el Experto para la obtención de los conocimientos;
(2)
La representación de las estructuras de conocimientos mediante algoritmos;
(3)
La preparación de las Bases de Conocimientos para alimentar el Sistema Triple C;
(4)
La evaluación formativa de la base de conocimientos para perfeccionarla (Hofmeister,
1980).
Los Sistemas Expertos
Convertirse en un experto es un proceso que toma mucho tiempo. Pero
desafortunadamente para las organizaciones o para el campo profesional donde se
desempeñan los expertos, éstos se van a otros sitios, se jubilan o, en el peor de los casos,
mueren. Uno de las aplicaciones de mayor envergadura de la Inteligencia Artificial ha sido la
posibilidad de desarrollar Sistemas que puedan ayudar a tomar las decisiones, en un área
especializada de conocimientos, tal como lo haría un experto en la materia. Por lo tanto, los
Sistemas Expertos permiten lograr que la pericia del experto esté a la disposición de los
usuarios para resolver problemas dentro de una temática muy específica así como otras
aplicaciones relacionadas (Waterman, 1986). En la Figura Nº 1 se ilustran los componentes de
un SE y sus interrelaciones.
2
Área de Comparación
Investigación Tradicional
Ingeniería del Conocimiento
PROPÓSITO
Encontrar nuevo conocimiento
Modelar conocimiento
existente
UNIDAD DE ANÁLISIS
Típicamente datos numéricos
Conocimiento simbólico
(Variables y sus relaciones)
NÚMERO DE
VARIABLES
Se busca y valida un número
pequeño de predictores, luego se
agregan unas cuantas variables
Se busca y emplea un número
muy grande de variables y de
relaciones
MUESTRA
Suficientemente amplia para
generalizar
Uno o varios expertos
Procesamiento Numérico e
inferencia estadística
Procesamiento simbólico
y lógico
CARACTERÍSTICAS
DEL ANÁLISIS
VALIDACIÓN
FORMATO DE LOS
PRODUCTOS
Análisis estadístico y repetición
Gráficos, tablas y resultados
estadísticos
Acuerdo con el experto (s)
y usos en el área
Decisiones, certidumbre de las
decisiones, rutas lógicas y rutas
explicativas
Tabla 1. Investigación Tradicional vs. Ingeniería del Conocimiento
Básicamente consiste de una máquina de inferencia o "Concha", en este caso el
sistema Triple C, para manipular bases de Conocimientos representados mediante reglas de
producción del tipo "Si...Entonces"; el Experto que posee y permite acceder a su pericia (en
este caso un abogado); el Analista o Ingeniero de Conocimientos (en este caso el psicólogo);
las bases de conocimientos (preparadas con Triple C) para alimentar el sistema; acceso para
preparar y editar las bases de conocimientos (a través de Triple C) y, por último, acceso para
el usuario del sistema.
Procedimiento
El Experto
El Experto fue uno de los autores, abogado y profesor de larga experiencia en Derecho
Laboral. Los criterios para seleccionarlo eran tener más de veinte años de experiencia.
Además, mostrar interés en el trabajo y disponer del tiempo y dedicación requerido para el
proceso de obtención de conocimientos. En esta experiencia estos últimos aspectos resultaron
cruciales en el proceso de análisis y representación de la pericia del experto sobre el tema.
3
Figura 1. Estructura y Elementos de un Sistema Experto (Waterman, 1986)
La Temática
Cuando se inició el proceso de análisis a finales de 1989, estaba en curso la
elaboración de la Ley Orgánica del Trabajo, la cual fue adoptada en diciembre de 1990. Dicha
Ley Orgánica derogó la ley contra despidos injustificados, de 1974. El trabajo de grado
original (Sánchez & Santamaría, 1991) versó específicamente sobre la regulación del
procedimiento de reenganche.
La evolución legislativa planteada era, sin embargo, irrelevante para el análisis, pues el
mismo no tenía por objeto una explicación o descripción de derecho vigente. Su propósito era
hacer un estudio de razonamiento jurídico y señalar la viabilidad de desarrollar un Sistema
Experto en base al análisis y representación de la pericia de un especialista en relación a
situaciones específicas. En este caso el análisis se aplicó al procedimiento de reenganche, pero
bien pudo haberse aplicado a otra temática. Lo importante es que del proceso de análisis se
elaboraron bases de conocimientos que permiten realizar consultas acerca de dicho
procedimiento utilizando el programa computarizado Triple C, desarrollado en nuestro medio
(Moreno, 1988).
El estudio original de Sánchez & Santamaría (1991) tenía y sigue teniendo mucho
interés técnico desde el punto de vista de la Ingeniería del Conocimiento. Pero además
muestra las posibilidades que abren el uso de los Sistemas Expertos para la consulta y solución
de problemas no solo jurídicos, sino de cualquier ámbito profesional que implique
conocimientos de tipo condicional.
Por otra parte el actual procedimiento de reenganche guarda semejanzas con el que fue
derogado, por lo cual las proposiciones resultantes del análisis pueden ser adaptadas al
derecho vigente sin dificultad, como se ha puesto de manifiesto en un intento preliminar
(Martínez & Orantes, 1992).
4
Las Fases del Análisis
Como se ha señalado se pueden diferenciar tres fases en el desarrollo de este SE. El
punto de partida fueron las entrevistas con el Experto, para la obtención de los conocimientos.
A partir la información obtenida se procedió a la elaboración de los algoritmos para
representar la información y disponer de una forma sintética para verificar su validez. Por
último, se prepararon las bases de conocimientos mediante las facilidades del ambiente Triple
C.
Las Entrevistas
El propósito principal de esta fase es la obtención y representación preliminar de la
información. Se pueden diferenciar a su vez tres momentos:
(1)
La familiarización del analista con el contenido, en este caso el tratamiento del
Despido en Derecho Laboral. El propósito es ir adquiriendo un marco de referencia
conceptual, tanto global--a partir de la estructura legal de la propia constitución--como
particular referente a la legislación laboral y la obtención de ejemplos.
(2)
A partir de la información anterior se inicia el proceso de clarificación conceptual e
identificación de las principales categorías propias del contenido analizado.
(3)
Por último, esto se complementa con la identificación de las principales contingencias
que rompen la linearidad de los procedimientos. Es a partir de estas contingencias que
se va estructurando el algoritmo central del cual se derivan los algoritmos periféricos.
Todo esto constituye un proceso muy dinámico de obtención, clarificación,
organización y representación de los conocimientos del Experto.
Se combinaron varias técnicas de ingeniería del conocimiento, descritas por Salter
(1984), tales como Análisis Retrospectivo de Comentarios, Análisis de Interrupción, y
Análisis de Comentarios durante la Ejecución. La herramienta básica de análisis fueron los
Algoritmos, que también permiten representar las estructuras de conocimientos condicionales
que caracterizan los patrones de decisiones de un Experto, en este caso para manejar cualquier
caso de despido. En la aplicación de estas técnicas se distinguen dos modalidades:
1) Cuando se obtiene la información directamente del Experto mediante entrevistas.
Aquí se graban las verbalizaciones del Experto a medida que explica la resolución de puntos
claves del proceso. Destaca el uso de técnicas de análisis de interrupciones (Cuando se
interrumpe la ejecución del Experto para solicitar explicaciones o ampliación de información),
el análisis de comentarios (El Experto comenta aspectos claves de su ejecución) y la
elaboración de esquemas cuando el Experto, en un proceso introspectivo, intenta reordenar sus
ideas y expresarlas mediante diagramas para apoyar sus explicaciones.
2) Cuando el Experto no está presente y la información es revisada por los analistas,
utilizando el análisis de comentarios retrospectivos. Las grabaciones se analizan en detalle.
Este desglosamiento permite ir armando, apoyado en los algoritmos, la representación de las
estructuras de decisiones. El Experto, en forma sistemática, hace los ajustes pertinentes.
Los Algoritmos
Dentro del área de la Psicología de la Instrucción, los Algoritmos adquieren un
connotación más restringida que la general en matemáticas y computación. En estas
disciplinas definen una prescripción muy exacta para resolver una clase de problemas. En
5
cambio, dentro del contexto de la enseñanza se definen como una herramienta para analizar y
representar conocimientos de tipo condicional: aquellos que se definen en términos de reglas
del tipo "Si...Entonces". A pesar de que pueden expresarse mediante otros formatos (vg.
Tablas de Decisión), los diagramas de flujo son los más populares por sus propiedades
gráficas.
Un Algoritmo está constituido por los siguientes elementos: Propósito, entrada,
pasos, condiciones, valores de las condiciones, conectores y salidas (Orantes, 1987). El
proceso de construcción de los algoritmos se inicia con la identificación de las principales
condiciones, de manera de preparar el algoritmo central, a partir de lo cual se van derivando
los algoritmos periféricos. Por último, se procede a una evaluación formativa del producto
para hacerle ajustes (Hofmeister, 1986). En las Figuras 3 y 4 se pueden identificar claramente
los componentes de los algoritmos y su función.
El conocimiento de un especialista, sobre un ámbito de sus conocimientos, y en
general el de cualquier contenido complejo, se caracteriza, en términos de la estructura de
conocimientos subyacente, por ser típicamente de tipo condicional. El experto tiene la
capacidad de manejar, en forma simultánea, varias reglas y escoger la apropiada, para resolver
un caso particular. Su punto de partida es la identificación de las condiciones mediante las
cuales se expresan los atributos críticos. Estos identifican a las contingencias que interrumpen
la secuencia normal de acontecimientos o que modifican el estado de un elemento. Las reglas
resumen la secuencias de valores de las condiciones que especifican una ruta del algoritmo
que lleva a una salida específica y expresa por lo tanto una conclusión.
Sistema Triple C
El Sistema para Comunicar Conocimientos Condicionales denominado TRIPLE C fue
creado por J.A. Moreno en 1988 en Lenguaje Turbo Prolog, teniendo en mente satisfacer
requerimientos para el desarrollo de Sistemas Expertos basados en reglas3. El sistema es muy
versátil y constituye un ambiente muy flexible mediante el cual se pueden crear, modificar y
utilizar bases de conocimientos especializados, sobre un dominio particular de pericia, cuya
estructura subyacente pueda representarse mediante reglas de producción. Es decir, procesa
conocimientos en base a los cuales puedan tomarse decisiones. Por lo cual es un requisito que
estos conocimientos puedan representarse mediante reglas de producción (Moreno & Orantes,
1989a, 1989b).
La característica esencial del Ambiente es la versatilidad de aplicaciones que facilita.
Le permite al Usuario-Especialista, a través de su sencillo y transparente Sistema de Autor,
preparar bases de conocimientos que pueden servir para el desarrollo de diferentes sistemas
para comunicar conocimientos condicionales, de cualquier contenido, independientemente del
nivel educativo o de pericia, a que se refiera. Asimismo le permite al Usuario-Consultante,
utilizar las aplicaciones, a través de su Sistema de Control e Inferencia.
3
Este sistema fue una generosa colaboración personal del Profesor José Alí Moreno, de la Escuela
de Física de la UCV, quien lo desarrolló íntegramente, para satisfacer requerimientos para generar
Sistemas Expertos a partir de representaciones, mediante algoritmos, de los conocimientos
condicionales procedimentales que definen la pericia de un Experto en un tópico muy puntual.
Además, permitió establecer un puente para relacionar en forma práctica y sencilla las
representaciones mediante Algoritmos de los conocimientos complejos de una pericia, con el
campo, de otra manera remoto, de los Sistemas Expertos, propio de los computistas.
6
Ventajas del Sistema Autor del Triple C
El Ambiente, a través del Sistema Autor, ofrece una serie de ventajas sobre los
Lenguajes de Autor convencionales. El Ambiente es de especial utilidad para quien esté
interesado en desarrollar aplicaciones, cuyos contenidos se puedan expresar en forma de
reglas. Este Sistema de Autor tiene las siguientes ventajas:
1.
Permite programar estructuras de conocimientos, independientes del contenido, que
flexibilizan y simplifican la preparación de materiales de apoyo profesional y de
enseñanza.
2.
Permite manejar secuencias de conocimientos condicionales que tipifican el nivel más
avanzado de conocimientos sobre un tema.
3.
El especialista no necesita tener conocimientos sobre el lenguaje de Programación
utilizado. En este caso Turbo-Prolog.
4.
El Especialista no requiere aprender Comandos o Procedimientos especiales, típicos
de los Lenguajes de Autor, funciona en forma transparente, para el
Usuario-Especialista.
5.
El especialista no necesita conocer la forma interna de representar los conocimientos
que emplea el Sistema de Autor.
Por lo cual, para introducir conocimientos, a través del Sistema Autor, el Especialista
directamente o con la ayuda del analista debe definir el conjunto de reglas que delimitan el
dominio de conocimientos a utilizarse. En este caso la preparación de las bases de
conocimientos se hizo en forma conjunta. La ventaja es que para la preparación de las
explicaciones para el usuario, cuando no está seguro de los valores de respuesta a las
condiciones. Requiere de una micro computadora con sistema operativo DOS, 512 K bytes de
memoria RAM y capacidad gráfica.
Resultados
Los datos de este análisis son los conocimientos del Experto sobre despido en Derecho
Laboral que se representan mediante algoritmos con el formato de diagramas de flujo.
Fueron elaborados tres algoritmos a partir de los datos suministrados por el Experto. En
cada uno de ellos se describen los pasos que un trabajador o un patrono pueden realizar ante
una situación de despido. Cada algoritmo está dividido en diagramas, por razones prácticas de
espacio.
Algoritmo 1. Principios Generales relativos al Despido: 2 diagramas
Algoritmo 2. Procedimiento de despido de trabajador con fuero (Legal o Contractual): 5
diagramas
Algoritmo 3. Procedimiento de despido de trabajador ordinario: 2 diagramas
En las Figuras 2 y 3 se muestran ejemplos de estos diagramas. En general, el número de
diagramas para cada algoritmo depende exclusivamente de la longitud del mismo y del
espacio disponible.
Conclusiones
En este trabajo se ilustra la aplicación de técnicas de ingeniería del conocimiento para la
extracción, análisis y representación de conocimientos de un experto, poniendo de manifiesto
7
Figura 2. Algoritmo 1. Principios Generales relativos al Despido: Diagrama 2
el papel de los algoritmos como herramienta de análisis y representación de las estructuras de
conocimientos de tipo condicional que caracterizan la ejecución de un experto, como base para
el desarrollo de un SE.
8
Figura 3. Algoritmo 1. . Procedimiento de despido de trabajador con fuero (Legal o
Contractual): Diagrama 4
Como los señala Salter (1986), la calidad de la información que se obtenga en la fase de
adquisición de conocimientos, determinará la eficiencia del SE. Por lo tanto, el proceso de
análisis de los conocimientos debe realizarse en forma exhaustiva y minuciosa. La fase de
obtención o adquisición de conocimientos es un proceso sistemático de colaboración entre el
experto--o expertos--y los analistas de conocimientos. Es una fase previa para obtener las
bases de conocimientos a manipular por el SE.
El análisis y representación de los conocimientos en el área del Derecho Laboral se
facilita por una característica que, en general, posee el área del Derecho: Los conceptos y
prescripciones que forman el núcleo de esta disciplina conforman una compleja estructura
jerárquica, de tipo piramidal, constituida por enunciados de tipo condicional. En la cúspide de
9
esta pirámide se encuentran enunciados del tipo "Si comete un delito, le corresponde una
pena". Esta característica permite describir los procedimientos en términos de reglas de
producción del tipo "Si... Entonces".
Cuando se utilizan conocimientos condicionales se estructuran redes que adquieren una
serie de propiedades. Estas redes están constituidas por una combinación única de un conjunto
de reglas, de las relaciones que se establecen entre ellas, de niveles jerárquicos que se
establecen entre las reglas y por diferentes salidas o conclusiones a las que se llegan al seguir
las diferentes rutas que definen las alternativas disponibles para la resolución de la clase de
problemas que comprende esta red. Las propiedades y requerimientos de estas redes son
semejantes a las de los algoritmos, tal como se conciben dentro del área de la enseñanza
(Vázques & Larocque, 1982). Deben tener especificidad, es decir funcionan para ámbitos y
propósitos restringidos; generalidad, es decir aplicables a clases de problemas y resultividad,
es decir deben garantizar la obtención, en cada caso del producto especificado.
En este ejemplo la representación resultante de la pericia del experto permite resolver
cualquier caso de Despido, tanto desde el punto de vista del patrón como del empleado, de
acuerdo a la legislación vigente para ese entonces. Esta representación, expresada mediante
algoritmos en forma de diagramas, puede ser utilizada para convertir esta información en
bases de conocimientos para ser manejados en forma automática y realizar consultas
automatizadas mediante un Sistema Experto.
Referencias
Gardner, H. (1985). La Nueva Ciencia de la Mente. Historia de la Revolución Cognitiva. Madrid: Paidos, 1988.
Hofmeister, A.M. (1986). Formative evaluation in the development and validation of expert systems in education.
Computational Intelligence, 2, 65-67.
Martínez Hernández, L. & Orantes, A.(1992). Una base de conocimientos para adecuar un Sistema Experto a la
nueva legislación laboral: Un prototipo. II Jornadas de Informática como apoyo a la Docencia y la
Investigación. Centro Computación Académica, UCV. Caracas, 25-29 mayo.
Newell, A. (1973). Production Systems: Models of control structures. En W. Chase (Ed.) Visual information
processing. London: Academic Press.
Moreno, J.A. (1988). El Sistema Triple C. Escuela de Físicas, Facultad de Ciencias. Universidad Central de
Venezuela (Mimeo).
Moreno, J.A. & Orantes, A. (1989a). Un Sistema Modular de Programas para desarrollar y utilizar Aplicaciones
de Sistemas de Producción: Arquitectura. XXII Congreso Interamericano de Psicología. Buenos Aires, julio.
Moreno, J.A. & Orantes, A. (1989b). Un Sistema Modular de Programas para desarrollar y utilizar Aplicaciones
de Sistemas de Producción: Desarrollo de Aplicaciones. XXII Congreso Interamericano de Psicología.
Buenos Aires, julio.
Orantes, A. (1987). Los Algoritmos como instrumento para el análisis y representación de Estructuras de
Conocimientos Condicionales en Instrucción. XXXVII Convención de ASOVAC. Maracaibo: LUZ,
noviembre.
Salter, W.J. (1984). Building an expert system: some techniques for knowledge adquisition. Bolt, Beraneck &
Newman. Report No. 5733. Naval Underwater Systems Center. MA:Cambridge.
Sánchez, Lidubina & Santamaria, Rossy (1991). Representación de Estructuras de Conocimientos en el
desarrollo de un Sistema Experto en Derecho Laboral. Opción de Psicología Industrial, UCV.
Suárez, MR & Vilera, I. (1988). Un Marco de Referencia para el análisis de protocolos en el estudio de las
diferencias en Estructuras de Conocimiento de Expertos y Novatos en Derecho Laboral. Opción de
Psicología Industrial, UCV.
Vázquez-Abad, J. & Larocque, G (1982). La Algoritmización en la Enseñanza. Reflexiones hacia un posible
desarrollo. Revista de Tecnología Educativa, 7, 131-151.
Waterman, D.A. (1986). A Guide to Expert Systems. Addison-Wesley.
Wick, J. & Schoech, D. (1988). Computerizing Protective Service Intake Expertise: Preliminary Research.
Children and Youth Service Review, 10, 233-252.
10