Detección de copia en pruebas del Estado

Abstract

Este trabajo implementa la metodología de detección de copia en exámenes de múltiples opciones expuesta en Sotaridona, van der Linden y Meijer [2006] basada en el índice Kappa de Cohen. Presentamos los resultados de aplicar esta metodología a las pruebas del Estado ICFES 2009 II. Este es, en el conocimiento de los autores, el primer estudio en la literatura colombiana que busca proveer de herramientas cuantitativas de carácter estadístico a los administradores de las pruebas del Estado (y posiblemente muchas otras) para detectar casos sospechosos de fraude. Con este apoyo se pueden generar alertas y priorizar investigaciones detalladas caso por caso. Desde el punto de vista de la literatura académica especializada, el aporte del trabajo es evaluar, con datos reales, las bondades del índice Kappa propuesto por los autores y que ellos validan con datos artificiales generados mediante la simulación de un modelo de respuesta nominal. En particular, los resultados ponen en evidencia que, si bien el índice es muy valioso en la práctica, éste adolece de problemas de especificación difíciles de superar utilizando datos reales. Esto alerta sobre la necesidad de progresar en la implementación de metodologías más apropiadas para complementar la labor de supervisión y monitoreo desarrollada por los administradores de tales exámenes. Adicionalmente, este trabajo tiene como objetivo parcial servir de motivación y dar un primer paso para ahondar en esta área del conocimiento.

This paper implements the answer-copying detection methodology for multiple-choice tests developed in Sotaridona, van der Linden and Meijer [2006], based on Cohen's Kappa index. We present results of this methodology applied to the standardized test for college admissions in Colombia that took place in the second semester of 2009. This is, to the authors' knowledge, the first study in Colombia that seeks to provide quantitative tools, of statistical nature, to detect fraud. This paper also evaluates, with real data, the performance of the Kappa index proposed in the referenced paper, which had only been evaluated using simulated data generated with a nominal item response model. In particular, we find evidence that there are misspecification problems that are difficult to overcome when using real data. We hope this paper motivates further applied research in this field in Colombia.