ChatGPT, el chamullento

No presten atención al hombrecito tras la cortina

Mucha gente se asombra de las habilidades que muestra ChatGPT, y tiende a pensar que realmente hay “inteligencia detrás”. Pero hay que entender que los LLM son modelos que permiten generar texto a partir de estas enormes bases de texto previo.

En cierta forma podemos ser engañados (se ha afirmado que ChatGPT supera el Test de Turing), pero cuando entendemos cómo funciona realmente, no nos debería asombrar tanto.

Por ejemplo, OpenAI afirma que ChatGPT 4 es capaz de pasar el examen de la barra de abogados en EE. UU., o para ser más precisos, que su puntuación se ubica en el percentil 90. Esto puede ser algo que impacte a los abogados, pero eso está por verse, porque la forma en que los modelos de lenguaje resuelven problemas es distinta a la forma en que los humanos lo hacemos. El trabajo de un abogado no consiste en contestar preguntas de un examen.

Arvind Narayanan y  Sayash Kapoor nos explican que OpenAI ha cometido un pecado capital del “machine learning”: probar con la data de entrenamiento.

OpenAI ha memorizado las respuestas del examen de la barra, esta información es parte de su corpus, o debería serlo, no lo sabemos a ciencia cierta porque no hay total transparencia al respecto. Pero algo podemos deducir.

Por ejemplo, ChatGPT puede resolver con total éxito los problemas del sitio de competición CodeForces anteriores al 5 de septiembre de 2021. Pero le va mal con los problemas publicados después del 12 de septiembre de 2021, que es la fecha de corte de las fuentes de datos usados por ChatGPT.

Así que lo ocurre es que ChatGPT, de forma similar a lo que hizo DeepBlue con Kasparov, solo ha memorizado. DeepBlue posiciones en un juego de ajedrez, ChatGPT combinaciones de texto posibles, a partir de las estadísticas obtenidas de las bases de texto.

Es bien útil, de todas maneras, pero hay que entender sus limitaciones. Por eso que es más útil para alguien que ya domina el campo en cuestión, cuando se le hace una pregunta. Sin ese conocimiento previo, un incauto podría apreciar como conecta una respuesta que solo corresponde a una alucinación de la máquina.

Como dato anecdótico, cuando le pregunté a ChatGPT sobre el blog de La Naturaleza del Software, afirmó que se trataba de una publicación española, e incluso en una iteración afirmó que su autor era Jeff Atwood, y en otra que incluso ¡era Javier Garzas!

Y ustedes pueden comprobar, que cuando la respuesta no está en su base, ChatGPT simplemente “chamulla”, como decimos en Chile, es decir, se inventa las respuestas. Sobretodo cuando se usa en español o preguntas por cosas que ocurren en este hemisferio.

Y la razon puede estar explicada en este gráfico:

Si les interesa saber más sobre los descubrimientos de Narayan y Kapoor les dejo el enlace.

Comparte conmigo, acá en los comentarios, tus experiencias con ChatGPT, y que tan confiado te sientes con las repuestas que entrega.