METR, es una organización que investiga, desarrolla y ejecuta evaluaciones de sistemas de inteligencia artificial de frontera. Son colaboradores de Antropic y OpenAI, y acaban de publicar un estudio cuya conclusión es la siguiente:
«Realizamos un ensayo controlado aleatorio (ECA) para comprender cómo las herramientas de IA de principios de 2025 afectan la productividad de los desarrolladores de código abierto experimentados que trabajan en sus propios repositorios. Sorprendentemente, descubrimos que cuando los desarrolladores usan herramientas de IA, tardan un 19 % más que sin ellas; la IA los ralentiza. Consideramos este resultado como una instantánea de las capacidades de IA de principios de 2025 en un entorno relevante; a medida que estos sistemas continúan evolucionando rápidamente, planeamos seguir utilizando esta metodología para estimar la aceleración de la IA a partir de la automatización de la I+D de IA.»
* El énfasis lo puse yo.
Este gráfico resume lo que pasa
Los desarrolladores y los expertos predicen mejoras en el tiempo de desarrollo entre un 20% y un 40%. Pero lo que muestra el estudio es una demora de 19%.
Es decir, parece que la IA no nos ayuda mucho trabajando con bases de código existente.
Lo que creo que pasa es que, cuando ya conoces la base de código, es seguro que te vas a tardar menos en hacer un cambio directo que si tienes que usar un intermediario, sea este una IA o no.
Si vas a construir algo nuevo, la IA te va a dar un speedup enorme, incluso estimo que mayor al 40 %. Pero eso tiene un costo, y es que tú no asimilarás nada de ese código, porque no lo escribiste, lo escribió la IA, tú solo lo revisaste. Es como si lo hubieras subcontratado; si tienes que hacerle mantención, te va a costar sin ayuda de una IA.
Por otro lado, con una base más antigua, en la que tienes experiencia, cuando delegas la tarea a una IA introduces varios cuellos de botella: preparar la IA con reglas y configuraciones previas según la herramienta, debes armar el prompt, iterar hasta que te entienda el requerimiento, luego validar lo que la IA te entrega, probar, aprobar e integrar el código propuesto por la máquina. Puede ser que en algunos casos sea más productivo escribir la solución directamente, sin pasar por la IA.
Vas a tener la ilusión de que eres más productivo al usar la IA, pero en realidad, lo que ocurrió es que contrataste (porque usar la IA no es gratis) a alguien que escribe más rápido, sabe programar, pero al igual que un contratista, tienes que saber cómo comunicarte con él, transmitirle correctamente lo que quieres y revisar lo que te entrega. Eso no te lo puedes quitar.
Entonces, desde el punto de vista de la ingeniería de software, la IA introduce nuevos desafíos que hay que abordar y entender. Puede sonar contra intuitivo; aun así, la IA no necesariamente va a hacer tu proceso de desarrollo más rápido. Incluso, yo creo que con equipos sin procesos y con malos programadores, los resultados pueden ser peores que sin IA.
⭐️ Miscelánea
Henri Poincaré y la teoría del caos.
📖 Citas Citables
“If you have just released some code into production that is causing your organization to bleed money, almost anything that stops the bleed may be justified.”
— Jez Humble, David Farley en “Continuous Delivery”
«Tú eres el barco de Teseo. Todos lo somos. En mi cuerpo no hay una sola célula ni una sola parte de mí que viviera hace diez años...»
— Edward Ashton en Mickey 7
🤖 IA
Convierte una Raspberry Pi en un mini servidor de IA.
👨🏻💻 Hacking
Container nativos de Apple
🤣 Humor
📚 Para leer
“Ovni 78” de Wu Ming. En realidad, Wu Ming es el seudónimo de un colectivo italiano de escritores que escriben de forma colectiva novelas muy interesantes, les dejo una reseña de este libro hecha por Feliz Linares, en la sección “pensamiento lateral”. Ambientada en Italia durante el secuestro de Aldo Moro, por parte de las Brigadas Rojas, la trama gira alrededor de una conferencia de ufología que se va a realizar en Roma. Entre los personajes hay un escritor de “realismo fantástico”. Una joven antropóloga que estudia a estos frikis fanáticos de los ovnis y la clipeología. El hijo del escritor que con su novia participa en un grupo alternativo, tipo secta. Un trotskista brasileño que cree que los extraterrestres tan avanzados como para viajar por el espacio deben ser por necesidad comunistas. Y muchos misterios y líneas argumentales que van convergiendo alrededor de la locura política y la fascinación por la ufología en la Italia de esos años. Lectura entretenida, temas originales, y fascinante exploración de parte de la historia del siglo XX.
🎧 Álbum de la semana
“Stuntman” de Edgar Froese, ideal para escuchar con el libro recomendado de esta semana. Un álbum de 1979 del fundador de la mítica banda alemana Tangerine Dream, si no estoy equivocado, este es su primer trabajo en solitario, con dos clásicos de la música electrónica.
📺 Para ver
“Súperman”. Vi la película apenas estrenada, y debo decir que me gustó. Soy muy fan de las películas de James Gunn de los Guardianes de la Galaxia, y le tenía fe con esta producción. No me decepcionó, para nada. Tiene su humor, pero más dosificado, porque se nota que está orientado a un público más amplio, y además Superman es un personaje que puede ser un gran desafío. A mí nunca me gustó la reinterpretación que hizo Zack Snyder, así que agradezco esta nueva visión que nos introduce a un personaje más cercano al clásico de Christopher Reeve, sin llegar a ser totalmente como aquel. Los tres actores principales: David Corenswet (Clark Kent/Superman), Rachel Brosnahan (Lois Lane) y Nicholas Hoult (Lex Luthor), lo hacen muy bien, destacándose el villano. El director tiene esa habilidad de trabajar con muchos personajes sin que nos perdamos ni se sienta pesada la película. Krypto, el superperro, está muy bien y agrega la nota de humor y está muy bien integrado en la trama. Muy entretenida, y con algunas referencias a la realidad política actual, que seguro a los más conservadores no les van a gustar, y a los más progresistas las van a encontrar que son muy tibias.
🧠 Pensamiento lateral
Una reseña que me hizo conocer al colectivo Wu Ming, a la novela que les recomendé esta semana. Además que me permite promocionar al gran Félix Linares y su canal que es un gran espacio para descubrir literatura.