Jan Leike: en OpenAI la seguridad quedó detrás de los "productos brillantes"
- Fecha
- Quién
- Jan Leike, jefe de alineación y codirector del equipo Superalignment de OpenAI
- Empresa
- OpenAI
Qué pasó
Jan Leike codirigía en OpenAI el equipo Superalignment, que buscaba la manera de controlar IAs más inteligentes que las personas (a eso se le llama "alineación": que la IA haga lo que queremos y no otra cosa). Renunció en mayo de 2024, la misma semana que se fue el cofundador Ilya Sutskever.
El 17 de mayo explicó en un hilo en X que llevaba tiempo en desacuerdo con la dirección sobre las prioridades. Contó que a su equipo le faltaba poder de cómputo (las computadoras necesarias para investigar) y que la seguridad había quedado en segundo plano frente a los productos. Semanas después se fue a Anthropic.
Por qué importa
Lo dijo la persona que OpenAI había puesto a cargo de este problema. Que él mismo dijera que la empresa prefería lanzar productos fue una de las señales públicas más claras de que la carrera comercial le estaba ganando a la prudencia.
Lo que dijeron, textual
“en los últimos años, la cultura y los procesos de seguridad han quedado en segundo plano frente a los productos brillantes.”
Original: “over the past years, safety culture and processes have taken a backseat to shiny products.”
“mi equipo ha estado navegando contra el viento. A veces batallábamos para conseguir cómputo y cada vez era más difícil sacar adelante esta investigación crucial.”
Original: “my team has been sailing against the wind. Sometimes we were struggling for compute and it was getting harder and harder to get this crucial research done.”
“OpenAI debe convertirse en una empresa de AGI que ponga la seguridad primero”
Original: “OpenAI must become a safety-first AGI company”