Los denunciantes de OpenAI describen una cultura imprudente y reservada

Un grupo de expertos de OpenAI ha denunciado lo que dicen es una cultura de imprudencia y secretismo en la empresa de IA de San Francisco, que está compitiendo para construir los sistemas de IA más potentes jamás creados.

El grupo, que incluye a nueve empleados actuales y anteriores de OpenAI, se ha unido en los últimos días en torno a preocupaciones compartidas de que la empresa no ha hecho lo suficiente para evitar que sus sistemas de IA se vuelvan peligrosos.

Los miembros dicen que OpenAI, que comenzó como un laboratorio de investigación sin fines de lucro y salió a la luz pública con el lanzamiento de ChatGPT en 2022, está priorizando las ganancias y el crecimiento mientras intenta construir inteligencia artificial general, o AGI, el término industrial para una computadora. Un programa capaz de hacer cualquier cosa que un humano pueda hacer.

También alegan que OpenAI utilizó tácticas agresivas para evitar que los trabajadores expresaran sus preocupaciones sobre la tecnología, incluidos acuerdos restrictivos de no menosprecio que los empleados salientes debían firmar.

«A OpenAI le apasiona mucho la construcción de inteligencia artificial general y están compitiendo precipitadamente para ser los primeros en lograrlo», dijo Daniel Cocotaylo, ex investigador de gobernanza de OpenAI y uno de los organizadores del grupo.

El grupo publicó Carta abierta el martes Pidamos a las empresas líderes en inteligencia artificial, incluida OpenAI, una mayor transparencia y una mayor protección para los denunciantes.

Otros miembros incluyen a William Saunders, un ingeniero de investigación que dejó OpenAI en febrero, y otros tres ex empleados de OpenAI: Carol Wainwright, Jacob Hilton y Daniel Ziegler. Kokotaglo dijo que muchos empleados actuales de OpenAI apoyaron la carta de forma anónima porque temían represalias por parte de la empresa. También firmaron un empleado actual y un ex empleado de Google DeepMind, el laboratorio central de inteligencia artificial de Google.

«Estamos orgullosos de nuestro historial de proporcionar los sistemas de IA más capaces y seguros y creemos en nuestro enfoque científico para abordar los riesgos», dijo Lindsay Held, portavoz de OpenAI, en un comunicado. «Estamos de acuerdo en que un debate cuidadoso es fundamental dada la situación». importancia de esta tecnología, y continuaremos interactuando con los gobiernos y la sociedad”.

Un portavoz de Google se negó a hacer comentarios.

La campaña llega en un momento difícil para OpenAI. Todavía se está recuperando de un intento de golpe de estado el año pasado, cuando los miembros de la junta directiva de la compañía votaron a favor de despedir al director ejecutivo Sam Altman por preocupaciones sobre su franqueza. El Sr. Altman fue reintegrado días después y la junta se reconstituyó con nuevos miembros.

La compañía también enfrenta batallas legales con creadores de contenido que la acusan de robar obras protegidas por derechos de autor para entrenar a sus modelos. (El New York Times demandó a OpenAI y a su socio Microsoft por infracción de derechos de autor el año pasado). Su reciente presentación de un asistente de voz hiperrealista se vio empañada por una disputa pública con la actriz de Hollywood Scarlett Johansson, quien afirmó que OpenAI la había imitado. Su voz sin permiso.

Pero nada pesó tanto como la acusación de que OpenAI era demasiado arrogante en materia de seguridad.

El mes pasado, dos importantes investigadores de IA, Ilya Sutskever y Jan Leike, abandonaron OpenAI bajo una nube. El Dr. Sutskever, que formó parte de la junta directiva de OpenAI y votó a favor de despedir al Sr. Altman, ha dado la alarma sobre los peligros potenciales de los potentes sistemas de IA. Algunos empleados preocupados por la seguridad vieron su partida como un revés.

También lo fue la partida del Dr. Lake, quien junto con el Dr. Sutskever dirigió el equipo de “hiperalineación” en OpenAI, que se centró en gestionar los riesgos de modelos robustos de IA. En una serie de publicaciones públicas anunciando su partida, el Dr. Lecke dijo que creía que “la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”.

Ni el Dr. Sutskever ni el Dr. Laiki firmaron la carta abierta, escrita por antiguos empleados. Pero su salida provocó que otros ex empleados de OpenAI hablaran.

«Cuando me inscribí en OpenAI, no me inscribí en esta actitud de 'arrojemos cosas al mundo y veamos qué pasa y luego arreglémoslo'», dijo Saunders.

Algunos ex empleados tienen vínculos con el altruismo efectivo, un movimiento de inspiración utilitarista que se ha interesado en los últimos años en prevenir las amenazas existenciales de la inteligencia artificial. Los críticos han acusado al movimiento de promover escenarios apocalípticos en torno a esta tecnología, como la idea de que un ser extraterrestre podría ser prohibido. Un sistema de IA incontrolable podría apoderarse y eliminar a la humanidad.

Kokotaglo, de 31 años, se unió a OpenAI en 2022 como investigador de gobernanza y se le pidió que pronosticara el progreso de la IA. No era, por decirlo suavemente, optimista.

En su trabajo anterior en la Organización de Seguridad de la IA, predijo que AGI podría llegar en 2050. Pero después de ver lo rápido que estaba mejorando la IA, acortó sus plazos. Ahora se cree que hay un 50% de posibilidades de que la inteligencia artificial general llegue en 2027, en sólo tres años.

También se cree que la probabilidad de que la IA avanzada destruya o dañe catastróficamente a la humanidad (una estadística sombría a menudo abreviada como «p(doom)» en los círculos de la IA) es del 70%.

En OpenAI, Cocotaylo vio que, aunque la compañía contaba con protocolos de seguridad, incluido un esfuerzo conjunto con Microsoft conocido como Consejo de Seguridad de Implementación, que se suponía debía revisar los nuevos modelos para detectar riesgos importantes antes de que se hicieran públicos, rara vez parecen hacerlo. para frenar nada.

Por ejemplo, dijo, en 2022 Microsoft comenzó a probar silenciosamente en India una nueva versión de su motor de búsqueda Bing que algunos empleados de OpenAI creen que contiene una versión aún por publicar de GPT-4, el modelo de lenguaje grande en evolución de OpenAI. Kokotaglo dijo que le dijeron que Microsoft no obtuvo la aprobación de la junta de seguridad antes de probar el nuevo modelo, y después de que la junta se enteró de las pruebas, a través de Una serie de informes Que Bing se estaba comportando de manera extraña con los usuarios y no hizo nada para evitar que Microsoft lo implementara más ampliamente.

El portavoz de Microsoft, Frank Shaw, negó estas acusaciones. Dijo que las pruebas de la India no utilizaron GPT-4 ni ningún modelo OpenAI. Dijo que la primera vez que Microsoft lanzó tecnología basada en GPT-4 fue a principios de 2023, y fue revisada y aprobada por la junta de seguridad anterior.

Con el tiempo, dijo Cocotaylo, se preocupó tanto que le dijo a Altman el año pasado que la empresa debería “centrarse en la seguridad” y dedicar más tiempo y recursos a protegerse contra los riesgos de la IA en lugar de avanzar para mejorar sus modelos. Dijo que Altman afirmó estar de acuerdo con él, pero que nada había cambiado mucho.

En abril dimitió. En un correo electrónico a su equipo, dijo que se iba porque había “perdido la confianza en que OpenAI actuaría de manera responsable” a medida que sus sistemas se acercaban a la inteligencia a nivel humano.

“El mundo no está preparado y nosotros no estamos preparados”, escribió Cocotaillo. “Y me preocupa que estemos avanzando independientemente de nuestras acciones y su justificación”.

OpenAI dijo la semana pasada que había comenzado a entrenar un nuevo modelo pionero de inteligencia artificial y que estaba formando un nuevo comité de seguridad para explorar los riesgos asociados con el nuevo modelo y otras tecnologías futuras.

Al salir, Kokotaglo se negó a firmar la documentación estándar de OpenAI para los empleados salientes, que incluía una estricta cláusula de no menosprecio que les prohibía decir cosas negativas sobre la empresa o correr el riesgo de perder sus acciones adquiridas.

Muchos empleados pueden perder millones de dólares si se niegan a firmar. Dijo que las acciones adquiridas por Cocotaylo valían alrededor de 1,7 millones de dólares, lo que representaba la gran mayoría de su patrimonio neto, y que estaba dispuesto a regalarlas todas.

(El mes pasado se produjo una pequeña tormenta de fuego después de eso. zorro informó Noticias de estos acuerdos. En respuesta, OpenAI afirmó que nunca había reembolsado acciones conferidas a ex empleados y que no lo haría. Altman dijo que estaba «realmente avergonzado» de no saber acerca de los acuerdos, y la compañía dijo que eliminaría las cláusulas de no menosprecio de su documentación estándar y liberaría a los ex empleados de sus acuerdos).

En su carta abierta, Cocotaylo y otros ex empleados de OpenAI piden que se ponga fin al uso de acuerdos de no menosprecio y confidencialidad en OpenAI y otras empresas de IA.

«Amplios acuerdos de confidencialidad nos impiden expresar nuestras preocupaciones, excepto a las propias empresas, que pueden no abordar estas cuestiones», escribieron.

También piden a las empresas de inteligencia artificial que «apoyen una cultura de crítica abierta» y creen un proceso de presentación de informes para que los empleados planteen inquietudes de seguridad de forma anónima.

Contrataron a un abogado pro bono, Lawrence Lessig, un destacado jurista y activista. Lessig también asesoró a Francis Haugen, un ex empleado de Facebook convertido en denunciante que acusó a esa empresa de anteponer las ganancias a la seguridad.

En una entrevista, Lessig dijo que si bien las protecciones tradicionales para los denunciantes generalmente se aplican a los informes de actividades ilegales, es importante que los empleados de las empresas de IA puedan discutir libremente los riesgos y daños potenciales, dada la importancia de la tecnología.

“Los empleados son una importante línea de defensa para la seguridad, y si no pueden hablar libremente e impunemente, ese canal se cerrará”, afirmó.

Heald, portavoz de OpenAI, dijo que la empresa tenía “formas para que los empleados expresaran sus inquietudes”, incluida una línea directa de integridad anónima.

Cocotaylo y su grupo dudan de que la autorregulación por sí sola sea suficiente para prepararse para un mundo con sistemas de inteligencia artificial más potentes. Por eso piden a los legisladores que también regulen la industria.

«Es necesario que haya algún tipo de estructura de gestión transparente y democráticamente responsable que esté a cargo de este proceso», dijo Cocotaylo, «en lugar de simplemente dos empresas privadas diferentes compitiendo entre sí y manteniendo todo en secreto».