Pablo Bustamante Pardo
Expresidente de IPAE
Director de Lampadia
El despliegue de la Inteligencia Artificial es probablemente uno de los procesos más determinantes del futuro de los seres humanos, con grandes beneficios e infinitos riesgos. Sus implicancias son de largo alcance.
Del debate que se está generando rescatamos comentarios de Stephen Hawking, Eliezer Yudkowsky, Yuval Noah Harari, Elon Musk, el fundador y renunciante de OpenAI, exdirectores y nuevos directores de OpenAI, y el artículo de The Economist, ‘Las empresas de IA no deben gobernarse a sí mismas, dicen ex miembros de la junta directiva de OpenAI’.
No podemos dejar de estar cerca de este proceso.
Stephen Hawking: ‘Uno de los mayores temores que se tiene sobre el avance de la tecnología es que esto pueda significar la extinción de la humanidad’. Defendía que los peligros de la inteligencia artificial surgirían cuando esta sea capaz de rediseñarse por cuenta propia.
“El peligro más grande de la inteligencia artificial llegará el día en que creamos que la entendemos”. Eliezer Yudkowsky
“La Inteligencia Artificial es el primer invento que puede tomar decisiones por sí misma. Le quita así poder a los humanos.
Eso va a cambiar. Es el primer invento con la capacidad de generar nuevas ideas. La Inteligencia Artificial resultará capaz de crear un universo de conocimiento que podría tornarse hasta incomprensible para el ser humano.
Durante miles de años, los humanos hemos vivido dentro de los sueños de otros humanos. Pronto también nos encontraremos viviendo dentro de las alucinaciones de la inteligencia no humana”.
Yuval Noah Harari.
Después de haber tenido que ceder espacio en OpenAI, Elon Musk regresa al ámbito del desarrollo de la ‘Inteligencia Artificial’. Musk se alejó por sus reservas sobre el desarrollo filo-irresponsable de OpenAI en relación a los posibles impactos negativos de la IA para la humanidad.
Ver en Lampadia: La inmensa fuerza de Elon Musk – Un volcán con propósito.
The Economist presenta a dos ex miembros de la junta directiva de OpenAI, que afirman que las empresas de IA no deben gobernarse a sí mismas.
“Para que el auge de la ia beneficie a todos, los gobiernos deben comenzar a construir marcos regulatorios eficaces ahora.
OpenAI se estableció originalmente como una organización sin fines de lucro con una misión loable: garantizar que la AGI, o inteligencia artificial general (sistemas de ia que generalmente son más inteligentes que los humanos) beneficiara a “toda la humanidad”.
“Lamentablemente no funcionó”.
“Sólo mediante un equilibrio saludable de las fuerzas del mercado y una regulación prudente podremos garantizar de manera confiable que la evolución de la ia realmente beneficie a toda la humanidad”.
Helen Toner y Tasha McCauley.
El artículo de The Economist incluye la réplica de dos miembros de la junta directiva de OpenAI: “La empresa es líder tanto en seguridad como en capacidad, insisten Bret Taylor y Larry Summers. No aceptamos las afirmaciones hechas por la Sra. Toner y la Sra. McCauley con respecto a los eventos en OpenAI”.
Ver el artículo de The Economist:
Inteligencia artificial
Las empresas de IA no deben gobernarse a sí mismas, dicen ex miembros de la junta directiva de OpenAI
Por el bien de la humanidad, se necesita regulación para dominar las fuerzas del mercado, sostienen Helen Toner y Tasha McCauley
The Economist
26 de mayo de 2024
Traducido y glosado por Lampadia
¿Se puede esperar que las empresas privadas que avanzan en la frontera de una nueva tecnología revolucionaria operen en interés tanto de sus accionistas como del mundo en general?
Cuando nos reclutaron para la junta directiva de OpenAI (Tasha en 2018 y Helen en 2021), éramos cautelosamente optimistas de que el enfoque innovador de la empresa hacia el autogobierno podría ofrecer un plan para el desarrollo responsable de la ia. Pero basándonos en nuestra experiencia, creemos que el autogobierno no puede resistir de manera confiable la presión de los incentivos a las ganancias. Dado el enorme potencial de la ia para lograr un impacto tanto positivo como negativo, no basta con suponer que dichos incentivos siempre estarán alineados con el bien público. Para que el auge de la ia beneficie a todos, los gobiernos deben comenzar a construir marcos regulatorios eficaces ahora.
Si alguna empresa hubiera podido gobernarse a sí misma con éxito mientras desarrollaba de forma segura y ética sistemas avanzados de ia, esa habría sido OpenAI. La organización se estableció originalmente como una organización sin fines de lucro con una misión loable: garantizar que la AGI, o inteligencia artificial general (sistemas de ia que generalmente son más inteligentes que los humanos) beneficiara a “toda la humanidad”. Más tarde, se creó una filial con fines de lucro para reunir el capital necesario, pero la organización sin fines de lucro permaneció a cargo. El propósito declarado de esta estructura inusual era proteger la capacidad de la empresa para cumplir con su misión original, y el mandato de la junta directiva era defender esa misión. No tenía precedentes, pero parecía que valía la pena intentarlo. Lamentablemente no funcionó.
En noviembre pasado, en un esfuerzo por salvar esta estructura autorreguladora, la junta directiva de OpenAI despidió a su director ejecutivo, Sam Altman. La capacidad de la junta para defender la misión de la empresa se había vuelto cada vez más limitada debido a patrones de comportamiento de larga data exhibidos por el Sr. Altman, que, entre otras cosas, creemos que socavaron la supervisión de la junta de decisiones clave y protocolos de seguridad internos. Varios altos dirigentes habían compartido en privado graves preocupaciones con la junta, diciendo que creían que Altman cultivaba «una cultura tóxica de mentira» y participaba en «comportamientos [que] pueden caracterizarse como abuso psicológico». Según OpenAI, una investigación interna encontró que la junta había “actuado dentro de su amplia discreción” para despedir al Sr. Altman, pero también concluyó que su conducta no “exigía la destitución”. OpenAI transmitió pocos detalles que justificaran esta conclusión y no puso el informe de la investigación a disposición de los empleados, la prensa o el público.
La cuestión de si tal comportamiento debería “exigir la destitución” de un director general es un debate para otro momento. Pero en el caso específico de OpenAI, dado el deber de la junta de proporcionar una supervisión independiente y proteger la misión de interés público de la empresa, apoyamos la acción de la junta de despedir al Sr. Altman.
También creemos que los acontecimientos desde que regresó a la empresa, incluido su reincorporación a la junta directiva y la salida del talento senior centrado en la seguridad, son un mal augurio para el experimento OpenAI en autogobierno.
Nuestra historia particular ofrece la lección más amplia de que la sociedad no debe permitir que el despliegue de la ia esté controlado únicamente por empresas tecnológicas privadas. Ciertamente, existen numerosos esfuerzos genuinos en el sector privado para guiar el desarrollo de esta tecnología de manera responsable, y aplaudimos esos esfuerzos. Pero incluso con las mejores intenciones, sin supervisión externa, este tipo de autorregulación terminará siendo inaplicable, especialmente bajo la presión de inmensos incentivos para obtener ganancias. Los gobiernos deben desempeñar un papel activo.
Y, sin embargo, en los últimos meses, un creciente coro de voces –desde legisladores de Washington hasta inversores de Silicon Valley– ha abogado por una regulación gubernamental mínima de la ia. A menudo, establecen paralelismos con el enfoque de laissez-faire de Internet en la década de 1990 y el crecimiento económico que estimuló. Sin embargo, esta analogía es engañosa.
Dentro de las empresas de ia, y en toda la comunidad más amplia de investigadores e ingenieros en el campo, se reconocen ampliamente los grandes riesgos y riesgos que implica desarrollar una ia cada vez más avanzada. En palabras del propio Altman: “La transición exitosa a un mundo con superinteligencia es quizás el proyecto más importante (y esperanzador y aterrador) de la historia de la humanidad”. El nivel de preocupación expresado por muchos de los principales científicos de ia sobre la tecnología que ellos mismos están construyendo está bien documentado y es muy diferente de las actitudes optimistas de los programadores e ingenieros de redes que desarrollaron la primera Internet.
Tampoco está nada claro que una regulación ligera de Internet haya sido un bien absoluto para la sociedad. Ciertamente, muchas empresas tecnológicas exitosas (y sus inversores) se han beneficiado enormemente de la falta de restricciones al comercio en línea. Es menos obvio que las sociedades hayan logrado el equilibrio adecuado cuando se trata de regular para frenar la desinformación en las redes sociales, la explotación infantil y la trata de personas, y una creciente crisis de salud mental juvenil.
Los bienes, las infraestructuras y la sociedad mejoran mediante la regulación.
Es gracias a la regulación que los automóviles tienen cinturones de seguridad y bolsas de aire, que no nos preocupamos por la leche contaminada y que los edificios están construidos para que sean accesibles para todos.
Una regulación sensata podría garantizar que los beneficios de la ia se materialicen de forma responsable y más amplia. Un buen punto de partida serían las políticas que brinden a los gobiernos más visibilidad sobre cómo está progresando la vanguardia de la ia, como los requisitos de transparencia y el seguimiento de incidentes.
Por supuesto, la regulación tiene sus riesgos y es necesario gestionarlos. Una regulación mal diseñada puede imponer una carga desproporcionada a las empresas más pequeñas, sofocando la competencia y la innovación.
Es crucial que los formuladores de políticas actúen independientemente de las principales empresas de ia al desarrollar nuevas reglas. Deben estar atentos a las lagunas jurídicas, los “fosos” regulatorios que protegen a los primeros en actuar de la competencia y el potencial de captura regulatoria. De hecho, los propios llamados del Sr. Altman a favor de una regulación de la ia deben entenderse en el contexto de estos escollos como si tuvieran fines potencialmente interesados. Un marco regulatorio apropiado requerirá ajustes ágiles, que se mantengan al ritmo de la creciente comprensión mundial de las capacidades de la ia.
En última instancia, creemos en el potencial de la ia para impulsar la productividad y el bienestar humanos de formas nunca antes vistas. Pero el camino hacia ese futuro mejor no está exento de peligros.
OpenAI se fundó como un experimento audaz para desarrollar una ia cada vez más capaz y al mismo tiempo priorizar el bien público sobre las ganancias. Nuestra experiencia es que incluso con todas las ventajas, los mecanismos de autogobierno como los empleados por OpenAI no serán suficientes. Por lo tanto, es esencial que el sector público participe estrechamente en el desarrollo de la tecnología. Ahora es el momento de que los organismos gubernamentales de todo el mundo se impongan. Sólo mediante un equilibrio saludable de las fuerzas del mercado y una regulación prudente podremos garantizar de manera confiable que la evolución de la ia realmente beneficie a toda la humanidad.
Helen Toner y Tasha McCauley estuvieron en la junta directiva de OpenAI de 2021 a 2023 y de 2018 a 2023, respectivamente.
Lea una respuesta a este artículo de Bret Taylor, presidente de la junta directiva de open ai, y Larry Summers, miembro de la junta.
Lampadia
_______________________________________________________________________________________________________________________________________________________________________________________
Anexo: La respuesta de Bret Taylor y Larry Summers.
Los miembros de la junta directiva de OpenAI responden a una advertencia de ex miembros
La empresa es líder tanto en seguridad como en capacidad, insisten Bret Taylor y Larry Summers.
30 de mayo de 2024
Glosado por Lampadia
No aceptamos las afirmaciones hechas por la Sra. Toner y la Sra. McCauley con respecto a los eventos en Open ai.
Cuando la junta anterior (incluidas la Sra. Toner y la Sra. McCauley) nos pidió formar parte de la nueva junta, el primer paso que tomamos fue encargar una revisión externa de los acontecimientos que condujeron a la renuncia forzada del Sr. Altman. Presidimos un comité especial creado por la junta y WilmerHale, una prestigiosa firma de abogados, dirigió la revisión. Realizó docenas de entrevistas con miembros de la junta anterior de Open ai (incluidas la sra. toner y la sra. mccauley), ejecutivos de open ai , asesores de la junta anterior y otros testigos pertinentes; revisó más de 30,000 documentos; y evaluó diversas acciones corporativas. Tanto la Sra. Toner como la Sra. McCauley aportaron amplias aportaciones a la revisión, y esto se consideró cuidadosamente al llegar a nuestras conclusiones.
Los hallazgos de la revisión rechazaron la idea de que cualquier tipo de problema de seguridad de la ia requiriera el reemplazo de Altman. De hecho, WilmerHale descubrió que «la decisión de la junta anterior no surgió de preocupaciones sobre la seguridad del producto, el ritmo de desarrollo, las finanzas de Open ai o sus declaraciones a inversores, clientes o socios comerciales».
Además, en seis meses de contacto casi diario con la empresa, hemos encontrado al Sr. Altman muy comunicativo en todos los temas relevantes y consistentemente colaborador con su equipo directivo. Lamentamos que la señora Toner siga revisando cuestiones que fueron examinadas minuciosamente en la revisión dirigida por WilmerHale en lugar de seguir adelante.
La señora Toner ha seguido haciendo afirmaciones en la prensa. Aunque quizás sea difícil recordarlo ahora, Open ai lanzó Chat gpt en noviembre de 2022 como un proyecto de investigación para aprender más sobre la utilidad de sus modelos en entornos conversacionales. Se construyó sobre gpt -3.5, un modelo de ia existente que ya llevaba más de ocho meses disponible en ese momento.
Dicho esto, compartimos la opinión de la señora Toner y la señora McCauley (y la empresa y el señor Altman lo han declarado continuamente) de que la evolución de la ia representa un avance importante en la historia de la humanidad. En las sociedades democráticas, la rendición de cuentas ante el gobierno y la regulación gubernamental es esencial.
Open ai ha mantenido conversaciones con funcionarios gubernamentales de todo el mundo sobre numerosos temas y la empresa apoya una regulación eficaz de la inteligencia artificial general, o agi ( ia que superaría a los humanos en la mayoría de las tareas intelectuales) a medida que evoluciona. Altman ha implorado a los legisladores que regulen la ia. “Creemos que la intervención regulatoria de los gobiernos será fundamental para mitigar los riesgos de modelos cada vez más poderosos”, dijo en sus comentarios de apertura ante un subcomité judicial del Senado en mayo de 2023.
Open ai y otros laboratorios líderes en ia han asumido una serie de compromisos voluntarios con la Casa Blanca para reforzar la seguridad y la confiabilidad de la tecnología y los servicios de ia. Además, Altman forma parte de la Junta de Seguridad de Inteligencia Artificial del Departamento de Seguridad Nacional de EEUU, que asesorará al departamento, a las partes interesadas del sector privado y al público sobre cómo desarrollar e implementar de forma segura tecnología de ia en todo Estados Unidos, incluso en su infraestructura crítica.
Estamos mirando hacia adelante, no hacia atrás. La junta se está construyendo con la reciente incorporación de tres nuevos miembros con amplia experiencia en liderar organizaciones globales y navegar en entornos regulatorios complejos, y con experiencia en tecnología, gestión de organizaciones sin fines de lucro y gobernanza de juntas.
La nueva junta ha adoptado mejoras importantes en la estructura de gobierno de Open ai para que pueda supervisar de manera más efectiva el crecimiento de la empresa y cumplir la misión de Open ai de garantizar que agi beneficie a toda la humanidad. Estas mejoras incluyen directrices de gobernanza más claras y una política de conflictos de intereses más sólida.
A medida que los productos de la empresa se vuelven más avanzados, la junta está tomando medidas acordes para garantizar la seguridad. Esta misma semana anunció la formación de un nuevo Comité de Seguridad para hacer recomendaciones a la junta completa sobre asuntos relacionados con decisiones críticas de seguridad para todos los proyectos de Open ai . Y estamos reforzando este nuevo comité con personas con experiencia en seguridad nacional.
La semana pasada, en una importante cumbre de ia en Seúl, Open ai y varias otras empresas acordaron asumir compromisos adicionales de seguridad de la ia. También se comprometieron a publicar marcos de seguridad como el Marco de Preparación adoptado por Open ai el año pasado, que está diseñado para cerrar las brechas en el estudio científico de los riesgos catastróficos de la ia.
Open ai, con el apoyo de la junta directiva, se enorgullece de crear y lanzar modelos que son líderes en la industria en términos de capacidades y seguridad. La empresa seguirá haciéndolo. Como hemos dicho anteriormente, «Reconocemos la magnitud de nuestro papel en la gestión de tecnologías transformadoras para el bien global».
Bret Taylor es presidente de la junta directiva de OpenAI. Larry Summers es miembro de la junta.
