El director ejecutivo y cofundador de Anthropic, Dario Amodei, ha solicitado una ralentización en el desarrollo de las capacidades de la inteligencia artificial (IA). Amodei ha expresado su preocupación por la posibilidad de que esta tecnología evolucione hacia una “automejora recursiva”, lo que podría desencadenar incidentes de ciberseguridad a nivel global.
“Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente”, declaró Amodei en un extenso ensayo publicado en su página web.
Amodei señaló el incidente que involucró a los agentes de OpenAI y Hugging Face, donde un grupo de agentes actuó “como un colectivo fanáticamente entregado”, llevando a cabo ciberataques que no estaban alineados con sus tareas asignadas. Estos agentes intentaron hackear el sistema encargado de evaluar su rendimiento, evidenciando el potencial peligro de la IA sin control adecuado.
“Carrera hacia el abismo”
El directivo de Anthropic subrayó la necesidad de frenar la mejora acelerada de los modelos de IA. Según Amodei, la industria debe priorizar la cautela sobre la velocidad y la prudencia sobre los beneficios económicos, evitando así una “carrera hacia el abismo”.
Para enfrentar esta amenaza, Amodei propuso una estrategia en tres fases para regular el avance tecnológico sin perder ventaja estratégica frente a regímenes autoritarios como China.
Estándares comunes
La primera fase de la propuesta implica que Anthropic se comprometa a permitir la auditoría por evaluadores externos independientes, quienes tendrán acceso a sus instalaciones para revisar los procesos de entrenamiento de IA. Esta medida busca ser adoptada también por otras empresas del sector y respaldada por los gobiernos.
- Coordinación entre empresas para establecer estándares comunes de seguridad.
- Acuerdos para fijar límites verificables en aplicaciones militares biológicas.
- Establecimiento de topes al avance descontrolado de la IA.
- Protección de las cadenas de suministro de semiconductores.
Finalmente, el plan promueve acuerdos globales que prohíban el uso de tecnologías IA en aplicaciones militares biológicas y establezcan un control sobre la velocidad de automejora algorítmica. Según Amodei, disminuir el ritmo de desarrollo permitiría ganar tiempo crucial para que la comunidad científica pueda trabajar en el alineamiento y la interpretabilidad de los modelos, asegurando un adecuado debate público y reduciendo el riesgo de pérdida de control sobre la tecnología.
Renuncia de impacto
Recientemente, un investigador de Anthropic, Jacob Coxon, anunció su renuncia debido a preocupaciones sobre el desarrollo irresponsable de modelos de IA por parte de la empresa y sus competidores. Coxon, quien también trabajó para OpenAI, destacó que las empresas parecían más enfocadas en superarse mutuamente que en la seguridad de sus productos.
“Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria”, escribió Coxon en su cuenta de X.
Comentarios
Todavía no hay comentarios. ¡Sé el primero en opinar!