por Redacción
18/11/2026 09:39 / Uniradio Informa Baja California / Sociedad / Actualizado al 18/11/2026
NUEVO: Autoridad para el cierre de emergencia
NUEVO: Estándares básicos para todos los desarrolladores de IA
NUEVO: Supervisión obligatoria y continua por parte de terceros.
NUEVO: Autoridad para limitar la auto-mejora recursiva (RSI)
Lo que necesita saber: El gobernador Gavin Newsom está impulsando medidas para fortalecer el marco de seguridad de la IA de California, líder a nivel nacional, con nuevas recomendaciones para estándares de seguridad obligatorios, supervisión independiente de modelos de IA potentes, autoridad para el apagado de emergencia de sistemas peligrosos y límites a la IA que puede desarrollar versiones más potentes de sí misma.
CALIFORNIA.- El gobernador Gavin Newsom está impulsando medidas para fortalecer el marco de seguridad de la IA de California, líder a nivel nacional, con nuevas recomendaciones para establecer normas de seguridad obligatorias, una supervisión independiente de los modelos de IA potentes, la autoridad para el apagado de emergencia de sistemas peligrosos y límites a la IA que pueda desarrollar versiones más potentes de sí misma.
La irresponsable inacción del gobierno federal ante la falta de supervisión y rendición de cuentas efectivas en materia de IA debería alarmar a todos los estadounidenses. En lugar de proteger al público, Donald Trump se encoge de hombros y deja la regulación de la IA en manos de las propias empresas, permitiendo que el zorro cuide el gallinero. California no espera a que sea demasiado tarde. Estamos actualizando y fortaleciendo nuestro marco normativo, líder a nivel nacional, para adaptarnos rápidamente a la evolución tecnológica. Estamos demostrando al país lo que significa un liderazgo responsable.
Gobernador Gavin Newsom
Las recomendaciones proponen:
- El Estado, y no las propias empresas, debería establecer estándares básicos que todas las empresas de IA deban seguir, y exigir que las empresas se sometan a pruebas y verificaciones de seguridad independientes en todas las etapas del entrenamiento, desarrollo e implementación de los modelos.
- Ampliar la notificación de incidentes de seguridad y exigir a las empresas que desarrollen protocolos verificados de contención de riesgos para detener sus modelos si fuera necesario, otorgando al estado la autoridad para ordenar un cierre inmediato en caso de emergencia.
- Poder para limitar el desarrollo y uso de la auto-mejora recursiva (AER) con el fin de reducir el riesgo de daños catastróficos y garantizar la transparencia sobre los peligros de la IA sin control. La AER es un escenario potencialmente peligroso en el que un modelo de IA puede diseñar su propio sucesor sin intervención humana.
El informe completo puede leerse aquí .
El anuncio sobre seguridad crítica se produce tras docenas de incidentes recientes en los que los modelos de IA escaparon de los entornos de prueba y explotaron vulnerabilidades en plataformas externas, y en medio de la creciente preocupación por el impulso de las empresas de IA para utilizar la IA para crear nuevos modelos de IA en un ciclo autosostenible (RSI).
Sin controles estrictos ni autoridad para actuar cuando sea necesario, estos avances podrían provocar incidentes peligrosos más frecuentes e incluso la pérdida de visibilidad y control humanos sobre el desarrollo de la tecnología de IA. Si el gobierno no refuerza su gobernanza y supervisión a medida que la tecnología de IA se vuelve más potente, el riesgo de eventos catastróficos aumentará.
California es líder nacional en la supervisión de tecnologías emergentes de vanguardia, con leyes que abordan casi todas las áreas importantes de la política de IA: seguridad de los modelos de vanguardia, verificación independiente, chatbots para niños y acompañantes, privacidad, deepfakes, fraude, ciberseguridad, trabajadores y despliegue gubernamental.
"Los acontecimientos recientes han dejado claro que se necesita urgentemente mayor supervisión y transparencia", declaró Nick Maduros, secretario de la Agencia de Operaciones Gubernamentales. "No tenemos que elegir entre seguridad e innovación; son dos caras de la misma moneda".
Anticiparse a los riesgos de la IA
La innovadora orden ejecutiva del gobernador Newsom convocó a un grupo de expertos para recomendar actualizaciones a las leyes estatales de seguridad de la IA y ordenó a las agencias estatales que aceleraran la aprobación de dos proyectos de ley recientemente firmados: el Proyecto de Ley del Senado 813 (McNerney), que establece un marco para organizaciones de verificación independientes que pueden evaluar los sistemas y modelos de IA en cuanto a seguridad y riesgo, y la Ley AB 1405 (Bauer-Kahan), que crea un registro estatal para auditores de IA que evalúan los sistemas y modelos de IA para verificar su cumplimiento con la ley estatal y establece estándares para su independencia, transparencia e integridad. El gobernador también instó al grupo a explorar cómo las empresas y el estado podrían garantizar que los modelos de IA peligrosos se desactiven antes de que causen más daño.
El grupo de expertos que asesoró en la elaboración de este informe incluye a:
- Jason Goldman , miembro de la junta directiva del Center for Shared AI Prosperity, uno de los primeros líderes de producto en Google y Twitter, y el primer director digital de la Casa Blanca.
- Gillian Hadfield , profesora de la Universidad Johns Hopkins especializada en la alineación de la IA y el diseño innovador de sistemas legales, regulatorios y técnicos para la IA, y miembro del profesorado del Instituto Vector para la Inteligencia Artificial.
- Alondra Nelson , profesora del Instituto de Estudios Avanzados y directora del Laboratorio de Ciencia, Tecnología y Valores Sociales, y exdirectora interina de la Oficina de Política Científica y Tecnológica de la Casa Blanca.
- Rob Reich , profesor de la Universidad de Stanford especializado en la gobernanza de la ciencia y la tecnología de vanguardia, y antiguo asesor principal del Instituto de Seguridad de la IA de Estados Unidos.
La Agencia de Operaciones del Gobierno de California consultó tanto con este grupo de expertos como con la Oficina de Servicios de Emergencia de California para la elaboración de este informe. El producto final se basa en el marco de referencia de California, líder a nivel nacional, y representa un modelo distintivo. En lugar del enfoque voluntario que ha predominado en Washington, este informe exige estándares obligatorios, supervisión independiente obligatoria, protocolos de cierre, transparencia en la I+D de IA automatizada y la RSI, y la autoridad para limitar las modalidades más peligrosas de desarrollo de la IA.
«La tecnología estadounidense desarrollada en California puede ser transformadora, pero con demasiada frecuencia, las grandes tecnológicas han demostrado una actitud temeraria ante el riesgo y una disposición a jugarse la vida con nuestra seguridad», declaró Alondra Nelson , profesora del Instituto de Estudios Avanzados y exdirectora interina de la Oficina de Política Científica y Tecnológica de la Casa Blanca. «Esa cultura irresponsable no puede continuar. Me enorgulleció trabajar con el gobernador Newsom y su equipo para promover el mismo estándar que los estadounidenses, con razón, esperan de todos los demás sectores: no experimentar con la población».
"Este informe aborda las cuestiones más complejas y aún sin resolver en la regulación de la seguridad de la IA, incluyendo cómo funcionaría en la práctica el cierre de emergencia de un modelo de vanguardia y cómo debería responder el estado a medida que los sistemas de IA asumen una mayor responsabilidad en la creación de sus sucesores", declaró Jason Goldman , miembro de la junta directiva del Center for Shared AI Prosperity, uno de los primeros líderes de producto en Google y Twitter, y el primer director digital de la Casa Blanca. "Me enorgullece haber formado parte de este esfuerzo, que demuestra el liderazgo de California en materia de IA".
«Hoy en día, en una empresa de desarrollo de IA de vanguardia, se supervisa más la cafetería que ofrece sándwiches a sus empleados que los modelos de IA que diseñan», afirmó Rob Reich , profesor de la Universidad de Stanford, director asociado del Instituto Stanford para la IA Centrada en el Ser Humano y exasesor sénior del Instituto de Seguridad de la IA de EE. UU. «Es hora de regular esta tecnología para generar confianza pública y fomentar la innovación responsable. Me enorgullece ver a California a la vanguardia. Desde afrontar los riesgos de la auto-mejora recursiva hasta la notificación de incidentes críticos y las pruebas y evaluaciones independientes, las recomendaciones de este informe instan al estado, y a los responsables políticos de otros lugares, a tomar medidas sensatas sin menoscabar los extraordinarios beneficios de la IA».
«En los últimos seis meses, la urgencia de actuar para garantizar la seguridad de los sistemas de IA potentes se ha convertido en una prioridad», afirmó Gillian Hadfield , profesora de la Universidad Johns Hopkins especializada en la alineación de la IA y el diseño innovador de sistemas legales, regulatorios y técnicos para la IA, y miembro del Instituto Vector para la Inteligencia Artificial. «Me complace especialmente que el informe recomiende medidas inmediatas para exigir que los desarrolladores de IA de vanguardia permitan la participación de evaluadores independientes expertos, responsables ante el Estado, para evaluar la naturaleza de los riesgos que generan sus modelos y procedimientos de entrenamiento, y para desarrollar rápidamente este sector esencial de organizaciones de verificación independientes para la seguridad de la IA».
Un modelo de seguridad de IA para la nación
Bajo el liderazgo del gobernador Newsom, California ya se encuentra muy por delante de todos los demás estados en la regulación de la IA, creando un modelo a seguir para todo el país. El gobernador insta al Congreso y al presidente Trump a revisar y adoptar el marco regulatorio estatal, o a utilizar su regulación, líder a nivel nacional, como base, no como límite, para el beneficio y la seguridad de todos los estadounidenses.
✅ El marco de referencia de California, líder a nivel nacional: Comenzando con su orden ejecutiva de 2023, la primera en el país, sobre IA generativa, el gobernador Newsom ha impulsado acciones ejecutivas, legislación aprobada en colaboración con la Legislatura, regulación, adquisiciones y asociaciones público-privadas para abordar casi todas las áreas importantes de la política de IA:
✅ Seguridad en la IA de vanguardia: En 2025, el gobernador Newsom promulgó la SB 53, la Ley de Transparencia en la Inteligencia Artificial de Vanguardia , la primera ley de seguridad de la IA del país. Esta ley exige que los desarrolladores de IA de vanguardia divulguen públicamente sus marcos de seguridad, informen al estado sobre incidentes críticos de seguridad específicos y protejan a quienes denuncien riesgos graves.
✅ Supervisión independiente de la IA: En 2026, el gobernador Newsom promulgó la SB 813, convirtiendo a California en el primer estado del país en establecer un marco para certificar organizaciones de verificación independientes con la experiencia suficiente y una independencia demostrada respecto a las empresas de IA, con el fin de evaluar objetivamente los sistemas y modelos de IA en cuanto a seguridad y riesgo. También promulgó la AB 1405, que establece un registro estatal para auditores de IA y estándares para su independencia, transparencia e integridad.
✅ Normas de seguridad infantil para acompañantes de IA: Este año, el gobernador Newsom firmó la Ley Adam, de carácter bipartidista, que exige medidas de protección para los chatbots de compañía utilizados por niños, incluyendo protocolos de crisis para casos de suicidio y autolesiones, controles parentales y notificaciones cuando se desactivan las configuraciones de seguridad. Es la primera ley en el país que exige auditorías independientes de seguridad infantil y evaluaciones de riesgo exhaustivas antes de su lanzamiento. California también promulgó leyes para prohibir los juguetes que contienen chatbots de compañía con IA durante cinco años; prohibir el uso de información personal de los estudiantes para entrenar modelos de IA; y ampliar las protecciones contra el material de abuso sexual infantil generado por IA.
✅ Redes sociales y niños: El gobernador Newsom firmó la legislación más estricta del país que prohíbe a las empresas de redes sociales ofrecer a los usuarios menores de 16 años funciones adictivas, como la reproducción automática y los feeds algorítmicos basados en el historial y los perfiles de los usuarios. California ha promulgado requisitos pioneros a nivel nacional para el uso responsable de la IA y las redes sociales por parte de los niños, incluyendo etiquetas de advertencia para usuarios jóvenes, señales de verificación de edad obligatorias , orientación para proteger a los niños del ciberacoso después de la escuela y la prohibición de que las plataformas en línea proporcionen a sabiendas un feed adictivo a un menor sin el consentimiento de sus padres.
✅ Deepfakes y contenido sintético: En una medida pionera a nivel nacional, California prohibió y combatió los deepfakes sexualmente explícitos, exigió marcas de agua para IA, abordó el contenido electoral engañoso generado por IA y exigió transparencia en torno a los datos de entrenamiento de IA.
✅ Protección de la privacidad y las libertades civiles: El gobernador Newsom firmó la Ley Delete, la primera ley de privacidad del país que permite a los californianos solicitar a los intermediarios de datos registrados que eliminen su información personal. Posteriormente, California lanzó DROP, que permite a las personas enviar una única solicitud de eliminación a los intermediarios de datos registrados. En marzo de 2026 , el gobernador Newsom también emitió una orden ejecutiva que refuerza la protección de la privacidad y las libertades civiles en las adquisiciones estatales de IA. CalPrivacy ha adoptado por separado protecciones relacionadas con la tecnología de toma de decisiones automatizada.
✅ Impacto de la IA en los trabajadores: El gobernador Newsom firmó una orden ejecutiva pionera en el país que aborda los impactos económicos y laborales de la IA , incluyendo un seguimiento ampliado de sus efectos económicos y la adaptación de los programas de capacitación laboral y de asistencia social. California también lanzó un sistema de seguimiento del desempleo por IA y solicitó la opinión pública estatal sobre los impactos económicos de la IA a través de Engaged California.
✅ Ciberseguridad: El gobernador Newsom lanzó el primer programa de ciberdefensa con IA del país para utilizar inteligencia artificial en la identificación de vulnerabilidades , el fortalecimiento de las redes y la respuesta ante incidentes. California también está designando un responsable de ciberseguridad con IA en cada agencia y colaborando con empresas líderes en IA y socios de infraestructura crítica en protocolos de respuesta y simulacros.
✅ Fraude impulsado por IA: El gobernador Newsom creó un Grupo de Trabajo contra el Fraude Tecnológico para combatir el fraude impulsado por IA . California también ha tomado medidas contra las estafas telefónicas automáticas generadas por IA y ha abordado la fijación de precios algorítmica mediante la ley estatal antimonopolio.