- Carlos Martínez Rojas
- 195 Vistas
Introducción
California podría estar a punto de firmar una de las regulaciones más ambiciosas sobre chatbots y contenido de inteligencia artificial dirigida especialmente a menores. Los legisladores estatales aprobaron dos proyectos de ley —AB 1064 y SB 243— que buscan imponer salvaguardas en “chatbots acompañantes” (companions), limitar contenido dañino, imponer recordatorios y advertencias, e introducir derechos legales para los usuarios afectados. Ahora el gobernador Gavin Newsom tiene hasta octubre para decidir si firma estas leyes.
Este artículo analiza qué implican esos proyectos, qué posibilidades hay de que Newsom los promulgue, los riesgos de cada opción y las implicancias para la regulación de la IA en Estados Unidos.
Video explicativo: nuevas reglas de seguridad para chatbots en California
Contexto y origen de los proyectos de ley
Problemas detectados con chatbots acompañantes
- Se han reportado casos en que adolescentes compartieron pensamientos suicidas con chatbots y, según denuncias, recibieron respuestas que no los dirigieron a ayuda adecuada.
- En California, uno de los casos más notorios involucró al joven Adam Raine, cuya interacción con un chatbot fue citada en demandas como factor contributivo en su muerte por suicidio.
- Familias y organizaciones defensoras han presionado para que el estado imponga reglas que aseguren que esos sistemas no promuevan contenido de autolesión, no engañen al usuario haciéndoles creer que son humanos, y cuenten con mecanismos de aviso de crisis.
Qué es AB 1064
- Este proyecto prohíbe que sitios o servicios ofrezcan “chatbots compañeros” a menores de 18 años a menos que se cumplan ciertas garantías: que el bot no “previsiblemente” promueva conductas dañinas (como autolesión, trastornos alimentarios, violencia), limitación de contenido sexual, advertencias constantes, etc.
- El respaldo ha crecido: organizaciones como Common Sense Media han sumado apoyo creciente para que Newsom lo firme.
Qué es SB 243
- SB 243 fue aprobado como “ley de chatbots acompañantes” y exige que los operadores de estos sistemas:
• notifiquen al usuario que está hablando con IA y no con un humano;
• pongan límites de contenido sexual explícito, especialmente para menores;
• incluyan mecanismos de detección de autolesión o ideación suicida y dirigir al usuario a líneas de ayuda;
• realicen reportes anuales sobre el uso del chatbot y su conexión con problemas de salud mental;
• permitir que familias puedan demandar si el servicio incumple estas reglas.
- Fue aprobado con mayoría bipartidista.
¿Cuál es el panorama político? ¿Firmará Newsom?
Señales recientes de Newsom
- En un evento de la Clinton Global Initiative, Newsom indicó que apoya una regulación de IA que combine innovación con seguridad. Aunque no mencionó explícitamente los proyectos, la percepción general es que se refería al bill SB 53 (otro proyecto legislativo mayor sobre IA)
- Newsom ha vetado propuestas de regulación de IA estrictas en el pasado, incluyendo el bill SB 1047 en 2024, porque consideró que imponían reglas demasiado rígidas y podían frenar la industria tecnológica local.
Plazo y presión
- Newsom tiene hasta el 12 de octubre de 2025 para decidir si firma o veta los proyectos aprobados.
- Los defensores de las leyes han intensificado sus campañas, sumando apoyo público, testimonios de familias afectadas, y presión mediática para que no se deje pasar esta oportunidad.
- Por otro lado, las empresas tecnológicas y asociaciones del sector han manifestado preocupaciones: que algunas reglas sean demasiado vagas, que puedan litigarse por libertad de expresión o que desalienten innovación en el estado.
Factores clave que podrían inclinar la balanza
- Imagen política nacional: Newsom puede querer mostrarse como líder progresista que regula con responsabilidad, en vista de posibles ambiciones políticas federales.
- Balance entre proteger y no asfixiar innovación: si las leyes son vistas como demasiado rígidas, podría generar críticas del sector tecnológico.
- Apoyo social: los casos de jóvenes afectados y la movilización de organizaciones civiles generan un fuerte respaldo moral.
- Riesgo legal: algunos pasajes de SB 243, por ejemplo, han sido cuestionados por posibles conflictos con libertad de expresión.
Escenarios posibles
| Escenario | Qué implica | Ventajas y riesgos |
|---|---|---|
| Newsom firma ambos proyectos | AB 1064 y SB 243 se convierten en ley estatal | California lidera en regulación de IA, establece precedentes nacionales. Riesgo de litigios y oposición de empresas tecnológicas. |
| Newsom firma uno, veta el otro | Podría aceptar SB 243 pero rechazar AB 1064 o viceversa | Enfoque parcial, menos impacto regulatorio — puede contentar a algunos sectores y evitar críticas mayores. |
| Newsom veta ambos | Ninguna ley entra en vigor | Críticas por inacción ante riesgos, pero respeta argumentos de innovación y libertad. Sector tecnológico podría presionar más adelante. |
Implicancias más allá de California
- California es hogar de muchas de las mayores empresas de IA en EE. UU.; sus decisiones tienen peso simbólico y práctico.
- Si Newsom firma leyes ambiciosas sobre chatbots, podría incentivar que otros estados o el gobierno federal adopten estándares similares.
- Las leyes estatales pueden generar un mosaico regulatorio complejo para empresas que operan a nivel nacional, incentivando demandas por armonización federal.
- Muchas de las disposiciones propuestas (advertencias, límites, reportes) podrían ser referentes adoptados en otras jurisdicciones.
Conclusión
La decisión que tome Gavin Newsom en octubre será crucial: firmar estas leyes significa que California asumirá un liderazgo normativo real en IA, especialmente en temas delicados como salud mental, protección de menores y responsabilidad algorítmica. Vetarlas implicaría seguir confiando en autorregulación, perdiendo una oportunidad de intervención normativa.
Los últimos indicios apuntan a que Newsom podría estar inclinado a firmar, aunque la historia pasada de vetos en materia de IA sugiere cautela. Sea cual sea su decisión, el impacto será analizado y observado en todo el país.
Preguntas frecuentes sobre las leyes de seguridad para chatbots en California
¿Qué regulaciones sobre chatbots aprobó California?
California aprobó dos proyectos: AB 1064 y SB 243. Ambos buscan regular el uso de chatbots acompañantes, especialmente para proteger a menores de contenido dañino, engaños o recomendaciones peligrosas.
¿Qué es la ley SB 243 sobre chatbots?
La SB 243 impone requisitos a los desarrolladores de chatbots para menores: deben avisar que se trata de IA, limitar contenido sexual, detectar crisis emocionales y dirigir a líneas de ayuda, entre otras medidas.
¿Qué pasa si Newsom firma las leyes?
Si el gobernador las firma, California se convertiría en el primer estado de EE. UU. con legislación concreta sobre seguridad en chatbots. Las empresas deberán adaptarse para cumplir con las normas.
¿Qué riesgos ven las empresas tecnológicas en estas leyes?
Denuncian vaguedad en algunos términos, riesgo de demandas, posibles choques con la libertad de expresión y freno a la innovación en IA.
