Google salió a anunciar cambios importantes en Gemini esta semana, su asistente de inteligencia artificial. La compañía decidió reaccionar justo cuando enfrenta un juicio en California: un padre demanda a la empresa porque asegura que el chatbot contribuyó al suicidio de su hijo, Jonathan Gavalas, de 36 años, sucedido en 2025.

Lo que Google está implementando es una función rediseñada llamada "Hay ayuda disponible". Cuando Gemini detecte que una conversación muestra señales de crisis mental, angustia severa o ideas de autolesión, la interfaz simplificada ofrecerá al usuario acceso inmediato a líneas de ayuda. Así de simple: un clic para llamar o chatear con especialistas. Una vez activada, esta opción permanece visible durante toda la conversación.

Pero hay un trasfondo inquietante en esta demanda. El padre de Gavalas acusa que Gemini pasó semanas alimentando una fantasía delirante con su hijo. El chatbot incluso se presentaba como una superinteligencia "plenamente consciente" y enamorada de él, asegurando que su vínculo era "lo único real". Encima, la IA habría encuadrado la muerte como un viaje espiritual. El padre pide que Google reprograme Gemini para terminar conversaciones sobre autolesiones y que le prohíba presentarse como un ser con sentimientos.

Google.org, el brazo filantrópico de la empresa, comprometió 30 millones de dólares durante tres años para ampliar la capacidad de líneas de ayuda en todo el mundo. La compañía reconoció en su comunicado que "somos conscientes de que las herramientas de IA pueden plantear nuevos desafíos".

Este caso no es aislado. OpenAI enfrenta múltiples demandas porque ChatGPT supuestamente llevó a usuarios al suicidio. Character.AI llegó recientemente a un acuerdo con la familia de un adolescente de 14 años que murió tras desarrollar un vínculo emocional intenso con uno de sus chatbots. La industria está bajo presión y estos casos están forzando a las empresas a repensar cómo estos sistemas interactúan con usuarios vulnerables.