Autor del artículo: Chema Alonso

Fuente: Forum Europeo de IA

Tipo : Video

Fecha de publicación : 09/10/2023 

 

– OWASP surge como guía para detectar los principales fallos de los sistemas de IA.

– La toma de decisiones debe realizarse por un ser humano y no por una máquina, ya que utilizar un algoritmo de chatgpt tiene sus riesgos.

– Lo más importante, antes de empezar a trabajar con estos sistemas de IA, es tener un profundo conocimiento de cómo funcionan.

 

La IA conlleva una serie de riesgos, fallos y problemas intrínsecos a su razón de ser, por ello es fundamental, antes de empezar a trabajar con ella, abordar su funcionamiento y conocer en profundidad una herramienta tecnológica tan potente.

Interés: 9'15"- 34'24" Chema Alonso plantea cuál es el nivel de seguridad en España en cuanto a la IA. Pone de manifiesto que estos sistemas (Chat GPT, etc) tienen muchos problemas y fallos en cuanto a seguridad que hay que subsanar. Para hablar de los riesgos que conllevan estos sistemas nos presenta una guía: "OWASP Top 10 for LLM Applications version 1.0.1." OWASP es un proyecto colaborativo creado por un grupo de hackers donde se identifican riesgos y maneras de mitigarlos. Algunos de los 10 fallos son: 1) Hay determinadas informaciones que no se pueden decir; 2) Manejo inseguro de los datos de respuesta que da el sistema; 3) Modelo LLM entrenado (sesgo de género -Google Translator-,de profesiones...); 4) Modelo de negación de servicio (no todo se hace con LLM, cada tecnología tiene su utilidad y hay que utilizarla correctamente); 5) Creo un sistema para mi empresa basado en modelos pre-entrenados de otros; 6) Descubrimiento de información sensible; 7) Los modelos LLM también tienen plugin y si utilizas los plugin de otros puedes tener problemas; 8) Si le permites al algoritmo ejecutar acciones corres un riesgo muy alto; 9) Si tienes mucha confianza en lo verídico de esos modelos hay que tener en cuenta que los LLM sufren alucinaciones; 10) Robo de modelos y tokens.

Acceder al Video