Les protections en IA sont des mesures de sécurité et de contrôle implémentées dans les
modèles d'IA pour garantir que leur comportement soit éthique, sûr et bénéfique. Elles agissent comme des limites qui empêchent le système de générer du contenu nuisible ou d'effectuer des actions inappropriées.
Ces mesures de protection peuvent inclure des filtres de contenu, des restrictions sur les sujets sensibles, des limites sur le type d'actions que le système peut effectuer, et des règles éthiques intégrées dans son
entraînement. Par exemple, une protection typique empêche une IA de générer du contenu violent ou d'aider à des activités illégales.
Les protections sont implémentées aussi bien pendant l'
entraînement du modèle que pendant sa phase d'utilisation, et sont constamment mises à jour pour s'adapter aux nouveaux défis et menaces. Leur objectif est de trouver un équilibre entre maintenir l'utilité du système et garantir son utilisation responsable, bien que certaines personnes tentent de les contourner par des techniques comme le
jailbreaking.