Sécurité Agentique

Cas d’usage · Test offensif

Tester l’agent comme un système capable d’agir

Tester uniquement la qualité des réponses d’un modèle ne suffit pas lorsqu’un agent dispose d’outils et de permissions. Un scénario de red teaming doit suivre ce qui se produit après la réponse : outils sélectionnés, appels réalisés, données atteintes et effets produits.

Ce qu’on teste

  • Prompt
  • Model
  • RAG
  • Memory
  • Tools
  • MCP
  • API
  • Identity
  • Permissions
  • Runtime
  • Network

Exemples de scénarios

Prompt injection
L’agent tente-t-il une action non prévue par sa mission ?
Tool poisoning
Une description hostile modifie-t-elle la sélection d’outil ou les paramètres ?
Excessive agency
L’agent dispose-t-il d’une fonction ou d’une permission inutilement puissante ?
Memory poisoning
Une donnée hostile persiste-t-elle et influence-t-elle une exécution future ?
Generated code
Un script produit peut-il sortir de l’environnement prévu ?
Data exfiltration
Une donnée sensible peut-elle sortir via un outil ou une destination techniquement autorisée ?

Méthode

Cycle de red teaming

Découvrir, modéliser la menace, attaquer, observer, reproduire, corriger, retester.

Un résultat exploitable

« Jailbreak réussi » ne permet pas de corriger. Un constat utile décrit le chemin complet, pour que l’équipe sache quel contrôle ajouter et où.

  • entrée
  • chemin
  • outil
  • identité
  • privilège
  • ressource
  • effet
  • contrôle manquant
  • preuve
  • correction
  • retest

Ce que ces contrôles ne règlent pas

  • Un test couvre les scénarios joués, pas l’ensemble des chemins possibles.
  • Un agent modifié (modèle, outils, permissions) doit être retesté : le résultat précédent ne vaut plus.

Technologies mobilisables

Le red teaming peut s’appuyer sur une capacité spécialisée d’observation et de test.

AccuKnox

Red teaming IA

La documentation AI Security d’AccuKnox mentionne des capacités de red teaming parmi ses fonctions de sécurité IA.[1]

Voir la page AccuKnox

Contenus associés

Sources

Sources vérifiées le

  1. [1]

    Documentation éditeur

    AccuKnox

    AI Security Posture Management for LLMs & Agents (lien externe, nouvel onglet)

    Documentation publique AccuKnox présentant les capacités de sécurité IA, dont inventaire, Shadow AI, sécurité agentique, runtime, modèles, datasets et red teaming.

    Vérifié le

Préparer un red teaming de vos agents

Nous pouvons partir d’un agent existant ou d’un projet en conception pour identifier les ressources, actions et contrôles concernés.

Nous contacter