Aujourd'hui, nous disposons d'une large panoplie de Systèmes de Détection d'Intrusion (IDS). Leurs capacités de détection, leur complexité de mise en œuvre et leur degré d'intégration sont très divers. Pourtant, ils sont connus par un nombre important de fausses alertes et de faux négatifs. Le relatif « échec » des IDS est partiellement à cause du manque d'une méthodologie d'évaluation pertinente. Cet article discute les problèmes d'évaluation des IDS où nous proposons une méthodologie d'évaluation dite systématique pour éviter ces problèmes. Nous avons construit également le cadre général d'une évaluation diagnostique. Elle combine les techniques de sécurité (modélisation des attaques et de la politique de sécurité) et de sûreté de fonctionnement (test, arbres de défaillances). Ensuite, on s'intéresse plus en détail à l'évaluation diagnostique ; le but étant d'aider les développeurs à évaluer leur IDS, à interpréter son comportement, à découvrir les causes de ses défaillances et à les localiser au niveau des composants.
