EN Newsletter

L'IA au travail

Utiliser un assistant de code IA sans livrer de failles

Ce qui dérange, dans la recherche sur les assistants de code, ce n'est pas que le code était moins bon. C'est que les développeurs étaient plus convaincus qu'il était meilleur. Cette combinaison, moins de sécurité et plus de confiance, est exactement ce qui livre des failles sans bruit. Voici ce que l'étude a mesuré, ce que les éditeurs documentent eux-mêmes, et la routine de relecture qui remet l'écart sous contrôle.

Ce que l'étude a réellement mesuré

Dans la première étude utilisateur de grande ampleur sur le sujet, Perry, Srivastava, Kumar et Boneh ont fait résoudre à des participants des tâches liées à la sécurité, dans plusieurs langages, avec et sans assistant IA fondé sur le modèle codex-davinci-002 d'OpenAI. Elle a été publiée à la conférence ACM SIGSAC sur la sécurité informatique et les communications en 2023.

Trois résultats, dans les termes des auteurs :

  • Les participants ayant accès à l'assistant ont écrit du code significativement moins sûr que les autres.
  • Ils étaient plus enclins à croire qu'ils avaient écrit du code sûr.
  • Les participants qui faisaient moins confiance à l'IA et travaillaient davantage la formulation de leurs consignes, en les reformulant ou en ajustant la température, ont produit du code comportant moins de failles.

Le troisième point est celui sur lequel on peut agir, et on le manque facilement sous le titre. L'étude ne dit pas « n'utilisez pas d'assistant ». Elle dit que la posture de la personne changeait le résultat. Le scepticisme et l'itération allaient de pair avec du code plus sûr.

Deux réserves honnêtes : l'étude portait sur un modèle de cette époque, et une étude utilisateur mesure les personnes autant que l'outil. Nous n'avons pas mené notre propre mesure, nous n'avançons donc aucun chiffre sur les assistants d'aujourd'hui.

Capture à venir après notre test en main
Une suggestion acceptée et la même suggestion relue : ce que montre le diff. Captures à venir avec nos tests en main.

Ce que l'éditeur met noir sur blanc

La fiche de Copilot sur les suggestions en ligne est inhabituellement explicite, et mérite une lecture complète. Elle documente de vraies protections : un système de filtrage qui détecte et bloque les contenus nuisibles, offensants ou non sûrs avant affichage, et une détection des correspondances avec du code public qui, selon vos réglages, bloque les suggestions concernées ou les annote avec le dépôt d'origine et les informations de licence.

Elle documente aussi les limites, dans ses propres termes :

  • Risques de sécurité : les suggestions sont générées à partir du contexte environnant et peuvent exposer des informations sensibles ou des failles si on n'y prend pas garde ; la prudence est de mise sur les applications sensibles, avec relecture et tests systématiques.
  • Code inexact : l'outil peut produire du code qui paraît valide sans l'être sémantiquement ou syntaxiquement, ou qui ne reflète pas l'intention du développeur.
  • Correspondances avec du code public : la génération est probabiliste et, même si la probabilité est faible, une suggestion peut correspondre à du code présent dans les données d'entraînement.
  • Excès de confiance : accepter une sortie incorrecte ou incomplète, principalement parce que les erreurs sont difficiles à repérer.

Et la phrase à citer dans toute discussion interne sur la responsabilité : l'utilisateur assume tous les risques liés au code généré, y compris les failles de sécurité, les bugs et les atteintes à la propriété intellectuelle. La même documentation demande d'appliquer les bonnes pratiques de codage sécurisé et de revue de code, en citant comme exemples à éviter les mots de passe en dur et les injections SQL.

La routine de relecture, en cinq habitudes

Rien de tout cela n'est nouveau. Ce qui change avec un assistant, c'est le volume de code que vous n'avez pas écrit qui arrive dans votre éditeur. Les habitudes doivent donc être délibérées.

  1. Lire avant d'accepter, pas après. Lire une suggestion coûte quelques secondes ; la retrouver en production, non. Une suggestion trop longue à lire est trop longue à accepter d'un bloc.
  2. Relire son propre diff comme celui d'un autre. Avant de committer, lire tout le diff. C'est l'habitude qui attrape le plus de choses, parce que c'est le moment où le code généré cesse d'être une suggestion et devient le vôtre.
  3. Écrire le test soi-même. Si l'assistant écrit à la fois le code et le test, le test encode le même malentendu. Écrivez le test à partir du besoin, à la main, puis laissez l'assistant le faire passer.
  4. Vérifier toutes les frontières. Tout ce qui touche à une entrée venue de l'extérieur, à l'authentification, aux chemins de fichiers, au SQL, aux commandes shell ou à la sérialisation mérite une seconde lecture, aussi propre que cela paraisse.
  5. Regarder ce qu'il a importé. Vérifiez que chaque paquet ajouté existe, qu'il s'agit bien de celui que vous visiez, et qu'il est vraiment nécessaire. Une dépendance est une décision bien plus lourde qu'une fonction.

Des consignes qui rendent la relecture possible

La plupart des consignes demandent du code. Celles-ci demandent l'information dont vous avez besoin pour le relire, et suivent la structure de notre méthode de prompts en six parties.

Écris cette fonction, puis liste séparément : toutes les hypothèses que tu as faites sur les entrées, tous les cas d'erreur que tu n'as pas traités, et tous les points de sécurité qu'un relecteur devrait vérifier. Ne me rassure pas sur la sécurité du code.

Et celle qui travaille le plus sur du code existant :

Relis ce code comme un relecteur hostile. Pour chaque problème : la ligne, ce qu'un attaquant ou une mauvaise entrée pourrait en faire, et le correctif le plus petit possible. Ne réécris pas tout le fichier. Si tu ne trouves rien, dis-le au lieu d'inventer des problèmes.

Une troisième, avant tout commit de code généré : « explique ce que fait ce code, ligne par ligne, comme si je devais le défendre en revue ». Si l'explication ne correspond pas à ce que vous vouliez, vous venez de trouver le bug sans rien exécuter.

Si vous construisez avec un modèle, et pas seulement avec un assistant

Écrire du code avec un assistant et livrer un produit qui appelle un modèle sont deux modèles de menace différents. Pour le second, l'OWASP GenAI Security Project maintient un Top 10 for LLM Applications, la liste de référence des failles les plus critiques des applications fondées sur des modèles de langage. Si votre application prend du texte non fiable et l'envoie à un modèle capable d'agir, lisez cette liste avant de concevoir, pas après.

Ce qu'il faut en retenir

La recherche ne plaide pas pour interdire ces outils, et pas davantage pour leur faire confiance. Elle plaide pour une posture : moins de confiance, plus d'itération, et une discipline de relecture proportionnelle au volume de code que vous n'avez pas écrit. La documentation de l'éditeur dit la même chose, y compris sur qui porte le risque. C'est vous.

Nous n'avons mesuré aucun assistant nous-mêmes : ce guide ne contient donc aucun classement, aucun prix et aucune promesse de productivité. L'étude, la documentation des éditeurs et les habitudes de relecture sont les parties qui tiennent.

Les outils de ce guide

Questions fréquentes

Un assistant IA rend-il vraiment le code moins sûr ?

Dans l'étude de Perry, Srivastava, Kumar et Boneh, publiée à CCS 2023, les participants qui avaient accès à un assistant IA fondé sur le modèle codex-davinci-002 d'OpenAI ont écrit du code significativement moins sûr que ceux qui n'y avaient pas accès, et étaient plus enclins à croire qu'ils avaient écrit du code sûr.

Les filtres intégrés me protègent-ils ?

En partie seulement. GitHub documente un système de filtrage qui détecte et bloque le code non sûr, et une détection des correspondances avec du code public qui bloque ou annote les suggestions concernées. La même documentation précise que l'utilisateur est responsable de relire et de valider les suggestions, et qu'il assume tous les risques liés au code généré, y compris les failles de sécurité, les bugs et les atteintes à la propriété intellectuelle.

Quel comportement allait de pair avec du code plus sûr dans l'étude ?

Les participants qui faisaient moins confiance à l'IA et travaillaient davantage la formulation de leurs consignes, par exemple en les reformulant, ont produit du code comportant moins de failles.

Sources

  1. Neil Perry, Megha Srivastava, Deepak Kumar, Dan Boneh, Do Users Write More Insecure Code with AI Assistants?, CCS '23, ACM SIGSAC, pages 2785-2799 (arXiv:2211.03622, en anglais)
  2. GitHub Docs, Application card : GitHub Copilot inline suggestions (en anglais)
  3. OWASP GenAI Security Project, Top 10 for LLM Applications (en anglais)