Les développeurs utilisant Copilot sont statistiquement meilleurs dans la dernière étude de GitHub

Dans une étude récente de GitHub, GitHub Copilot a été testé pour déterminer si l'assistant de codage IA aide les développeurs à écrire du code qui est objectivement meilleur ou pire que le code écrit sans l'IA. Pour ce faire, GitHub a travaillé avec 202 développeurs Python, 104 codant avec Copilot et 98 sans. Les développeurs ont été chargés de créer un serveur web de critiques de restaurants et d'en évaluer la fonctionnalité à l'aide de 10 tests unitaires.

Pour chacune des soumissions terminées, au moins dix développeurs ont parcouru le code ligne par ligne, sans savoir s'il avait été écrit avec ou sans l'aide de l'IA. Les 1 293 examens qui en ont résulté ont évalué la lisibilité, la fiabilité, la maintenabilité et la concision des échantillons de code. En outre, les examinateurs ont évalué si le code devait finalement être approuvé.

Les résultats de l'étude sont de bon augure pour l'utilisation de l'IA dans le codage, GitHub mettant en avant quatre résultats clés.

1. Copilot a aidé les développeurs à réussir les dix tests unitaires 56 % plus souvent que les développeurs sans IA, ce qui a permis d'accroître les fonctionnalités.
2. Le code assisté par Copilot est plus lisible et permet aux développeurs d'écrire en moyenne 13,6 % de lignes supplémentaires sans rencontrer de problèmes de lisibilité.
3. La lisibilité, la fiabilité, la maintenabilité et la concision se sont améliorées en moyenne de 3,29 %, la concision bénéficiant de l'amélioration la plus importante (4,16 %).
4. Le code assisté par un copilote a été approuvé 5 % plus souvent que le code sans IA. Cela signifie qu'il faut moins de temps pour que le code soit prêt pour la production.

Pour plus d'informations sur la méthodologie et les résultats de l'étude, consultez le billet de blog officiel de GitHub dont le lien figure ci-dessous.