Update seed data to include a new suggested question regarding model selection and refine context rubric for improved clarity and relevance in evaluation processes.
All checks were successful
Deploy with Docker Compose / deploy (push) Successful in 1m49s

This commit is contained in:
Julien Froidefond
2026-02-20 11:32:24 +01:00
parent 7ea5603b41
commit 563c0b71dc

View File

@@ -17,6 +17,7 @@ const SUGGESTED_QUESTIONS: Record<string, string[]> = {
context: [
"Quels fichiers ou parties du codebase incluez-vous typiquement dans le contexte (selon l'outil : @, #, fichiers ouverts...) ?",
"Comment choisissez-vous ce qui mérite d'être inclus vs laissé hors du contexte ?",
"Comment choisissez-vous le modèle (selon la tâche, la taille du contexte, le coût) ?",
"Utilisez-vous des règles pré-chargées (rules, .cursorrules, config projet) pour fournir du contexte ?",
"Avez-vous des stratégies pour limiter la taille du contexte tout en restant pertinent ?",
],
@@ -96,7 +97,7 @@ const RUBRICS: Record<string, string> = {
prompts:
"1:Vague — prompts improvisés, peu de structure, résultats aléatoires;2:Simple — prompts basiques avec instructions claires mais sans systématisation;3:Structuré — format cohérent (rôle, contexte, tâche, format attendu), testés manuellement;4:Templates — sait trouver des prompts réutilisables (ex. how to Peaksys) et s'en sert;5:Prompt engineering maîtrisé — techniques avancées (chain-of-thought, few-shot), optimisation continue, validation des outputs",
context:
"1:Peu — contexte minimal (peu ou pas de fichiers inclus), l'IA manque de code/archi pour bien répondre;2:Partiel — quelques fichiers inclus ou ouverts, parfois pertinent, parfois manquant;3:Suffisant — fichiers pertinents inclus systématiquement, règles de base utilisées;4:Structuré — règles pré-chargées, stratégie de sélection (inclusion explicite vs fichiers ouverts vs config);5:Context engineering maîtrisé — règles ciblées, inclusion pertinente, gestion de la taille du contexte, optimisation continue",
"1:Peu — contexte minimal (peu ou pas de fichiers inclus), l'IA manque de code/archi pour bien répondre;2:Partiel — quelques fichiers inclus ou ouverts, parfois pertinent, parfois manquant;3:Suffisant — fichiers pertinents inclus systématiquement, choix du modèle adapté à la tâche;4:Structuré — règles pré-chargées, stratégie de sélection, choix du modèle selon taille du contexte/coût;5:Context engineering maîtrisé — règles ciblées, inclusion pertinente, gestion de la taille du contexte, choix du modèle optimisé",
iteration:
"1:One-shot — une seule tentative, pas de retry si le résultat est insuffisant;2:Quelques itérations — 2-3 essais manuels si la première réponse échoue;3:Itératif — approche systématique: retry, reformulation, décomposition en sous-tâches;4:Décomposition — tâches complexes découpées en étapes, prompts en chaîne;5:IA sparring partner — dialogue continu avec l'IA pour explorer, affiner, challenger les réponses",
evaluation:
@@ -138,7 +139,7 @@ const TEMPLATES_DATA = [
{ id: "prompts", title: "Clarté des prompts", rubric: RUBRICS.prompts },
{
id: "context",
title: "Context engineering (IDE/CLI)",
title: "Gestion du contexte",
rubric: RUBRICS.context,
},
{