QA IA - Freelance (H/F)

Taux journalier (TJM): 550

Notre client est un grand cabinet d'audit et de conseil. Il développe et opère en interne une quinzaine de produits applicatifs en C# .NET / Vue.js sur Microsoft Azure, destinés à ses métiers Audit, Advisory et à ses fonctions support.

Vos missions

*

Concevoir, développer et améliorer des agents IA de conception et de scripting de tests : génération de cas de test, de scénarios et de scripts automatisés

*

Définir et mettre en œuvre la stratégie de qualification des solutions IA (LLM, RAG, agents)

*

Mettre en place des méthodes d'évaluation adaptées à l'IA générative :

*

jeux de tests de référence

*

métriques de qualité (pertinence, fidélité, hallucinations)

*

non-régression des prompts et des modèles

*

Sécuriser le passage du POC au produit : critères d'acceptation, robustesse, sécurité (injection de prompt, fuite de données), performance et maîtrise des coûts

*

Intégrer les tests dans les chaînes CI/CD (Azure DevOps / GitHub)

*

Accompagner les équipes produit sur les bonnes pratiques qualité appliquées à l'IA

*

Expérience confirmée en QA / ingénierie de la qualité, niveau Senior / Expert

*

Indispensable : une solide expérience en automatisation des tests, avec conception et maintenance de frameworks automatisés en production (Playwright, Selenium, Cypress, SpecFlow ou équivalent) et intégration dans les chaînes CI/CD

*

Indispensable : la maîtrise d'au moins un langage d'automatisation (C#, Python ou TypeScript), avec du code de test écrit au quotidien

*

Indispensable : une expérience concrète et démontrable de développement assisté par IA et de mise en production d'applications à base de LLM (Azure OpenAI / AI Foundry ou équivalent)

*

Indispensable : une réalisation IA à présenter en entretien, sous forme d'agent, d'application LLM en production, de dépôt de code ou de démonstration

*

Pratique des briques IA générative : prompt engineering, RAG, frameworks d'agents (Semantic Kernel, LangChain, AutoGen ou équivalent)

*

Seraient un plus :

*

connaissance des outils d'évaluation LLM (Azure AI Foundry evaluation, Promptfoo, DeepEval, Ragas.)

*

environnement Azure : Azure OpenAI, AI Search, Azure DevOps