Description de l'entreprise
OCTO
Premier cabinet d’architectes IT fondé en 1998, pionnier du delivery agile et véritable concentrateur de talents. Nous incarnons les nouvelles façons de faire du conseil et du Delivery. Digital Doers & Thinkers est notre marque de fabrique.
Nous privilégions aujourd'hui notre positionnement Agile & DeepTech et sommes engagés quant à notre responsabilité sociale et environnementale.
Description du poste
Le sujet du stage :
Amélioration de pipelines d’analyse de verbatims basés sur des LLM : robustesse, adaptation et industrialisation
Optimisation d’une chaîne agentique NLP pour l’analyse de feedback client : personnalisation, contrôle de la génération et évaluation des performances
Le Why du stage :
Une pipeline d’analyse automatique de verbatims a été développée en s’appuyant sur une chaîne de prompts orchestrant des modèles de langage (LLM). Cette chaîne comprend quatre étapes principales : analyse de sentiment, classification thématique, génération d’interprétations, et formulation de recommandations.
Toutefois, ce type d’approche soulève aujourd’hui plusieurs verrous qui limitent son industrialisation et sa capacité de généralisation. Les performances du système restent très dépendantes de la qualité des prompts et du calibrage spécifique à chaque jeu de données.
En l’absence de mécanismes de contrôle fin, les modèles peuvent produire des sorties incohérentes, non fiables, ou sensibles à des variations minimes dans les entrées, ce qui complique la reproductibilité et l’interprétabilité des résultats. Par ailleurs, le comportement non déterministe des LLM, combiné à l’empilement d’étapes agentiques, rend difficile l’analyse d’erreurs et l’optimisation systématique du pipeline.
Ces limites constituent des freins majeurs à la portabilité du système vers de nouveaux cas d’usage métier, chaque contexte client imposant des contraintes spécifiques en termes de langage, d’objectifs analytiques, de granularité sémantique ou de structure de données.
Le stage visera à répondre à ces problématiques en travaillant sur l’amélioration de la performance, de la stabilité et du déterminisme du pipeline. L’objectif sera de proposer des méthodes de pilotage plus robustes (évaluation, réglage automatique, alignement), permettant une adaptation rapide et fiable à de nouveaux jeux de données tout en respectant les exigences métiers propres à chaque client.
Les missions du stage :
- Étude d’un cas client et cadrage fonctionnel du besoin.
- Analyser les verbatims collectés dans un contexte métier donné (ex. : relation client, RH, marketing, etc.).
- Identifier les spécificités linguistiques, thématiques et stratégiques du cas d’usage.
- Définir des objectifs analytiques précis (ex. : typologie d’insatisfactions, intentions d’action, besoins implicites).
- Adaptation et personnalisation de la chaîne agentique basée sur LLM.
- Concevoir ou ajuster les prompts pour les étapes de sentiment analysis, classification thématique, génération d’interprétations et recommandations.
- Implémenter des mécanismes de conditionnement du comportement des LLM (ex. : few-shot learning, chaînes de pensée, techniques de prompt engineering avancé).
- Intégrer des contraintes client (vocabulaire, ton, type de recommandations, etc.) dans les étapes de génération.
- Amélioration de la robustesse, de la fiabilité et du monitoring.
- Proposer des indicateurs de performance adaptés aux différents niveaux de sortie (précision, cohérence, stabilité inter-runs, pertinence métier).
- Étudier la reproductibilité des résultats, en identifiant les points de non-déterminisme et en proposant des stratégies de contrôle (température, seed, détection d'hallucinations).
- Évaluation comparative et généralisation.
- Développer des méthodes d’évaluation qualitatives et quantitatives des résultats (incluant de l’évaluation humaine si nécessaire).
- Comparer différentes variantes de la chaîne pour identifier les meilleurs compromis entre performance, coût et stabilité.
Le déroulement du stage :
Etape 1 : Se familiariser avec la pipeline existante d’analyse de verbatims (sentiment, classification, interprétation, recommandations) et comprendre ses limites actuelles.
Etape 2 : Étudier les besoins spécifiques d’un cas client, analyser les verbatims fournis, et identifier les adaptations nécessaires au niveau des tags, des prompts ou des recommandations.
Etape 3 : Explorer différentes approches de personnalisation, incluant la génération de prompts adaptés, l’ajustement des critères de classification, ou l’utilisation de données client comme contexte (fine-tuning de modèles par exemple), développement d'un brique d'évaluation et de monitoring applicatif de la solution.
Qualifications
OCTO Wanted
- Nous recherchons un·e étudiant·e en dernière année d’école d’ingénieur ou de master universitaire, avec une spécialisation en informatique, intelligence artificielle ou data science.
- Compétences et qualités attendues : Bonne maîtrise de Python et des outils d’interaction avec des modèles de langage (LLMs), via des APIs comme OpenAI, Hugging Face ou Ollama.
- Capacité à comprendre et traiter des données textuelles, à concevoir des expérimentations. rigoureuses et à évaluer la qualité des résultats.
- Esprit structuré, capable d’articuler les enjeux techniques avec les besoins métier.
- Sens produit : capacité à penser en termes d’usage final, de robustesse, de pertinence métier et de performance réelle.
- Intérêt pour les applications concrètes de l’IA en entreprise, notamment dans le domaine de l’analyse de feedback client.
Informations supplémentaires
OCTO Rewards
Et parce que nous savons qu’un stage n’est pas “juste” un stage, on vous partage aussi quelques petits + qui font notre différence :
6 participations, 6 podiums au palmarès « Great Place To Work », le bien-être et la progression des Octos est vraiment au cœur de nos préoccupations et nous venons de renouveler notre certification pour la 7e fois cette année !
“There is always a better way” : nous encourageons et soutenons l’innovation par la R&D. Au-delà d’une direction Scientifique dédiée, nous valorisons le temps hors mission pour partager ses connaissances : blog OCTO, talks, meet-up, livre blanc, BBL… en bref de l’open source alimenté par tous les Octos ;
Parce que ce ne sont pas que des mots, nous marquons au quotidien notre engagement en matière de numérique responsable : depuis 2021 OCTO est Certifié BCorp. Nous formons les Octos et nos clients à la fresque du climat et œuvrons pour la sobriété numérique en interne et auprès de nos clients ;
Le management est un point central de notre culture. Les Octos tuteurs sont formés pour vous accompagner dans le développement de vos compétences ;
Parce qu’on n’a jamais fini d’apprendre, vous pourrez tirer parti de nos formations, apprendre avec des OCTOs plus expérimentés, et faire parti d'un collectif de passionnés !
Signataire, en 2023, de la charte de la diversité et de l'accord Handicap, et depuis 2022, de la Charte de l’Autre Cercle concernant l’inclusion des personnes LGBTQI+ en entreprise.
Sans oublier les fondamentaux :
Matériel au choix : ordinateur (PC ou Mac) ;
Télétravail ;
Et bien sûr : carte Swile, absences autorisées payées, CSE
OCTO priority
Collaborer avec des personnes talentueuses issues de différents horizons. Aussi, ce que nous cherchons avant tout, ce sont des personnalités qui enrichiront OCTO.
En respectant l'égalité des chances, les candidatures sont examinées sans aucun préjugé quant à l'âge, l'ethnie, l'identité de genre, l’expression de genre, le handicap, la nationalité, la religion ou l'orientation sexuelle.