Software Developer (Agentic Evaluation)

Ontario
Permanent
Temps-plein

Il y a 1 jour

Job Requisition ID #26WD96920Position OverviewAs a Software Developer on the Fusion platform services team within Product Development and Manufacturing Solutions (PDMS), you'll be part of a team of technologists dedicated to creating cutting-edge AI and generative AI solutions that enhance developer productivity and experience. You'll work closely with AI engineers, software architects, and product engineering teams to build and rigorously evaluate intelligent agentic systems — including benchmarking AI agents against commercial solvers — and develop MCP (Model Context Protocol)-based tooling that integrates seamlessly with IDEs such as VS Code and Cursor.ResponsibilitiesDevelop and orchestrate multi-agent AI systems for automated test generation, test execution, and end-to-end development workflow optimization using frameworks like LangGraph, AutoGen, or the Anthropic Agent SDK (Claude Code)Design and implement agentic workflows that coordinate multiple AI agents to autonomously drive test automation across UI, API, integration, and system levels, from test case synthesis to result evaluation, ensuring seamless integration with existing developer tools and MCP-compatible servicesBuild evaluation frameworks and custom benchmarks for agentic systems, including comparisons of AI agents against commercial solvers, using tools like AgentBench and LangfuseEvaluate MCP server and tool performance across agentic pipelines, measuring latency, accuracy, context fidelity, and end-to-end task completion ratesMinimum QualificationsBS/MS in Computer Science, Machine Learning, or a related applied AI fieldExpertise in Python and ML frameworks (PyTorch, Transformers, scikit-learn)Experience with Large Language Models applied to software understanding or test generationKnowledge of AI evaluation methodologies and metrics for agentic task completion and test qualityStrong foundation in statistical analysis and experimental designExperience with developer workflow and productivity measurement frameworksPreferred QualificationsBackground in software engineering or QA with close collaboration with development teamsFamiliarity with test automation frameworks (e.g., Playwright, Selenium, Pytest, Appium) and CI/CD pipelinesExperience designing benchmarks that compare AI agents against commercial or domain-specific solversHands-on experience with MCP (Model Context Protocol), building, evaluating, and optimizing MCP servers and tool integrations within agentic pipelinesExperience with agentic AI frameworks including LangGraph, AutoGen, or the Anthropic Agent SDK / Claude CodeKnowledge in vision-language models or multi-modal AI for UI and system-level understanding and evaluationExperience with Azure AI Foundry/ML or AWS cloud ML platformsAperçu du posteEn tant que développeur logiciel au sein de l’équipe des services de la plateforme Fusion, dans le groupe Développement de produits et solutions de fabrication (PDMS), vous ferez partie d’une équipe de technologues dédiée à la création de solutions d’IA et d’IA générative de pointe visant à améliorer la productivité et l’expérience des développeurs. Vous collaborerez étroitement avec des ingénieurs en IA, des architectes logiciels et des équipes d’ingénierie produit afin de concevoir et d’évaluer rigoureusement des systèmes intelligents agentiques — notamment en comparant les agents d’IA à des solveurs commerciaux — et de développer des outils basés sur le MCP (Model Context Protocol) qui s’intègrent harmonieusement à des environnements de développement intégrés (IDE) comme VS Code et Cursor.ResponsabilitésDévelopper et orchestrer des systèmes d’IA multi-agents pour la génération automatisée de tests, l’exécution de tests et l’optimisation des flux de développement de bout en bout, à l’aide de cadres comme LangGraph, AutoGen ou le SDK Agent d’Anthropic (Claude Code)Concevoir et mettre en œuvre des flux de travail agentiques coordonnant plusieurs agents d’IA afin d’automatiser les tests aux niveaux interface utilisateur (UI), API, intégration et système, de la création des cas de test jusqu’à l’évaluation des résultats, tout en assurant une intégration fluide avec les outils de développement existants et les services compatibles MCPConstruire des cadres d’évaluation et des bancs d’essai personnalisés pour les systèmes agentiques, incluant des comparaisons entre agents d’IA et solveurs commerciaux, à l’aide d’outils comme AgentBench et LangfuseÉvaluer la performance des serveurs MCP et des outils au sein de pipelines agentiques, en mesurant la latence, la précision, la fidélité du contexte et les taux de complétion des tâches de bout en boutQualifications minimalesBaccalauréat ou maîtrise en informatique, en apprentissage automatique ou dans un domaine connexe de l’IA appliquéeExpertise en Python et en cadres d’apprentissage automatique (PyTorch, Transformers, scikit-learn)Expérience avec les grands modèles de langage appliqués à la compréhension logicielle ou à la génération de testsConnaissance des méthodologies d’évaluation en IA et des métriques liées à l’exécution de tâches agentiques et à la qualité des testsSolide base en analyse statistique et en conception expérimentaleExpérience avec les flux de travail des développeurs et les cadres de mesure de la productivitéQualifications privilégiéesExpérience en génie logiciel ou en assurance qualité (QA), avec collaboration étroite avec des équipes de développementFamiliarité avec des cadres d’automatisation des tests (p. ex. Playwright, Selenium, Pytest, Appium) et les pipelines CI/CDExpérience dans la conception de bancs d’essai comparant des agents d’IA à des solveurs commerciaux ou spécialisésExpérience pratique avec le MCP (Model Context Protocol), incluant la conception, l’évaluation et l’optimisation de serveurs MCP et d’intégrations d’outils dans des pipelines agentiquesExpérience avec des cadres d’IA agentique tels que LangGraph, AutoGen ou le SDK Agent d’Anthropic / Claude CodeConnaissances des modèles vision-langage ou de l’IA multimodale pour la compréhension et l’évaluation des interfaces utilisateur et des systèmesExpérience avec les plateformes infonuagiques d’apprentissage automatique comme Azure AI Foundry/ML ou AWSLearn MoreAbout AutodeskWelcome to Autodesk! Amazing things are created every day with our software – from the greenest buildings and cleanest cars to the smartest factories and biggest hit movies. We help innovators turn their ideas into reality, transforming not only how things are made, but what can be made.We take great pride in our culture here at Autodesk – it’s at the core of everything we do. Our culture guides the way we work and treat each other, informs how we connect with customers and partners, and defines how we show up in the world.When you’re an Autodesker, you can do meaningful work that helps build a better world designed and made for all. Ready to shape the world and your future? Join us!Salary transparency Salary is one part of Autodesk’s competitive compensation package. For Canada based roles, we expect a starting base salary between $88,000 and $128,700. Offers are based on the candidate’s experience and geographic location, and may exceed this range. In addition to base salaries, our compensation package may include annual cash bonuses, commissions for sales roles, stock grants, and a comprehensive benefits package.Diversity & Belonging
We take pride in cultivating a culture of belonging where everyone can thrive. Learn more here:Are you an existing contractor or consultant with Autodesk?Please search for open jobs and apply internally (not on this external site).

Autodesk

Postuler