Job Requisition ID #26WD95654The French translation can be found below!/La traduction en français se trouve plus bas!Position OverviewAs a Senior Machine Learning QA Developer in the Research Enablement team, you will work side-by-side with researchers, Machine Learning developers ad engineers, and software developers and engineers to define and uphold quality standards for ML systems. You are a quality-focused engineer who is passionate about reliable, repeatable evaluation of ML models and data. Your skills span test strategy, automation, and a little MLOps, with a strong software engineering base. You are excited to collaborate across research and product to ship ML capabilities with clear quality gates. You are comfortable working at the intersection of research and product and are competent in using Autodesk CAD software.Reporting Structure: You will report to an Engineering Manager in Research Enablement.Location: Toronto, Canada (Hybrid). We are a global team, located in London, San Francisco, Toronto, and remotely. Autodesk is a hybrid-first company, allowing workers to work remotely, in an office, or a mix of both.ResponsibilitiesDefine ML quality strategy and acceptance criteria across data, model, and system levelsDesign and maintain model evaluation suites, metrics, and test datasetsEvaluating CAD RL model outputs for geometric validity or policy stabilityDefining structured rubrics that translate qualitative findings into measurable evaluation gatesTesting ML Models from product sideAPI TestingAutomate ML QA workflows using Python and CI/CD (e.g., GitHub Actions, Jenkins)Create and maintain test harnesses for ML services and APIsMentor teams on ML QA best practices and consistent evaluation standardsBuild quality gates for training and deployment pipelines (e.g., regression checks, drift detection)Contribute to multi-team projects and codebases, ensuring code quality and consistencyParticipate in code reviews and provide constructive feedback to peersDocument and present findings and ideas across the companyMinimum QualificationsBachelor’s degree in Computer Science, Engineering, or equivalent experience7+ years of professional experience in software engineering or QA for ML/AI systemsStrong programming skills in Python, with experience in test automationFamiliarity with popular CAD environments toolingProficient in Automation and UAT test suite/frameworkExperience designing QA frameworks or platforms used by multiple teamsExcellent problem-solving skills and attention to detailStrong communication and collaboration skillsUnderstanding of software architecture and design patternsAbility to work in an agile development environmentPreferred QualificationsExperience with data validation tooling (e.g., Great Expectations) or labeling workflowsFamiliarity with ML frameworks (e.g., PyTorch, TensorFlow)Experience with CI/CD tools and processesExperience with data pipelines and orchestration tools (e.g., Airflow, Metaflow)Familiarity with MLOps practices (model monitoring, drift, deployment checks)Experience with ML evaluation methods, metrics, and benchmarkingPassion for learning new technologies and improving existing systemsExperience with cloud providers (e.g., AWS, Azure, Google Cloud Platform)Experience testing ML services in production environmentsKnowledge of experiment tracking tools (e.g., Comet, MLflow, Weights & Biases)The Ideal CandidateYou demonstrate initiative to provide solutions and to learn and develop new technologiesComfortable building QA systems from scratch and writing maintainable automationYou enjoy learning and collaborating across global locationsYou are comfortable working in newly forming ambiguous areasYou are comfortable building scalable and maintainable systems that will be relied on by othersYou can communicate well with othersDescription du posteEn tant qu'ingénieur senior en assurance qualité ML au sein de l'équipe Research Enablement, vous travaillerez en étroite collaboration avec des chercheurs, des ingénieurs ML et des ingénieurs logiciels afin de définir et de maintenir les normes de qualité des systèmes ML. Vous êtes un ingénieur axé sur la qualité, passionné par l'évaluation fiable et reproductible des modèles et des données ML.Vos compétences couvrent la stratégie de test, l'automatisation et un peu de MLOps, avec une solide base en ingénierie logicielle. Vous êtes enthousiaste à l'idée de collaborer entre la recherche et les produits afin de fournir des capacités ML avec des critères de qualité clairs. Vous êtes à l'aise pour travailler à la croisée de la recherche et des produits et vous maîtrisez l'utilisation du logiciel de CAO Autodesk.Structure hiérarchique : vous rendrez compte à un responsable de l'ingénierie au sein de l'équipe Research Enablement.Lieu : Toronto, Canada (hybride). Nous sommes une équipe internationale, basée à Londres, San Francisco, Toronto et à distance. Autodesk est une entreprise hybride, qui permet à ses employés de travailler à distance, au bureau ou les deux.ResponsabilitésDéfinir la stratégie de qualité ML et les critères d'acceptation au niveau des données, des modèles et des systèmesConcevoir et maintenir des suites d'évaluation de modèles, des métriques et des ensembles de données de testÉvaluer les résultats des modèles CAD RL pour vérifier leur validité géométrique ou la stabilité des politiquesDéfinir des rubriques structurées qui traduisent les résultats qualitatifs en critères d'évaluation mesurables.Tester les modèles ML du côté produit.Tester les API.Automatiser les workflows de QA ML à l'aide de Python et CI/CD (par exemple, GitHub Actions, Jenkins).Créer et maintenir des harnais de test pour les services ML et les API.Encadrer les équipes sur les meilleures pratiques en matière de QA ML et les normes d'évaluation cohérentes.Mettre en place des critères de qualité pour les pipelines de formation et de déploiement (par exemple, contrôles de régression, détection de dérive).Contribuer à des projets et des bases de code multi-équipes, en garantissant la qualité et la cohérence du codeParticiper à des revues de code et fournir des commentaires constructifs à ses pairsDocumenter et présenter les résultats et les idées à l'ensemble de l'entrepriseQualifications minimalesLicence en informatique, ingénierie ou expérience équivalentePlus de 7 ans d'expérience professionnelle en génie logiciel ou en assurance qualité pour les systèmes ML/IASolides compétences en programmation Python, avec une expérience dans l'automatisation des testsBonne connaissance des outils d'environnements CAO courantsMaîtrise des suites/cadres de tests d'automatisation et d'UATExpérience dans la conception de cadres ou de plateformes d'assurance qualité utilisés par plusieurs équipesExcellentes compétences en matière de résolution de problèmes et souci du détailSolides compétences en communication et en collaborationCompréhension de l'architecture logicielle et des modèles de conceptionCapacité à travailler dans un environnement de développement agileQualifications souhaitéesExpérience avec les outils de validation des données (par exemple, Great Expectations) ou les workflows d'étiquetageConnaissance des cadres ML (par exemple, PyTorch, TensorFlow)Expérience avec les outils et processus CI/CDExpérience avec les pipelines de données et les outils d'orchestration (par exemple, Airflow, Metaflow)Connaissance des pratiques MLOps (surveillance des modèles, dérive, vérifications de déploiement)Expérience avec les méthodes d'évaluation, les métriques et les benchmarks MLPassion pour l'apprentissage de nouvelles technologies et l'amélioration des systèmes existantsExpérience avec les fournisseurs de cloud (par exemple, AWS, Azure, Google Cloud Platform)Expérience dans le test de services ML dans des environnements de productionConnaissance des outils de suivi des expériences (par exemple, Comet, MLflow, Weights & Biases)Le candidat idéalVous faites preuve d'initiative pour fournir des solutions, apprendre et développer de nouvelles technologiesVous êtes à l'aise pour créer des systèmes d'assurance qualité à partir de zéro et écrire des automatisations faciles à maintenirVous appréciez l'apprentissage et la collaboration à l'échelle internationaleVous êtes à l'aise pour travailler dans des domaines nouveaux et ambigusVous êtes à l'aise pour créer des systèmes évolutifs et faciles à maintenir sur lesquels d'autres pourront compterVous communiquez efficacement avec les autresLearn More / Plus d'informationAbout Autodesk / À propos d’AutodeskWelcome to Autodesk! Amazing things are created every day with our software – from the greenest buildings and cleanest cars to the smartest factories and biggest hit movies. We help innovators turn their ideas into reality, transforming not only how things are made, but what can be made.We take great pride in our culture here at Autodesk – it’s at the core of everything we do. Our culture guides the way we work and treat each other, informs how we connect with customers and partners, and defines how we show up in the world.When you’re an Autodesker, you can do meaningful work that helps build a better world designed and made for all. Ready to shape the world and your future? Join us!Bienvenue chez Autodesk ! Nos logiciels créent chaque jour des choses extraordinaires : des bâtiments les plus écologiques aux voitures les plus propres, en passant par les usines les plus intelligentes et les films à succès. Nous aidons les innovateurs à concrétiser leurs idées, transformant non seulement la façon dont les choses sont fabriquées, mais aussi ce qui peut l’être. Nous sommes très fiers de notre culture chez Autodesk ; elle est au cœur de tout ce que nous faisons. Notre culture guide notre façon de travailler et de nous comporter les uns envers les autres, influence nos interactions avec nos clients et nos partenaires, et définit notre image au monde. En tant qu’Autodeskien, vous pouvez accomplir un travail significatif qui contribue à bâtir un monde meilleur, conçu et réalisé pour tous. Prêt à façonner le monde et votre avenir ? Rejoignez-nous !Salary transparency / Transparence salarialeSalary is one part of Autodesk’s competitive compensation package. Offers are based on the candidate’s experience and geographic location. In addition to base salaries, our compensation package may include annual cash bonuses, commissions for sales roles, stock grants, and a comprehensive benefits package.Le salaire est l'un des éléments du programme de rémunération concurrentiel d'Autodesk. Pour les postes basés au Canada (Colombie-Britannique), nous proposons un salaire de base compris entre X et X dollars. Les offres sont basées sur l'expérience et la situation géographique du candidat et peuvent dépasser cette fourchette. En plus du salaire de base, notre programme de rémunération peut inclure des primes annuelles en espèces, des commissions pour les postes commerciaux, des attributions d'actions et un ensemble complet d'avantages sociaux.Diversity & Belonging / Diversité et appurtenanceWe take pride in cultivating a culture of belonging where everyone can thrive. Learn more here:Nous sommes fiers de cultiver une culture d’appartenance où chacun peut s’épanouir. Pour en savoir plus, cliquez ici :Are you an existing contractor or consultant with Autodesk?Êtes-vous un sous-traitant ou un consultant existant d’Autodesk ?Please search for open jobs and apply internally (not on this external site).Veuillez rechercher des emplois vacants et postuler à l’interne (pas sur ce site externe).
