Teste de Software

A AI Testing (CT-AI) é a certificação para quem quer atuar com qualidade em sistemas que “aprendem” e mudam com dados. Você aprende a lidar com riscos específicos de IA/ML (robustez, vieses, deriva, comportamento probabilístico) e a definir estratégias e métricas que geram confiança. O impacto na carreira é abrir portas em projetos de alta visibilidade e demanda crescente, onde poucos profissionais sabem testar IA com método. 

Benefícios diretos: capacidade de avaliar confiabilidade e desempenho de modelos, reduzir riscos éticos e de negócio, apoiar conformidade e se diferenciar como especialista em qualidade para produtos orientados a dados.

Valores da Certificação

É esperado que as pessoas certificadas estejam aptas a: 

  • Entender o estado atual e as tendências esperadas da AI;
  • Implementar testes em um modelo ML e reconhecer onde os testadores podem influenciar melhor sua qualidade;
  • Compreender os desafios associados aos testes de sistemas baseados em AI, tais como suas capacidades de auto-aprendizagem, parcialidade, ética, complexidade, não-determinismo, transparência e explicabilidade;
  • Contribuir para a estratégia de teste de um sistema baseado em AI;
  • Modelar e executar casos de teste para sistemas baseados em AI;
  • Reconhecer os requisitos especiais para a infraestrutura de teste para apoiar o teste de sistemas baseados em AI;
  • E entender como a AI pode ser usada para suportar testes de software.

Material de Estudo

CT-AI Syllabus v1.0 (2021)

Glossário de Termos de Teste

Ficha do Exame

Pré-requisitos: certificação CTFL

Idioma: Português-BR

Número de questões: 40

Tipo de questões: múltipla escolha

Tempo de Exame*: 60 min (estrangeiros: +25%)

Pontuação: 47 pontos (1 a 2 pontos por questão)

Aprovação: mínimo de 31 pontos (65%)

Distribuição das questões e pontuações:

(*) Ao final da prova, o candidato terá 10 minutos para transferir suas respostas para o gabarito.

Exemplo de Exame

Exemplo de Exame A v1.0

Objetivos de Aprendizagem (LO)

Cada capítulo necessita de um tempo mínimo de dedicação ao estudo ou treinamento. Este tempo está expresso em minutos e apresentado entre parênteses após cada capítulo abaixo.

  • Introdução à AI
    • Definição de AI e Efeito AI: AI-1.1.1 K2: Descrever o efeito da AI e como ela influencia a definição de AI.
    • AI-estreita, geral e AI-super: AI-1.2.1 K2: Distinguir entre AI-estreita, AI-geral, e AI-super.
    • Sistemas convencionais e sistemas baseados em AI: AI-1.3.1 K2: Distinguir entre sistemas baseados em AI e sistemas convencionais.
    • Tecnologias de AI: AI-1.4.1 K1: Reconhecer as diferentes tecnologias usadas para implementar a AI.
    • Estruturas de desenvolvimento AI: AI-1.5.1 K1: Identificar estruturas populares de desenvolvimento de AI.
    • Hardware para sistemas baseados em AI: AI-1.6.1 K2: Comparar as opções disponíveis de hardware para implementar sistemas baseados em AI.
    • AI como serviço (AIaaS): AI-1.7.1 K2: Explicar o conceito de AI como serviço (AIaaS).
    • Modelos pré-treinados: AI-1.8.1 K2: Explicar o uso de modelos de AI pré-treinados e os riscos associados a eles.
    • Normas, regulamentos e AI: AI-1.9.1 K2: Descrever como as normas se aplicam aos sistemas baseados em AI. 
  • Características de qualidade para sistemas baseados em AI
    • Flexibilidade e adaptabilidade: AI-2.1.1 K2: Explicar a importância da flexibilidade e adaptabilidade como características dos sistemas baseados em AI.
    • Autonomia: AI-2.2.1 K2: Explicar a relação entre autonomia e sistemas baseados em AI.
    • Evolução: AI-2.3.1 K2: Explicar a importância de gerenciar a evolução para sistemas baseados em AI.
    • Viés: AI-2.4.1 K2: Descrever as diferentes causas e tipos de viés encontrados nos sistemas baseados em AI.
    • Ética: AI-2.5.1 K2: Discutir os princípios éticos que devem ser respeitados no desenvolvimento, implantação e uso de sistemas baseados em AI.
    • Efeitos colaterais e hacking de recompensas: AI-2.6.1 K2: Explicar a ocorrência de efeitos colaterais e recompensas de hacking em sistemas baseados em AI.
    • Transparência, interpretabilidade e explicabilidade: AI-2.7.1 K2: Explicar como a transparência, a interpretabilidade e a explicabilidade se aplicam aos sistemas baseados em AI.
    • Segurança e AI: AI-2.8.1 K1: Relembrar as características que dificultam o uso de sistemas baseados em AI em aplicações relacionadas à segurança..
  • Machine Learning (ML), Visão geral
    • Formas de ML: AI-3.1.1 K2: Descrever classificação e regressão como parte do aprendizado supervisionado. AI-3.1.2 K2: Descrever agrupamento e associação como parte do aprendizado não supervisionado. AI-3.1.3 K2: Descrever a aprendizagem por reforço.
    • Fluxo de trabalho do ML: AI-3.2.1 K2: Resumir o fluxo de trabalho usado para criar um sistema ML.
    • Seleção de uma forma de ML: AI-3.3.1 K3: Dado um cenário de projeto, identificar uma forma apropriada de ML (de classificação, regressão, agrupamento, associação, ou aprendizagem por reforço).
    • Fatores envolvidos na seleção do Algoritmo ML: AI-3.4.1 K2: Explicar os fatores envolvidos na seleção dos algoritmos ML.
    • Overfitting e Underfitting: AI-3.5.1 K2: Resumir os conceitos de underfitting e overfitting..
  • Machine Learning (ML), Dados
    • Preparação de dados como parte do fluxo de trabalho ML: AI-4.1.1 K2: Descrever as atividades e desafios relacionados à preparação dos dados.
    • Conjunto de dados de treinamento, validação e teste no fluxo de trabalho ML: AI-4.2.1 K2: Contrastar o uso de conjuntos de dados de treinamento, validação e teste no desenvolvimento de um modelo ML.
    • Questões de qualidade do conjunto de dados: AI-4.3.1 K2: Descrever as questões típicas de qualidade do conjunto de dados.
    • Qualidade dos dados e seu efeito sobre o modelo ML: AI-4.4.1 K2: Reconhecer como a má qualidade dos dados pode causar problemas com o modelo ML resultante.
    • Rotulagem de dados para aprendizagem supervisionada: AI-4.5.1 K1: Relembrar as diferentes abordagens à rotulagem de dados em conjuntos de dados para aprendizagem supervisionada. AI-4.5.2 K1: Relembrar as razões pelas quais os dados em conjuntos de dados foram rotulados erroneamente..
  • Machine Learning (ML), Métricas de desempenho funcional
    • Matriz de confusão: AI-5.1.1 K3: Calcular a métrica de performance funcional ML a partir de um dado conjunto de dados da matriz de confusão.
    • Métricas adicionais de performance funcional ML para classificação, regressão e agrupamento: AI-5.2.1 K2: Contrastar e comparar os conceitos por trás da métrica de performance funcional ML para métodos de classificação, regressão e agrupamento.
    • Limitações da métrica de performance funcional do ML: AI-5.3.1 K2: Resumir as limitações do uso da métrica de performance funcional ML para determinar a qualidade do sistema ML.
    • Seleção da métrica de performance funcional do ML: AI-5.4.1 K4: Selecionar as métricas apropriadas de performance funcional ML e/ou seus valores para um determinado modelo e cenário ML.
    • Conjuntos de referência para ML: AI-5.5.1 K2: Explicar o uso de conjuntos de referência no contexto do ML.
  • Redes neurais e testes
    • Redes neurais: AI-6.1.1 K2: Explicar a estrutura e a função de uma rede neural incluindo um DNN.
    • Medidas de cobertura para redes neurais: AI-6.2.1 K2: Descrever as diferentes medidas de cobertura para redes neurais. 
  • Visão geral dos sistemas baseados em AI
    • Especificação de sistemas baseados em AI: AI-7.1.1 K2: Explicar como as especificações de sistema para sistemas baseados em AI podem criar desafios nos testes.
    • Níveis de teste para sistemas baseados em AI: AI-7.2.1 K2: Descrever como os sistemas baseados em AI são testados em cada nível de teste
    • Dados de teste para testar sistemas baseados em AI: AI-7.3.1 K1: Relembrar os fatores associados aos dados de teste que podem dificultar o teste de sistemas baseados em AI.
    • Teste de viés de automação em sistemas baseados em AI: AI-7.4.1 K2: Explicar o viés de automação e como isso afeta os testes.
    • Documentando um componente de AI: AI-7.5.1 K2: Descrever a documentação de um componente de AI e entender como a documentação suporta os testes de sistemas baseados em AI.
    • Testes de desvio de conceito: AI-7.6.1 K2: Explicar a necessidade de testar frequentemente o modelo treinado para lidar com o desvio 
      do conceito.
    • Selecionando uma abordagem de teste para um sistema ML: AI-7.7.1 K4: Para um determinado cenário, determinar uma abordagem de teste a ser seguida ao desenvolver um sistema ML.
  • Teste das características específicas de qualidade da AI
    • Desafios para testar sistemas de autoaprendizagem: AI-8.1.1 K2: Explicar os desafios nos testes criados pela autoaprendizagem dos sistemas baseados em AI.
    • Teste de sistemas autônomos baseados em AI: AI-8.2.1 K2: Descrever como os sistemas autônomos baseados em AI são testados.
    • Testes de algoritmo, viés de amostragem e viés inadequado: AI-8.3.1 K2: Explicar como testar o viés em um sistema baseado em AI.
    • Desafios para testar sistemas baseados em AI probabilísticos e não determinísticos: AI-8.4.1 K2: Explique os desafios nos testes criados pela natureza probabilística e não-determinista dos sistemas baseados em AI.
    • Desafios nos testes de sistemas complexos baseados em AI: AI-8.5.1 K2: Explicar os desafios nos testes criados pela complexidade dos sistemas baseados em AI.
    • Teste da transparência, interpretabilidade e explicabilidade: AI-8.6.1 K2: Descrever como a transparência, a interpretabilidade e a explicabilidade dos sistemas baseados em AI podem ser testadas.
    • Oráculos de teste para sistemas baseados em AI: AI-8.7.1 K2: Explicar os desafios na criação de oráculos de teste resultantes das características específicas dos sistemas baseados em AI.
    • Objetivos do teste e critérios de aceite: AI-8.8.1 K4: Selecionar os objetivos apropriados de teste e critérios de aceite para as características específicas de qualidade de um determinado sistema baseado em AI.
  • Métodos e técnicas para o teste de sistemas baseados em AI
    • Desafios para testar sistemas de autoaprendizagem: AI-8.1.1 K2: Explicar os desafios nos testes criados pela autoaprendizagem dos sistemas baseados em AI.
    • Teste de sistemas autônomos baseados em AI: AI-8.2.1 K2: Descrever como os sistemas autônomos baseados em AI são testados.
    • Testes de algoritmo, viés de amostragem e viés inadequado: AI-8.3.1 K2: Explicar como testar o viés em um sistema baseado em AI.
    • Desafios para testar sistemas baseados em AI probabilísticos e não determinísticos: AI-8.4.1 K2: Explique os desafios nos testes criados pela natureza probabilística e não-determinista dos sistemas baseados em AI.
    • Desafios nos testes de sistemas complexos baseados em AI: AI-8.5.1 K2: Explicar os desafios nos testes criados pela complexidade dos sistemas baseados em AI.
    • Teste da transparência, interpretabilidade e explicabilidade: AI-8.6.1 K2: Descrever como a transparência, a interpretabilidade e a explicabilidade dos sistemas baseados em AI podem ser testadas.
    • Oráculos de teste para sistemas baseados em AI: AI-8.7.1 K2: Explicar os desafios na criação de oráculos de teste resultantes das características específicas dos sistemas baseados em AI.
    • Objetivos do teste e critérios de aceite: AI-8.8.1 K4: Selecionar os objetivos apropriados de teste e critérios de aceite para as características específicas de qualidade de um determinado sistema baseado em AI.
  • Ambientes de teste para sistemas baseados em AI
    • Ambientes de teste para sistemas baseados em AI: AI-10.1.1 K2: Descrever os principais fatores que diferenciam os ambientes de teste para sistemas baseados em AI daqueles requeridos para sistemas convencionais.
    • Ambientes de teste virtuais para sistemas baseados em AI: AI-10.2.1 K2: Descrever os benefícios proporcionados pelos ambientes de teste virtuais nos testes de sistemas baseados em AI.
  • Usando AI para testes
    • Tecnologias de AI para testes: AI-11.1.1 K2: Categorizar as tecnologias de AI usadas em testes de software.
    • Usando AI para analisar os defeitos relatados: AI-11.2.1 K2: Explicar como a AI pode ajudar a apoiar a análise de novos defeitos.
    • Usando AI para a geração de casos de teste: AI-11.3.1 K2: Explicar como a AI pode ajudar na geração de casos de teste.
    • Usando AI para a otimização de conjuntos de teste de regressão: AI-11.4.1 K2: Explicar como a AI pode ajudar na otimização de conjuntos de teste de regressão
    • Usando AI para previsão de defeito: AI-11.5.1 K2: Explicar como a AI pode ajudar na previsão de defeitos.
    • Usando AI para teste de interfaces de usuário: AI-11.6.1 K2: Explicar o uso de AI em testes de interfaces de usuário.

Estrutura do Exame

  • Teste de Software: as questões de prova são elaboradas por especialistas do BWG-E, grupo de trabalho do BSTQB exclusivo para esta finalidade. Seus membros são certificados pelo ISTQB, com mais de 10 anos de experiência na área de Qualidade de Software. Esses profissionais seguem rigorosamente os critérios estabelecidos pelo ISTQB no ISTQB Exam Structure Tables e ISTQB Exam Structure and Rules - Assista neste vídeo, de 5 minutos, como é criada uma questão de exame no BSTQB.
  • Engenharia de Requisitos e Digital Design: as questões de prova dos exames são desenvolvidas por especialista do IREB, e traduzidas por uma equipe dedicada da Comunidade IREB Brasil.
  • Arquitetura de Software: as questões de prova são desenvolvidas pelo ISAQB, e traduzidas por uma equipe dedicada da própria organização.

Ir para Mapa de Certificações Quero fazer um exame