CONTEÚDO

1. Introdução
2. Ferramenta Jenkins
3. Execução da Regressão
   
4. Execução de casos avulsos
   
5. Analise dos casos de testes executados
6. Considerações finais

01. INTRODUÇÃO

Antes da liberação de uma versão para a produção, obrigatoriamente deverá ser executada uma regressão onde vai ser possível verificar se as funcionalidades estão funcionando adequadamente. No Food Retaguarda usamos para isso a ferramenta Jenkins onde ela gerencia a execução dos testes de regressão de maneira automatizada sem a necessidade os testes para serem executados (com exceção de liberações de emergência)

02. FERRAMENTA JENKINS

Para a execução dos nossos testes automatizados utilizaremos a ferramenta de CI/CD Jenkins, onde ele será o responsável pela execução dos testes automatizados e pela criação dos relatórios de execução. 

Hoje o Jenkins antes da execução dos testes, ele verifica se os casos de testes e o fonte da automação estão na última versão devido a sua integração com o TFS.

Para a execução dos testes automatizados a versão de release a ser aplicada em produção deve estar publicada no ambiente chefregressao seguindo os procedimentos conforme documento de referencia 3.2.3 - Deploy Homologação - chefregressao - Segmento V&D - TDN (totvs.com) .

Para acesso ao Jenkins deve ser usados os dados abaixo:

Url do Servidor: http://spoclvwinbt001:8080/

Usuário de Acesso: regressao

Senha de Acesso: regressaoChefweb

03. EXECUÇÃO DA REGRESSÃO

Para a execução da regressão após a execução dos procedimentos no ambiente chefregressão será feita de maneira automática, não sendo necessária intervenção manual. Os testes já estão pré agendados para rodarem as sextas a partir das 17:35, se estendendo por todo o fim de semana, com seus resultados podendo ser visto na segunda-feira

Para que não haja problemas nesta rotina automatizada, é recomendado fortemente a execução dos processos de atualização do ambiente a ser executada a regressão antes deste período para não prejudicar os testes a serem executados.

04. EXECUÇÃO DOS CASOS AVULSOS EXECUTADOS

        Caso seja necessário a execução de casos de testes avulsos, fora do período onde ele pode ser efetuado manualmente, o processo de execução é bem simples e será descrito seu passo a passo abaixo:

• Acessar o painel do Jenkins e informar o usuário e senha para ter acesso as rotinas automatizadas:

• Após acessar o sistema, para executar um plano de testes referente a uma funcionalidade, basta clicar no icone em formato de relógio que é exibido ao lado do caso de teste a ser executado. Os planos de testes habilitados para serem executados possuem o símbolo do lado para execução

• Após clicar para a execução do plano de testes avulso ele deverá ser exibido no campo "Estado Executor de builds" conforme demonstrado na imagem abaixo.

• Após executar os testes, o status do teste pode ser visto nas colunas, onde é informado seu ultimo sucesso e ultima falha, e o teste finalizado sai da opção do estado do executor de builds.
• Vários planos de testes podem colocados para a execução, mas o Jenkins executará apenas um por vez, enfileirando os planos de testes na fila de builds, após finalizado os testes de um determinado plano, ele inicia o subsequente até finalizar as pendencias. 

05. ANÁLISE DOS CASOS DE TESTES EXECUTADOS

Após a execução dos planos de testes, para avaliar se os testes foram executados corretamente, o Jenkins utilizando o plugin do Cucumber Reports gera um relatório onde é possível validar os casos de testes, validando se foram executados com sucesso ou erro, onde nos erros o relatório mostra em um print de tela onde foi o erro e o motivo. Neste tópico será demonstrado passo a passo como chegar neste relatório de execução

• No painel do Jenkins, clicar no plano de testes que será verificado o relatório de execução
• Após clicar no plano, será aberta exibida a tela onde serão informados os últimos builds executados, para abrir o build, clicar na data de execução conforme imagem

• Após clicar na build a ser analisada, será aberta a tela onde serão detalhadas informações sobre a realização da build. Para verificarmos o relatório de sua execução clicamos na opção Cucumber Reports no menu lateral.

• Após selecionar o Cucumber Reports será aberta a tela onde será possível visualizar as funcionalidades daquele plano de testes que foram com sucesso ou falha. No exemplo abaixo todos os casos passaram com sucesso, sua execução foi sem falhas.

• Para entrar nos detalhes da execução da funcionalidade, basta clicar no nome da funcionalidade para ser exibido os casos de testes da funcionalidade, neste exemplo todos passaram e estarão da cor verde

• Neste outro exemplo, apenas um caso de teste de uma funcionalidade quebrou conforme podemos verificar na imagem. Neste caso um passo do caso de teste apresentou problemas  (Failed) e não permitiu a execução do ultimo step (Skipped)

• Ao clicarmos na funcionalidade e abrirmos os detalhes de execução podemos verificar o erro onde ocorreu e o print do momento da falha para ajudar a validar se o erro é realmente um bug ou uma falha de execução da automação.

03. CONSIDERAÇÕES FINAIS

Para a execução destes cenários automatizados, o equipamento onde é executado a automação tem rotinas automatizadas de execução, onde está maquina está programada para ligar as 08:00 da sexta e desligar de maneira automática as 23:59 do domingo, fazendo as rotinas automatizadas com êxito.

Nas execuções avulsas, o equipamento é desligado de maneira automática as 23:59 do dia que ela for ligada, exceto as sextas, onde já possui uma regra para ligar o equipamento para esta rotina automatizada de regressão.

<!-- esconder o menu --> 


<style>
div.theme-default .ia-splitter #main {
    margin-left: 0px;
}
.ia-fixed-sidebar, .ia-splitter-left {
    display: none;
}
#main {
    padding-left: 10px;
    padding-right: 10px;
    overflow-x: hidden;
}

.aui-header-primary .aui-nav,  .aui-page-panel {
    margin-left: 0px !important;
}
.aui-header-primary .aui-nav {
    margin-left: 0px !important;
}
</style>