Editar Robots.txt via Painel Administrativo – Magento 2

Para configurar o robots.txt via Painel no Magento 2:

1. siga o caminho: “Conteúdo” -> “Configuração” -> Escolha a configuração de Design:

Na aba Search Engine Robots escolha os Robôs padrão que você deseja habilitar em seu site.

Existem várias opções que você pode escolher. Vamos ver o que cada opção de robô padrão significa no robots.txt do Magento 2:

Se você deseja que os rastreadores da Web indexem uma página e sigam os links dessa página – ÍNDICE, SIGA
Se você não deseja que os rastreadores da Web indexem uma página, mas deseja que eles sigam os links dessa página – NOINDEX, FOLLOW
Se você deseja que os rastreadores da Web indexem uma página e não deseja que eles sigam os links dessa página – INDEX, NOFOLLOW
Se você deseja que os rastreadores da Web não indexem uma página nem sigam os links dessa página – NOINDEX, NOFOLLOW
5. Na seção Editar instrução personalizada do arquivo robot.txt, insira a instrução personalizada com a qual deseja que o mecanismo de pesquisa analise seu site. Verifique os exemplos das instruções personalizadas do robots.txt posteriormente neste artigo.

6. Clique no botão Redefinir para os padrões caso deseje excluir todas as suas instruções personalizadas e voltar para as padrão.

7. Depois de definir os robôs padrão, não se esqueça de salvar a configuração.

Depois de salvar a configuração, você pode ser solicitado a liberar o cache.