Definição – O que significa Representações de Codificador Bidirecional de Transformadores (BERT)?
Representações codificadoras bidirecionais de transformadores (BERT) é um tipo de estratégia de aprendizado profundo de processamento de linguagem natural (PNL) em que as redes neurais profundas utilizam modelos bidirecionais com representação de linguagem não supervisionada.
BERT é uma das várias ferramentas-chave usadas para sobrecarregar o que os sistemas de inteligência artificial podem fazer.
Definirtec explica representações de codificador bidirecional de transformadores (BERT)
Uma das maneiras mais básicas de entender o BERT é que, devido à escassez de dados de treinamento, os engenheiros inovaram para permitir que uma plataforma de PNL extraísse grandes corpos de texto existente, com novos links entre palavras e outras unidades de dados. Especificamente, a bidirecionalidade, combinada com uma estratégia de mascaramento, permite que as redes neurais de aprendizado profundo em vários níveis explorem arquivos com mais eficácia para criar modelos de PNL.
Os engenheiros do Google utilizaram ferramentas como o Tensorflow para criar a arquitetura de rede neural BERT na qual fluxos bidirecionais são usados para pré-treinar a rede. O Google sugere que o BERT pode permitir que os usuários treinem um sistema de perguntas e respostas de última geração em 30 minutos em uma TPU em nuvem ou utilizem uma estrutura de GPU para concluir a mesma tarefa em apenas algumas horas.
Como uma estratégia particular de aprendizado profundo, o BERT é muito promissor no campo da PNL. Enquanto isso, outros tipos de inovações avançadas estão avançando na teoria dos jogos e disciplinas relacionadas – onde o aprendizado Q e o aprendizado baseado em resultados estão impulsionando o progresso rápido.