Lime Green Abstract Banner Art

Processamento de Linguagem Natural

O que é e qual sua importância?

 

Processamento de linguagem natural (em inglês, natural language processing ou NLP) é uma vertente da inteligência artificial que ajuda computadores a entender, interpretar e manipular a linguagem humana. O PLN utiliza diversas bases disciplinares, incluindo ciência da computação e linguística computacional, em sua busca por preencher a lacuna entre a comunicação humana e o entendimento da máquina.

A evolução do processamento de linguagem natural

Embora o processamento de linguagem natural não seja uma ciência nova, a tecnologia está avançando rapidamente graças ao interesse cada vez maior na comunicação homem-máquina, paralelamente à disponibilidade de big data, computação mais poderosa e algoritmos aprimorados.

Enquanto humano, você pode falar e escrever em inglês, espanhol ou chinês. Mas o idioma nativo de um computador — conhecido como código de máquina ou linguagem de máquina — é altamente incompreensível para a maioria das pessoas. Nos níveis mais profundos dos seus dispositivos, a comunicação acontece não com palavras, mas através de milhões de 0s e 1s que produzem ações lógicas.

Programadores usavam cartões furados para se comunicarem com os primeiros computadores setenta anos atrás. Esse processo manual e penoso era compreendido por um número relativamente pequeno de pessoas. Hoje, você pode dizer “Alexa, eu gosto desta música”, e um dispositivo em sua casa irá abaixar o volume e responder “Ok, classificação salva” numa voz que simula a de um ser humano. Na sequência, ele adapta seu algoritmo para tocar essa música — e outras parecidas — na próxima vez que você ouvir aquela estação.

Vejamos essa interação em detalhe. Seu dispositivo foi ativado quando ouviu você falar, entendeu a intenção nas entrelinhas do comentário, executou uma ação e deu um feedback numa frase bem construída em cerca de cinco segundos. Isso só é possível graças ao PLN em conjunto a outras tecnologias de inteligência artificial como machine learningdeep learning.

 

Reduzindo o volume de reclamações com o PLN

O Royal Bank of Scotland usa análises de texto, uma tecnologia de PLN, para entender tendências importantes nos feedbacks de clientes. A organização analisa dados de e-mails, pesquisas e conversas de call centers para identificar a raiz de insatisfações e implementar melhorias. Assista ao vídeo para descobrir como o analytics transforma a relação com os clientes.

Qual a importância do PLN?

Grandes volumes de dados textuais

O processamento de linguagem natural ajuda computadores a se comunicarem com seres humanos em seu próprio idioma e escala outras tarefas relacionadas à linguagem. Por exemplo, o PLN possibilita que computadores leiam textos, ouçam falas e as interpretem, identifiquem sentimentos e determinem quais os trechos importantes.

As máquinas de hoje podem analisar mais dados baseados em linguagem do que seres humanos, sem fadiga, de forma consistente e imparcial. Considerando a quantidade gigantesca de dados não-estruturados que é gerada todos os dias, de registros médicos a mídias sociais, a automação será imprescindível para uma análise completa e eficiente de textos e falas.

Estruturando uma fonte de dados altamente não-estruturada

Linguagens humanas são surpreendentemente complexas e diversas. Nós nos expressamos de maneiras infinitas, tanto verbalmente quanto por escrito. Não apenas existem centenas de idiomas e dialetos, como há um conjunto único de regras gramaticais e de sintaxe dentro de cada língua, além de expressões e gírias. Quando escrevemos, normalmente cometemos erros ou abreviamos palavras, ou omitimos pontuações; quando falamos, carregamos sotaques regionais, tendemos a murmurar e emprestamos termos de outros idiomas.

Enquanto os aprendizados supervisionado, não-supervisionado e, especificamente, o deep leraning são amplamente utilizados hoje para modelar a linguagem humana, há também a necessidade de compreensão sintática e semântica, assim como domínio, o que não estão necessariamente presentes nessas abordagens de machine learning. O PLN é importante porque ajuda a resolver ambiguidades da linguagem e adiciona estruturas numéricas aos dados para muitas aplicações downstream, como reconhecimento de fala e análise de texto.

PLN no mundo atual

Descubra como diversas indústrias fazem uso do processamento de linguagem natural

Se planejando para PLN

Como as empresas ao redor do mundo estão utilizando inteligência artificial e PLN? Quais são as taxas de adesão e os planos futuros para essas tecnologias? Quais são os planos de investimento e implementação? E quais problemas corporativos estão sendo resolvidos através de algoritimos de PLN? Descubra neste report da TDWI.

Deep learning para processamento de linguagem natural 

Descubra como técnicas de deep learning estão sendo aplicadas à PLN para compreender textos, avaliar sentimentos e mais. James C. Lester, renomado Professor de Ciências da Computação na NC State University, aborda normalização de texto e outros tópicos com James A. Cox, Diretor de Text Analytics do SAS.

Como o PLN funciona?

Segmentando as partes elementares da linguagem

O processamento de linguagem natural incorpora diversas técnicas para interpretar a linguagem humana, variando de métodos estatísticos e de machine learning até abordagens algorítmicas ou regradas. Nós precisamos de uma boa variedade de abordagens porque dados baseados em texto ou em voz divergem muito — assim como suas aplicações práticas.

Tarefas básicas de PLN incluem tokenização e análise sintática (parsing), lematização ou stemização, marcação dos componentes do discurso, detecção de idioma e identificação de relações semânticas. Se alguma vez você mapeou sentenças na escola, então você já realizou todas essas tarefas manualmente.

Em termos gerais, as tarefas do PLN segmentam a linguagem em partes menores e essenciais; tenta entender as relações entre elas e explora como esses pedaços funcionam juntos para criar significados.

Essas tarefas são frequentemente utilizadas em aplicações mais complexas de PLN, tais como:

  • Categorização de conteúdo. Um resumo documentado a partir da linguística, que inclui pesquisa e indexação, alertas de conteúdo e detecção de duplicações.
  • Descoberta e modelagem de tópicos. Captura com precisão o significado e os temas nas coleções de texto, e aplica advanced analytics como otimização e predição.
  • Extração contextual. Extrai automaticamente informações estruturadas de fontes textuais.
  • Análise de sentimento. Identifica o clima ou as opiniões em grandes quantidades de texto, através de técnicas de mineração média de sentimento e opinião.
  • Conversão fala-texto e texto-fala. Transforma comandos de voz em texto escrito e vice-versa.
  • Sumarização. Gera sinopses de grandes corpos de texto automaticamente.
  • Tradução. Traduz textos ou falas automaticamente, de um idioma para outro.

Em todos esses casos, o objetivo almejado é pegar as entradas brutas e utilizar linguística e algoritmos para transformar ou enriquecer o texto de forma a obter resultados melhores.

Natural Language Processing graphic

Métodos e aplicações de PLN

Como computadores entendem dados textuais

PLN e análises textuais

O processamento de linguagem natural anda lado a lado às análises textuais. Elas contam, agrupam e categorizam palavras para extrair estruturas e significados de grandes volumes de conteúdo. Análises textuais são utilizadas para explorar conteúdos e encontrar novas variáveis de texto bruto que podem ser visualizadas, filtradas ou usadas como entradas para modelos preditivos ou outros métodos estatísticos.

O PLN e as análises textuais são utilizadas em conjunto por muitas aplicações, incluindo:

  • Descoberta investigativa. Identifica padrões e pistas em e-mails ou relatórios escritos para ajudar na detecção e resolução de crimes.
  • Conhecimentos especializados. Classifica conteúdos em tópicos significativos para que você possa tomar ações e descobrir tendências.
  • Análise de mídias sociais. Rastreia a relevância e o sentimento sobre tópicos específicos, e identifica influencers.

    Exemplos cotidianos de PLN 

    Há muitas aplicações práticas e comuns para o PLN em nossas rotinas. Além de conversar com assistentes virtuais como Alexa ou Siri, eis alguns outros exemplos:

    • Você já olhou para os e-mails na sua caixa de spam e notou similaridades nos assuntos? Você está vendo um filtro de spam Bayesiano, uma técnica estatística de PLN que compara as palavras mais comuns em mensagens de spam para validar e-mails e identificar lixo eletrônico.
    • Você já perdeu uma ligação e leu sua transcrição automática por e-mail ou em um aplicativo? Isso é a conversão fala-texto, uma habilidade do PLN.
    • Você já navegou em um site utilizando sua ferramenta de busca embutida ou por selecionar um tópico sugerido, entidade ou tags? Então você já usou métodos de PLN para pesquisa, modelagem de tópicos, extração de entidades e categorização de conteúdo.

    Um subcampo do PLN chamado de compreensão da linguagem natural (em inglês, natural language understanding ou NLU) começou a se popularizar por causa de seu potencial cognitivo e aplicações de inteligência artificial. A NLU vai além da compreensão estrutural da linguagem para interpretar intenções, resolver ambiguidades contextuais de palavras e até mesmo criar linguagens humanas bem formadas por si só. Algoritmos de NLU devem resolver o problema extremamente complexo de interpretação semântica — ou seja, compreender o significado pretendido da linguagem falada ou escrita, com todas as sutilezas, contextos e inferências que nós, humanos, somos capazes de compreender.

    A evolução do PLN para a NLU tem implicações muito importantes para empresas e consumidores. Imagine o poder de um algoritmo que possa entender o significado e a nuance da linguagem humana em contextos variados, da medicina ao direito ou à sala de aula. Conforme os volumes de informações não-estruturadas continuam a crescer exponencialmente, nós iremos nos beneficiar da capacidade incansável dos computadores de compreender tudo.

    Leia também

    Content is loading

    Back to Top