O processamento de documentos tem sido uma tarefa trabalhosa e demorada para as organizações, exigindo esforço manual para identificar documentos, encaminhá-los para a pessoa certa e extrair informações relevantes. Por décadas, confiamos no reconhecimento óptico de caracteres (OCR) para converter imagens em texto e soluções de processamento inteligente de documentos (IDP) com vários graus de complexidade para extrair campos relevantes desse texto OCR.
Mais recentemente, algoritmos de machine learning (ML) estão sendo alavancados para melhorar métodos tradicionais de extração de dados, como OCR Zonal e extração de pares chave/valor baseada em regras, treinando modelos para extrair dados de documentos estruturados, semiestruturados e não estruturados. No entanto, esses métodos tradicionais frequentemente exigiam treinamento de modelos de ML específicos de domínio e extensa rotulagem manual de grandes conjuntos de dados de treinamento, tornando-os demorados e intensivos em recursos para manter e construir.
O surgimento da IA generativa e dos LLMs
No cenário em constante evolução do IDP, os avanços recentes em tecnologias de IA trouxeram mudanças transformadoras na maneira como as organizações desenvolvem e mantêm suas soluções de extração de documentos. Nos últimos doze meses, o mercado viu mudanças sem precedentes impulsionadas pelo surgimento da IA generativa e pela integração de grandes modelos de linguagem (LLMs). Essas inovações não apenas revolucionaram o mercado, mas também abriram novas possibilidades para automatizar documentos que antes não podiam ser automatizados.
“A IA generativa é a mudança mais importante na longa história do IDP”, afirmou Dan Lucarini, analista sênior da Deep Analysis e renomado especialista de mercado em IDP. “Pela primeira vez, um computador pode classificar documentos e extrair dados sem intervenção humana, amostras de treinamento ou conhecimento prévio. Em termos de IA, isso é conhecido como aprendizado zero-shot; em outras palavras, o documento é reconhecido sem nenhum encontro ou treinamento prévio.”
A introdução de LLMs, como a série GPT da OpenAI e o Vertex AI do Google, abriu um mundo totalmente novo de possibilidades para automatizar a entrada de dados de documentos. Esses modelos são treinados em grandes quantidades de dados, permitindo que eles captem não apenas elementos de dados individuais, mas também nuances contextuais, tornando-os adeptos ao manuseio de documentos complexos não estruturados. Eles também podem extrair informações de uma ampla gama de documentos sem a necessidade de treinamento inicial ou definição de regras.
Aproveitando métodos tradicionais
Embora os LLMs estejam revolucionando a maneira como as organizações automatizam o processamento de documentos, métodos tradicionais como OCR Zonal, extração de pares chave/valor e aprendizado de máquina ainda são as melhores ferramentas para extrair dados de documentos estruturados e semiestruturados. Essas tecnologias de extração testadas e comprovadas podem ser concluídas por LLMs para suplementar métodos de extração de documentos semiestruturados e substituir a necessidade de construir modelos para documentos não estruturados.
“Muitas vezes nos perguntam se LLMs fundamentais como GPT-4 substituirão modelos de machine learning que foram ajustados para um conjunto de dados”, disse Lucarini. “A resposta é não, não tão cedo. LLMs fundamentais alucinam com muita frequência para serem confiáveis para um aplicativo IDP típico que requer 100% de precisão de dados. Eles também são muito caros para ler um grande lote de documentos. Modelos de ML discriminativos ainda são a melhor escolha para precisão e custo.”
Maximizando a eficiência com IA generativa
A IA generativa ainda pode ser um copiloto que economiza tempo para um produto IDP. Por exemplo, usuários finais sem conhecimento de expressões regulares ou codificação podem criar e ajustar um novo modelo de documento usando prompts de IA generativa. Ela também pode acelerar a fase de treinamento sugerindo rótulos de um documento. À medida que os usuários se aprofundam, eles estão continuamente descobrindo aplicações inovadoras para IA generativa dentro do IDP, expandindo perpetuamente sua utilidade e impacto.
Os avanços recentes da IA generativa e dos LLMs foram nada menos que revolucionários. Eles complementaram e, ao mesmo tempo, interromperam o mercado e abriram novas possibilidades para automatizar processos de negócios intensivos em documentos. Ao alavancar essas inovações integradas aos métodos tradicionais de extração, as organizações podem otimizar seus fluxos de trabalho de documentos e desbloquear novos níveis de eficiência e produtividade.