Perguntas Frequentes🔗
Como resolver erros de SSL/Certificado para acessar a API no PLIN?🔗
Confira na documentação de integração a orientação sobre esse tipo problema.
Como resolver erros de Conexão Remota Desconectada acessando a API no PLIN?🔗
Confira na documentação de integração a orientação sobre esse tipo problema.
Minha chamada está excedendo a quantidade de tokens suportada pelo modelo, o que eu faço?🔗
A limitação de tokens impõe um grande desafio para quem projeta chamadas muito grandes ao modelo. A solução passa por criar estratégias que crie prompts menores, mesmo que seja preciso chamar o modelo diversas vezes e agregar resultados parciais ao final. Na análise de um CSV muito extenso por exemplo, o arquivo pode ser paginado em chunks menores. Resumos de documentos grandes podem ser feitos por regiões, ou trechos dispensáveis podem ser removidos (cabeçalhos, rodapés, anexos, seções específicas). É importante pesquisar na web as alternativas e estratégias possíveis para o estilo de problema do seu projeto.
Atente-se para o fato de que a resposta do modelo é na verdade um complemento ao prompt enviado (completion). Se o modelo trabalha com no máximo 4096 tokens, por exemplo, e o seu prompt consome 1000 tokens, restam apenas 3096 para que o modelo crie uma resposta, então você deve criar estratégias que funcionem dentro desse limite.
A tendência é que novos modelos abertos com janelas maiores sejam disponibilizados pelos principais players do mercado, melhorando a questão.
O modelo está dizendo inverdades, ou sendo impreciso, ou está desatualizado, ou fazendo afirmações indesejadas, é assim mesmo?🔗
As LLMs são treinadas com uma enorme quantidade de texto, o que permite que elas aprendam as sequências de palavras mais prováveis para um determinado contexto e com isso consigam gerar saídas em linguagem natural. Esse treinamento pode incluir textos informais da web que são úteis para o aprendizado de padrões linguísticos mas que podem introduzir imprecisões nas afirmações feitas pelo modelo. O modelo também não terá bons resultados com assuntos recentes ocorridos após seu treinamento, já que nunca foi apresentado a eles.
Técnicas de Engenharia de Prompt possibilitam tentar guiar e limitar o modelo para obter respostas melhores para determinados temas, sendo importante pesquisar abordagens possíveis que se apliquem ao seu caso. Procure também saber melhor sobre as características do modelo escolhido, geralmente fornecidas pelo mantenedor do modelo no Hugging Face, ou em sites próprios e também discutidas pela comunidade técnica.
O modelo está respondendo em inglês, mesmo eu pedindo para as respostas serem em português, é assim mesmo?🔗
Grande parte dos textos utilizados no treinamento das LLMs ocorre no idioma inglês, principalmente os modelos abertos disponíveis para uso da comunidade. Alguns modelos são multi-idiomas ou foram ajustados com uma maior carga de exemplos para idiomas específicos, mas isso não elimina 100% da possibilidade de ocorrer eventuais respostas fora do idioma desejado a depender do contexto informado. Tente conhecer melhor as características do modelo escolhido, geralmente fornecidas pelo mantenedor do modelo no Hugging Face, ou em sites próprios e também discutidas pela comunidade técnica. Faça sempre muitos experimentos até obter um prompt que lhe dará resultados satisfatórios.
(em construção)