Meta Llama 3.2 11B Vision
O modelo meta.llama-3.2-11b-vision-instruct oferece recursos de compreensão de texto e imagem e está disponível para hospedagem dedicada. Em comparação com o Llama 3.2 90B Vision, o Llama 3.2 11B Vision oferece recursos multimodais robustos em uma forma mais compacta.
Disponível nestas regiões
- Leste do Brasil (São Paulo) (somente cluster de IA dedicado)
- Sul do Reino Unido (Londres) (somente cluster de IA dedicado)
- Centro do Japão (Osaka) (somente cluster de IA dedicado)
- Centro-Oeste dos EUA (Chicago) (somente cluster de IA dedicado)
Principais Recursos
- Principais recursos
-
- Suporte multimodal: insira texto e imagens e obtenha uma saída de texto.
- Tamanho do Modelo: O modelo tem 11 bilhões de parâmetros.
- Tamanho do Contexto: 128.000 tokens (Tamanho máximo de prompt + resposta: 128.000 tokens para cada execução)
- Suporte Multilingue: Inglês, Francês, Alemão, Hindi, Italiano, Português, Espanhol e Tailandês
- Sobre o recurso de visão através de suporte multimodal
-
Envie uma imagem, faça perguntas sobre a imagem e obtenha uma saída de texto, como:
- Legendas de imagem avançadas
- Descrição detalhada de uma imagem.
- Respostas a perguntas sobre uma imagem.
- Informações sobre gráficos em uma imagem.
- Mais detalhes
-
- No playground, para adicionar a próxima imagem e texto, você deve limpar o bate-papo que resulta na perda do contexto da conversa anterior, limpando o bate-papo.
- O inglês é o único idioma suportado para a opção de imagem mais texto.
- Opção multilíngue suportada para a opção somente texto.
- Na Console, insira uma imagem
.pngou.jpgde 5 MB ou menos. - Para API, insira uma imagem codificada em
base64em cada execução. Uma imagem de 512 x 512 é convertida em cerca de 1.610 tokens.
Cluster de IA Dedicado para o Modelo
Para acessar um modelo por meio de um cluster de IA dedicado em qualquer região listada, você deve criar um ponto final para esse modelo em um cluster de IA dedicado. Para o tamanho da unidade de cluster que corresponde a este modelo, consulte a tabela a seguir.
| Modelo Base | Cluster de Ajuste | Cluster de Hosts | Informações da Página de Preços | Aumento do Limite do Cluster de Solicitações |
|---|---|---|---|---|
|
Não disponível para ajuste fino |
|
|
|
-
Se você não tiver limites de cluster suficientes em sua tenancy para hospedar o modelo Meta Llama 3.2 11B Vision em um cluster de IA dedicado, solicite que o limite
dedicated-unit-llama2-70-countaumente em 1. - Revise os benchmarks de desempenho do cluster do Meta Llama 3.2 11B Vision para diferentes casos de uso.
Datas de Liberação e Baixa
| Modelo | Data de Liberação | Data de Aposentadoria Sob Demanda | Data de Baixa do Modo Dedicado |
|---|---|---|---|
meta.llama-3.2-11b-vision-instruct
|
2,024-11-14 | A opção sob demanda não está disponível para este modelo. | Pelo menos 6 meses após o lançamento do 1o modelo de substituição. |
Para obter uma lista de todas as linhas de tempo do modelo e detalhes de baixa, consulte Desativando os Modelos.
Parâmetros de Modelo
Para alterar as respostas do modelo, você pode alterar os valores dos parâmetros a seguir no playground ou na API.
- Máximo de tokens de saída
-
O número máximo de tokens que você deseja que o modelo gere para cada resposta. Estime quatro caracteres por token. Como você está solicitando um modelo de chat, a resposta depende do prompt e cada resposta não necessariamente usa o máximo de tokens alocados.
- Temperatura
-
O nível de aleatoriedade usado para gerar o texto de saída.
Dica
Comece com a temperatura definida como 0 ou menos de um e aumente a temperatura conforme você gera novamente os prompts para uma saída mais criativa. As altas temperaturas podem introduzir alucinações e informações factualmente incorretas. - Top p
-
Um método de amostragem que controla a probabilidade cumulativa dos principais tokens a serem considerados para o próximo token. Atribua a
pum número decimal entre 0 e 1 para a probabilidade. Por exemplo, insira 0,75 para os 75% principais a serem considerados. Definapcomo 1 para considerar todos os tokens. - Top k
-
Um método de amostragem no qual o modelo escolhe o próximo token aleatoriamente dos tokens mais prováveis do
top k. Um valor alto parakgera uma saída mais aleatória, o que torna o texto de saída mais natural. O valor padrão para k é 0 para os modelosCohere Commande -1 para os modelosMeta Llama, o que significa que o modelo deve considerar todos os tokens e não usar esse método. - Penalidade de frequência
-
Uma penalidade atribuída a um token quando esse token aparece com frequência. Altas penalidades incentivam menos tokens repetidos e produzem uma saída mais aleatória.
Para os modelos da família Meta Llama, essa penalidade pode ser positiva ou negativa. Os números positivos incentivam o modelo a usar novos tokens e os números negativos incentivam o modelo a repetir os tokens. Defina como 0 para desativar.
- Penalidade de presença
-
Uma multa atribuída a cada token quando ele aparece na saída para incentivar a geração de saídas com tokens que não foram usados.
- Pré-implantado
-
Um parâmetro que faz o melhor esforço para amostras de tokens deterministicamente. Quando um valor é atribuído a esse parâmetro, o modelo de linguagem grande tem como objetivo retornar o mesmo resultado para solicitações repetidas quando você atribui o mesmo seed e parâmetros para as solicitações.
Os valores permitidos são números inteiros e a atribuição de um valor de seed grande ou pequeno não afeta o resultado. Designar um número para o parâmetro seed é semelhante a marcar a solicitação com um número. O modelo de linguagem grande tem como objetivo gerar o mesmo conjunto de tokens para o mesmo número inteiro em solicitações consecutivas. Esse recurso é especialmente útil para depuração e teste. O parâmetro de teste não tem valor máximo para a API e, na Console, seu valor máximo é 9999. Deixar o valor pré-implantado em branco na Console ou nulo na API desativa esse recurso.
Advertência
O parâmetro seed pode não produzir o mesmo resultado no longo prazo, porque as atualizações de modelo no serviço OCI Generative AI podem invalidar o seed.