Documentação do Oracle Cloud Infrastructure

Cohere Embed English Light 3

Revise os benchmarks de desempenho do modelo cohere.embed-english-light-v3.0 (Cohere Embed English Light 3) hospedado em uma unidade Embed Cohere de um cluster de IA dedicado na OCI Generative AI.

  • Consulte os detalhes do modelo e revise as seguintes seções:
    • Regiões disponíveis para este modelo.
    • Clusters de IA dedicados para hospedar este modelo.
  • Verifique as métricas.

Incorporações

Esse cenário se aplica apenas aos modelos de incorporação. Esse cenário imita a geração incorporada como parte do pipeline de ingestão de dados de um banco de dados vetorial. Nesse cenário, todas as solicitações têm o mesmo tamanho, que é de 96 documentos, cada um com 512 tokens. Um exemplo seria uma coleção de arquivos PDF grandes, cada arquivo com mais de 30.000 palavras que um usuário deseja ingerir em um banco de dados vetorial.

Simultânea Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por minuto) (RPM)
1 1.75 30
8 3.93 108
32 14.44 113
128 48 120

Embeddings mais leves

Esse cenário se aplica apenas aos modelos de incorporação. Esse cenário de incorporação mais leve é semelhante ao cenário de incorporação, exceto que reduzimos o tamanho de cada solicitação para 16 documentos, cada um com 512 tokens. Neste cenário, é possível dar suporte a arquivos menores com menos palavras.

Simultânea Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por minuto) (RPM)
1 0.85 48
8 1.15 354
32 3.15 594
128 11.26 846