Documentação do Oracle Cloud Infrastructure

Cohere Command R 08-2024

Revise os benchmarks de desempenho do modelo cohere.command-r-08-2024 (Cohere Command R 08-2024) hospedado em uma unidade Small Cohere V2 de um cluster de IA dedicado na OCI Generative AI.

  • Consulte os detalhes do modelo e revise as seguintes seções:
    • Regiões disponíveis para este modelo.
    • Clusters de IA dedicados para hospedar este modelo.
  • Verifique as métricas.

Comprimento aleatório

Esse cenário imita casos de uso de geração de texto em que o tamanho do prompt e da resposta é desconhecido antecipadamente. Por causa dos comprimentos de prompt e resposta desconhecidos, usamos uma abordagem estocástica em que tanto o comprimento de prompt quanto o de resposta seguem uma distribuição normal. O comprimento do prompt segue uma distribuição normal com uma média de 480 tokens e um desvio padrão de 240 tokens. O comprimento da resposta segue uma distribuição normal com uma média de 300 tokens e um desvio padrão de 150 tokens.

O modelo cohere.command-r-08-2024 hospedado em uma unidade Small Cohere V2 de um cluster de IA dedicado para todas as regiões, exceto para a região Centro da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Velocidade de Inferência no Nível do Token (tokens/segundo) Throughput no nível do token (tokens/segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.52 66.43 52.84 2.68 0.37 230.39
2 0.52 64.11 105.8 3.01 0.66 432.6
4 0.52 59.66 198.97 3.27 1.2 763.19
8 0.53 53.36 357.07 3.62 2.16 1,368.83
16 0.56 44.39 583.18 3.88 3.92 2,505.03
32 0.65 35.61 906.21 5.03 5.81 3,760.75
64 1.06 24.01 1,073.21 6.86 7.67 4,692.56
128 3.96 15.89 1,034.44 12.18 7.96 5,137.4
256 11.54 16.24 1,052.12 19.47 8.19 5,039.19
O modelo cohere.command-r-08-2024 hospedado em uma unidade Small Cohere V2 de um cluster de IA dedicado para a região Central da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Velocidade de Inferência no Nível do Token (tokens/segundo) Throughput no nível do token (tokens/segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.4 77.29 69.62 3.89 0.26 190.39
2 0.4 76.36 138.03 4.03 0.49 374.14
4 0.41 73.69 266.03 4.03 0.98 754.56
8 0.41 70.41 505.38 4.33 1.8 1,351.03
16 0.42 63.38 888.54 4.57 3.33 2,528.83
32 0.48 55.54 1,540.69 5.83 5.14 4,160.4
64 0.68 42.29 2,201.45 6.93 8.12 6,020.98
128 1.48 28.35 2,496.73 10.5 9.7 7,168.11
256 8.6 28.69 2,394.67 18.04 9.02 6,593.74

Chat

Esse cenário abrange casos de uso de chat e diálogo em que o prompt e as respostas são curtos. O prompt e o tamanho da resposta são fixados em 100 tokens.

O modelo cohere.command-r-08-2024 hospedado em uma unidade Small Cohere V2 de um cluster de IA dedicado para todas as regiões, exceto para a região Centro da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Velocidade de Inferência no Nível do Token (tokens/segundo) Throughput no nível do token (tokens/segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.49 67.4 46.63 1.58 0.63 107.89
2 0.48 65.55 90.56 1.59 1.24 211.04
4 0.49 61.38 173.89 1.71 2.31 398.14
8 0.49 55.53 317.1 1.81 4.32 736.5
16 0.52 49.01 555.54 2.03 7.49 1,283.3
32 0.76 41.59 843.26 2.53 11.59 1,969.48
64 0.82 29.63 1,231.41 3.31 16.86 2,867.06
128 1.84 19.64 1,340.32 5.57 18.54 3,141.31
256 5.71 20.1 1,313.56 9.41 17.91 3,050.8
O modelo cohere.command-r-08-2024 hospedado em uma unidade Small Cohere V2 de um cluster de IA dedicado para a região Central da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Velocidade de Inferência no Nível do Token (tokens/segundo) Throughput no nível do token (tokens/segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.36 76.4 59.84 1.61 0.62 119.86
2 0.36 75.94 118.12 1.62 1.22 236.67
4 0.36 75.32 233.5 1.64 2.41 467.06
8 0.38 73.41 450.63 1.69 4.65 902
16 0.41 70.81 835.46 1.76 8.64 1,673.27
32 0.52 66.82 1,407.97 1.95 14.53 2,816.44
64 0.77 58.49 2,320.21 2.42 23.97 4,645.34
128 1.27 46.58 2,866.51 3.35 29.55 5,729.64
256 2.98 42.43 3,057.44 5.26 31.58 6,119.24

Geração pesada

Esse cenário é para casos de uso pesados de resposta de geração e modelo. Por exemplo, uma descrição longa do cargo gerada a partir de uma lista curta de itens. Para esse caso, o comprimento do prompt é fixado em 100 tokens e o comprimento da resposta é fixado em 1.000 tokens.

O modelo cohere.command-r-08-2024 hospedado em uma unidade Small Cohere V2 de um cluster de IA dedicado para todas as regiões, exceto para a região Centro da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Velocidade de Inferência no Nível do Token (tokens/segundo) Throughput no nível do token (tokens/segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.49 67.35 54.93 2.82 0.35 89.1
2 0.53 65.72 106.49 2.96 0.67 171.57
4 0.49 62.54 205.55 2.99 1.32 333.29
8 0.49 57.08 361.81 2.99 2.56 610.19
16 0.51 51.99 668.26 3.44 4.41 1,097.11
32 0.58 44.49 1,060.46 3.79 7.52 1,790.39
64 0.68 35.05 1,633.24 4.89 11.02 2,702.83
128 2.2 25.59 1,676.8 7.09 13.5 2,985.41
256 7.02 26.23 1,609.94 11.96 12.5 2,819.72
O modelo cohere.command-r-08-2024 hospedado em uma unidade Small Cohere V2 de um cluster de IA dedicado para a região Central da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Velocidade de Inferência no Nível do Token (tokens/segundo) Throughput no nível do token (tokens/segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.36 76.15 77.02 4.62 0.23 99.43
2 0.38 78.71 151.85 12.97 0.15 166.68
4 0.37 77.94 296.54 13.07 0.3 325.57
8 0.39 76.05 587 13.41 0.59 644.47
16 0.42 73.99 1,132.69 13.81 1.14 1,243.49
32 0.56 69.18 2,085.87 14.88 2.1 2,290.54
64 0.91 60.54 3,520.34 17.26 3.55 3,864.78
128 1.4 47.76 5,511.72 22.13 5.56 6,050.87
256 15.84 47.14 5,432.58 36.85 5.48 5,963.23

RAG

O cenário de geração aumentada de recuperação (RAG) tem um prompt muito longo e uma resposta curta, como resumir casos de uso. O comprimento do prompt é fixado em 2.000 tokens e o comprimento da resposta é fixado em 200 tokens.

O modelo cohere.command-r-08-2024 hospedado em uma unidade Small Cohere V2 de um cluster de IA dedicado para todas as regiões, exceto para a região Centro da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Velocidade de Inferência no Nível do Token (tokens/segundo) Throughput no nível do token (tokens/segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.66 65.07 48.27 2.62 0.38 802.19
2 0.66 59.6 89.68 2.84 0.7 1,480.35
4 0.68 50.85 156.94 3.23 1.22 2,596.61
8 0.8 40.68 247.23 4.06 1.93 4,098.09
16 0.97 28.73 351.66 5.6 2.76 5,853.26
32 1.37 18.19 425.94 8.82 3.37 7,157.15
64 2.54 9.78 440.59 15.46 3.61 7,647.41
128 9.88 5.86 392.06 29.1 3.55 7,488.14
256 28.75 6.13 425.79 48.52 3.47 7,364.71
O modelo cohere.command-r-08-2024 hospedado em uma unidade Small Cohere V2 de um cluster de IA dedicado para a região Central da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Velocidade de Inferência no Nível do Token (tokens/segundo) Throughput no nível do token (tokens/segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.47 76.63 64.4 2.97 0.33 731.96
2 0.52 74.08 122.71 3.11 0.64 1,393.97
4 0.63 69.81 223.99 3.38 1.17 2,553.48
8 0.86 62.8 382.46 3.93 1.99 4,348.31
16 1.33 53.08 584.74 5.01 3.04 6,652.72
32 2.28 40.67 809.47 7.2 4.21 9,211.93
64 3.01 21.57 946.96 11.98 4.9 10,736.65
128 5.32 10.4 866.21 23.76 4.5 9,845.27
256 21.17 9.6 830.4 41.13 4.31 9,441.68