CEIA Lumi-4B

Modelo de linguagem de 4B parâmetros para geração de texto.

CEIA Lumi-4B

O CEIA Lumi-4B é um modelo de linguagem de 4B parâmetros, disponibilizado em BF16 no repositório oficial.

Avaliação

Resultados registrados para o Lumi-4B nos gráficos comparativos do projeto:

Benchmark	Resultado
MMLU PT, ensino médio	45,72%
MMLU PT, graduação	48,80%
Global MMLU PT	59,36%
MMLU-ProX PT	36,28%
IFEval PT, prompt estrito	33,83%
Overall	44,80%

O Overall é a média aritmética simples dessas cinco métricas, com peso igual para cada uma. Nesse recorte, o Lumi-4B ocupa a 2ª posição entre 9 modelos.

Comparação por benchmark

Ranking Overall

Os gráficos e os valores apresentam os resultados registrados para esta comparação. Os nomes dos benchmarks e as métricas seguem os dados usados na avaliação.

Uso e limitações

Para baixar os arquivos em uma pasta chamada CEIA-Lumi-4B:

hf download ceia-br/lumi-4b --local-dir CEIA-Lumi-4B

Os resultados são comparativos e dependem dos benchmarks e das configurações usados na avaliação. Não foram informados neste card as versões dos conjuntos de avaliação, o harness, os parâmetros de execução nem intervalos de confiança; portanto, os números não devem ser interpretados como garantia de desempenho em outras tarefas ou ambientes.

A página do modelo não documenta neste momento o modelo-base, os dados e procedimentos completos de treinamento, as recomendações de uso, uma licença ou instruções de inferência. Esses detalhes devem ser adicionados quando forem confirmados pelos responsáveis pelo modelo.