2 Comments

salutare, stii un model bun pentru conversatie in limba romana pe care sa-l pot folosi cu ollama?

Expand full comment
author

Salut, din experiența mea cel mai bun a fost llama3 și apoi llama2, însă vei avea nevoie de minim 40 GB de RAM. Pentru modelele locale, cea mai bună alegere este unul care este limitat doar la engleză, pentru că economisești resurse prețioase la memorie.

Sau dacă vrei totuși să evaluezi converațiile în limba română pe diferite modele poți încerca https://lightning.ai/ , care îți oferă câteva ore gratuite să evaluezi modele pe GPU.

Expand full comment