Guidance - ghidează modele de limbaj prin cod
O paradigmă de programare pentru controlul și ghidarea modelelor de limbaj (LLM)
Printre capacitățile modelelor de limbaj mai noi cum sunt llama2, sau mistral-7b se numără și acela de a raționa într-o manieră similară creierului uman. Astfel pot oferi răspunsuri la probleme de matematică de exemplu:
Gemini, generează răspunsul însoțit de o explicație detaliată a pașilor. Însă, nu putem folosi acest răspuns pentru a fi citit de un alt program de exemplu, care ar fi responsabil de generarea unor rapoarte sau statistici, și tot ce are nevoie programul este numărul rezultat:
Chiar și dacă primește intrucțiunea, Gemini menționează ”voturi” la sfârșit.
Extragerea informației relevante
Aceasta este una dintre aplicabilitățile pe care le are Guidance - să capteze doar partea relevantă a răspunsului unui LLM:
Întrebare: Dintr-o populație de 236754 de persoane, 14872 au răspuns la sondaj. Ce procentaj din populație a răspuns la sondaj?
Răspuns (%): 6
Titlu generat: "Reanimat și Rezervat: O Viață de Zombie într-o Pensiune"Next level - generare de JSON
Folosind acest tool, putem ”programa” un LLM să genereze un răspuns în formatul JSON. Pentru a face asta e nevoie să ajustăm codul, ca să includă câteva indicii despre format:
The following is a list of 10 big cities, starting with London in JSON format. The keys would be names of the cities and value should be their population size in millions:
{
"London": 8.9,
"New York": 8,
"Tokyo": 13,
"Mumbai": 20,
"Delhi": 16,
"Shanghai": 24,
"SaoPaulo": 21,
"MexicoCity": 21,
"Osaka": 19,
"Cairo": 20,
}Mai departe putem integra acest generator într-o funcție, pentru a crea un număr arbitrar de valori:
The following is a list of 6 big cities, starting with London in JSON format. The keys would be names of the cities and value should be their population size in millions:
{
"London": 9,
"NewYork": 8,
"Tokyo": 13,
"Mumbai": 20,
"SaoPaulo": 21,
"Delhi": 17,
}Această abordare poate fi extinsă, pentru a permite modelului de limbaj să folosească API-uri de unde să culeagă date și să răspundă la promt-uri în limbaj natural.
De asemenea Guidance AI poate fi folosit pentru a reduce din costurile de utilizare a unor modele a căror cost depinde de numărul de token-uri folosite pentru generearea unui răspuns. Sau pentru a reduce ”zgomotul” generat de o rețea neuronală cu scopul de a-l transmite unei alte rețele ca sursă.
Referințe: