&emoji=&slug=kriptovijesti&button_colour=b532ed&font_colour=ffffff&font_family=Poppins&outline_colour=ffffff&coffee_colour=FFDD00)
Programeri koji žele sigurnije i brže implementirati aplikacije velikog jezičnog modela (LLM) sada imaju robusno rješenje s predlošcima LangChain i NVIDIA NeMo Guardrails, prema NVIDIA Technical Blogu.
Prednosti integracije NeMo zaštitnih ograda s LangChain predlošcima
Predlošci LangChain nude programerima novi način stvaranja, dijeljenja, održavanja, preuzimanja i prilagodbe agenata i lanaca temeljenih na LLM-u. Ovi predlošci omogućuju brzo stvaranje aplikacija spremnih za proizvodnju, koristeći FastAPI za besprijekoran razvoj API-ja u Pythonu. NVIDIA NeMo Guardrails može se integrirati u ove predloške kako bi se omogućilo moderiranje sadržaja, poboljšana sigurnost i procjena LLM odgovora.
Kako se generativna umjetna inteligencija nastavlja razvijati, integracija zaštitnih ograda osigurava da LLM-ovi koji se koriste u poslovnim aplikacijama ostanu točni, sigurni i kontekstualno relevantni. Platforma NeMo Guardrails pruža programabilna pravila i integraciju vremena izvođenja za kontrolu korisničkih unosa prije uključivanja u LLM i za provjeru konačnog LLM izlaza.
Postavljanje slučaja upotrebe
Kako bi se demonstrirala integracija, post na blogu istražuje slučaj upotrebe generiranja proširenog dohvaćanja (RAG) pomoću postojećeg LangChain predloška. Proces uključuje preuzimanje predloška, njegovu izmjenu kako bi odgovarao specifičnom slučaju upotrebe, a zatim implementaciju aplikacije s dodanim zaštitnim ogradama kako bi se osigurala sigurnost i točnost.
Zaštitne ograde LLM-a pomažu smanjiti halucinacije i čuvaju podatke sigurnima implementacijom ulaznih i izlaznih tračnica za samoprovjeru koje maskiraju osjetljive podatke ili preformuliraju korisničke unose. Na primjer, tračnice za dijalog mogu utjecati na to kako LLM-i reagiraju, a tračnice za dohvaćanje mogu maskirati osjetljive podatke u RAG aplikacijama.
Preuzimanje i prilagodba predloška LangChain
Za početak, programeri trebaju instalirati LangChain CLI i LangChain NVIDIA AI Foundation Endpoints paket. Predložak se može preuzeti i prilagoditi stvaranjem novog aplikacijskog projekta:
pip install -U langchain-cli
pip install -U langchain_nvidia_aiplay
langchain app nvidia_rag_guardrails --package nvidia-rag-canonicalPreuzeti predložak postavlja cjevovod za unos u Milvus vektorsku bazu podataka. U ovom primjeru skup podataka sadrži osjetljive informacije u vezi s beneficijama socijalnog osiguranja, zbog čega je integracija zaštitne ograde ključna za sigurne odgovore.
Integracija NeMo zaštitnih ograda
Kako bi integrirali NeMo Guardrails, programeri trebaju stvoriti direktorij pod nazivom zaštitne ograde i konfigurirajte potrebne datoteke kao što su config.yml, disallowed.co, general.coi prompts.yml. Ove konfiguracije definiraju tokove zaštitne ograde koji kontroliraju ponašanje chatbota i osiguravaju da se pridržava unaprijed definiranih pravila.
Na primjer, nedopušteni tijek može spriječiti chatbota da odgovori na dezinformacije, dok bi opći tijek mogao definirati prihvatljive teme. Također se implementiraju samoprovjere korisničkih unosa i LLM izlaza kako bi se spriječili napadi na kibernetičku sigurnost poput brzog ubrizgavanja.
Aktiviranje i korištenje predloška
Kako bi aktivirali zaštitne ograde, programeri trebaju uključiti konfiguracije u config.yml datoteku i postavite poslužitelj za API pristup. Sljedeći isječci koda pokazuju kako integrirati zaštitne ograde i postaviti poslužitelj:
from nvidia_guardrails_with_RAG import chain_with_guardrails as nvidia_guardrails_with_RAG_chain
add_routes(app, nvidia_guardrails_with_RAG_chain, path="/nvidia-guardrails-with-RAG")from nvidia_guardrails_with_RAG import ingest as nvidia_guardrails_ingest
add_routes(app, nvidia_guardrails_ingest, path="/nvidia-rag-ingest")Programeri zatim mogu pokrenuti LangServe instancu naredbom:
langchain servePrimjer sigurne LLM interakcije mogao bi izgledati ovako:
"Question": "How many Americans receive Social Security Benefits?"
"Answer": "According to the Social Security Administration, about 65 million Americans receive Social Security benefits."Zaključak
Ova integracija NeMo Guardrails s LangChain predlošcima pokazuje robustan pristup stvaranju sigurnijih LLM aplikacija. Dodavanjem sigurnosnih mjera i osiguravanjem točnih odgovora, programeri mogu izgraditi pouzdane i sigurne AI aplikacije.
Izvor slike: Shutterstock
. . .
Oznake
 &emoji=&slug=kriptovijesti&button_colour=b532ed&font_colour=ffffff&font_family=Comic&outline_colour=ffffff&coffee_colour=FFDD00)
