Store språkmodeller: Hva er de og hvordan de fungerer

Begrepene LLM eller "Large Language Model" blir kastet rundt oftere i disse dager. De fleste vet at de er knyttet til kunstig intelligens, men det er bare det.

Mange av dagens kraftige kunstige intelligenssystemer – fra OpenAIs ChatGPT til Googles BERT – er basert på store språkmodeller, som for øvrig er kilden til deres kraft. Men hva skiller disse LLM-ene fra andre kunstig intelligens-teknologier før dem?

Store språkmodeller, som navnet antyder, er veldig store. De er AI-systemer som er trent med overdrevent store datamengder, noe som gjør dem svært effektive med menneskelige språk. Dette innlegget forklarer hvordan.

Hva er store språkmodeller?

Store språkmodeller er en type kunstig intelligens som er trent til å gjenkjenne, replikere, forutsi og manipulere tekst eller annet innhold. Moderne store språkmodeller består av AI-nevrale nettverk med milliarder eller flere parametere og trenes ofte ved hjelp av petabyte med data.

En stor språkmodell kan forstå mange ting som et menneske ville, men ikke alt. Imidlertid, i motsetning til de fleste mennesker, kan en stor språkmodell ha mer omfattende kunnskap om nesten alt, slik at den ser ut som en allvitende datamaskin.

Store språkmodeller i dag er mulige på grunn av den store mengden digital informasjon på Internett, de lavere kostnadene ved databehandling og økningen i datakraften til både CPUer og GPU-parallelle prosessorer.

Hvordan fungerer store språkmodeller?

På overflaten er en stor språkmodell som f.eks ChatGPT er enkel å bruke. Alt du trenger å gjøre er å skrive inn tekst, og den vil svare på den – fra spørsmål til alle typer forespørsler.

Under overflaten er det imidlertid mye mer som skjer for å produsere de tilsynelatende uanstrengte resultatene som store språkmodeller er kjent for. For eksempel må systemet først opprettes, trenes og finjusteres for å produsere typen ChatGPT-resultater.

Så her er en rask titt på de forskjellige prosessene som gjør store språkmodeller mulig.

• Design: Utformingen av en stor språkmodell vil avgjøre hvordan den fungerer, hvilken algoritme og opplæringsmetoder som skal brukes, samt tid og kostnad for den generelle opplæringen og vedlikeholdet.
• transformers: De fleste store språkmodeller er bygget ved hjelp av transformatorens dyplæringsmodell. Transformatorer er nyttige fordi de har en selvoppmerksomhetsmekanisme som gjør dem mer kontekstbevisste og derfor krever mindre treningstid sammenlignet med eldre modeller.
• Førtrening & Data: Fra Wikipedia til store databaser og andre unike datakilder, mengden og kvaliteten på dataene som brukes til å trene en stor språkmodell vil bestemme utdataene. Foropplæring gir en stor språkmodell den grunnleggende informasjonen den trenger for å forstå skriftlig tekst, språk, kontekst og så videre. Mesteparten av LLM-foropplæring utføres ved å bruke umerkede data i enten semi-overvåket eller selvovervåket læringsmodus.
• Finjustering: Etter foropplæringsstadiet til en LLM, er neste trinn vanligvis domenespesifikk finjustering for å gjøre det til et mer nyttig verktøy for spesifikke formål som chatting, forretningsundersøkelser, kodefullføring og så videre. Dette er stadiet der verktøy som GitHub Copilot og OpenAIs ChatGPT utvikles.

Store språkmodeller og programvareverktøy

En stor språkmodell kan også kobles til andre programvaresystemer eller plattformer gjennom plugins og API-integrasjon. Dette lar LLM utføre virkelige aktiviteter, for eksempel å sjekke tiden, utføre aritmetikk, surfe på nettet og samhandle med nettapper gjennom plattformer som Zapier.

Dette er et område i utvikling og mulighetene er enorme. For eksempel, alt du trenger å gjøre er å gi instruksjonene, og LLM kan slå opp ting for deg på nettet, gjøre reservasjoner, holde øye med siste nyheter, handle, og så videre.

LLM Vilkår og etiketter

Det finnes ingen spesifikk metode for å utvikle en stor språkmodell, så utviklergrupper ender opp med ulike modeller som bruker litt forskjellige tilnærminger for å nå like mål. Denne situasjonen har gitt opphav til ulike merkelapper, da de prøver å beskrive hvordan hver modell fungerer. Følgende er noen av disse begrepene og hva de betyr.

• Zero-shot modell: En forhåndstrent stor språkmodell som er i stand til å lage klassifikasjoner utover det grunnleggende treningssettet og gi ganske nøyaktige resultater for generell bruk.
• Finjustert modell: En domenespesifikk modell.
• Den multimodale modellen: Kan forstå og produsere andre medietyper enn tekst, for eksempel bilder.
• GPT: Generativ forhåndstrent transformator.
• T5: Transformator for tekst-til-tekstoverføring.
• BART: Toveis og autoregressiv transformator.
• BERTI: Toveis koderepresentasjoner fra Transformers.
• ROBERTA: Robust optimalisert BERT-tilnærming.
• CTRL: Betinget transformatorspråkmodell.
• LlaMA: Stor språkmodell Meta AI.
• Turing NLG: Generering av naturlig språk.
• TheMDA: Språkmodeller for dialogapplikasjoner.
• ELECTRA: Effektivt å lære en koder som klassifiserer tokenerstatninger nøyaktig.

Anvendelser av store språkmodeller

Store språkmodeller kan med fordel brukes på mange områder for virksomhet, utvikling og forskning. De virkelige fordelene kommer etter finjustering, som helt avhenger av hva modellen er designet for. Her er deres mange bruksområder.

1. Språk Oversettelse: Store språkmodeller fungerer godt med flere språk. De kan oversette enkle setninger til datakode eller til og med churne ut flere menneskelige språkoversettelser på en gang.
2. Innholdsgenerering: Fra tekstgenerering til bilder og utover, kan LLM-er lønnsomt brukes til å generere all slags innhold, inkludert produktbeskrivelser, markedsføringsinnhold, firma-e-poster og til og med juridiske dokumenter.
3. Virtuelle assistenter: Deres gode forståelse av menneskelig språk gjør LLMs ideelle virtuelle assistenter. De kan godta menneskelig språk som en kommando og bruke det til å skrive ting, utføre online handlinger, utføre undersøkelser og mer.
4. Chat og samtaler: De er også gode chat-partnere, som den populære ChatGPT-modellen demonstrerer.
5. Spørsmål svar: Store språkmodeller absorberer mye informasjon under trening, og dette gjør at de kan svare på de fleste generelle kunnskapsspørsmål.
6. Innholdssammendrag: De kan også oppsummere stort tekstinnhold i kortere former. Transformatormodeller er gode på dette.
7. Finansiell analyse: BloombergGPT er et godt eksempel på dette.
8. Kodegenerering: Dataprogrammerere blir mer effektive med copiloter drevet av store språkmodeller finjustert for programmering.
9. Transkripsjonstjenester: LLM-er gjør det enkelt å utføre tekst-til-tale og tale-til-tekst-transkripsjoner på farten.
10. Omskriving av innhold: Enten på samme språk eller i en annen stil.
11. Sentiment Analyse: LLM-er kan brukes til å effektivt utlede innebygde følelser i menneskelig kommunikasjon. Dette kan brukes lønnsomt av markedsføringsteam som studerer kundene sine.
12. Informasjon henting: Deres gode forståelse av menneskelig språk gjør LLM til en viktig del av moderne søkemotorer.
13. Utdanning: Fra interaktive læringsverktøy til smartere og personlig tilpassede veilednings- og karaktersystemer, potensielle anvendelser av LLM-er i utdanning er enorme.

Fordelene med store språkmodeller

Til tross for de mange utfordringene med utvikling av store språkmodeller, er fordelene mange og verdt bryet. Her er de viktigste.

• Rik språkforståelse: LLM-er kan forstå og svare på språket ditt som om du snakket med et annet menneske. Dette gjør dem spesielt verdifulle som et grensesnitt mellom mennesker og dataverdenen.
• Kreativitet: Generative forhåndstrente transformatorer har bevist sine evner til å produsere imponerende tekstutganger som for eksempel ChatGPT og bilder, som med Stabil diffusjon.
• Allsidighet: En nullskuddsmodell er et allsidig verktøy som kan brukes til mange oppgaver og prosjekter som krever forskjellige miljøer og applikasjoner.
• Finjusteringsevne: Enhver organisasjon kan ta en forhåndsopplært modell og finjustere den for å ta opp oppgaver og prosesser i arbeidsflyten deres. Og dette inkluderer å suge inn organisasjonens kultur og etikk som merkevarebygging, slagord og tilnærminger.

Utfordringene

Store språkmodeller byr på mange utfordringer, som har gjort dem til domene for stort sett velfinansierte selskaper. Her er de viktigste problemene utviklere møter med LLM-er.

• Utviklings- og vedlikeholdskostnader: Store språkmodeller er både dyre å utvikle og vedlikeholde.
• Skala og kompleksitet: Navnet sier alt. Store språkmodeller er enorme og komplekse. Du trenger et godt team for å bygge og administrere et.
• Skjevheter og unøyaktigheter: Gitt størrelsen på uovervåket læring de gjennomgår, kan store språkmodeller inkludere mange skjevheter og unøyaktigheter akkurat når de fanget dem opp.

Liste over populære store språkmodeller

S / N	Navn	År	Utvikler	Corpus størrelse	Parametre	Tillatelse
1.	GPT-4	2023	OpenAI	Ukjent	~ 1 billion	Offentlig API
2.	PanGu-Σ	2023	Huawei	329 milliarder tokens	1 billioner	Proprietær
3.	MT-NLG	2021	Microsoft/Nvidia	338 milliarder tokens	530 milliarder	begrenset
4.	Åpne assistent	2023	LAION	1.5 billioner tokens	17 milliarder	Apache 2.0
5.	BloombergGPT	2023	Bloomberg L.P.	700+ milliarder tokens	50 milliarder	Proprietær
6.	Samtaler	2023	Meta	1.4 billioner	65 milliarder	begrenset
7.	Galactica	2022	Meta	106 milliarder tokens	120 milliarder	CC-BY-NC
8.	Cerebras-GPT	2023	Cerebras	-	13 milliarder	Apache 2.0
9.	BLOOM	2022	HugginFace & Co	350 milliarder tokens	175 milliarder	Ansvarlig AI
10.	GPT-Neo	2021	Eleuther AI	825 GB	2.7 milliarder	MIT
11.	Falcon	2023	IIT	1 billioner tokens	40 milliarder	Apache 2.0
12.	GLaM	2021	Google	1.6 billioner tokens	1.2 billioner	Proprietær
13.	GPT-3	2020	OpenAI	300 milliarder tokens	175 milliarder	Offentlig API
14.	BERTI	2018	Google	3.3 milliarder	340 millioner	Apache
15.	AlexaTM	2022	Amazon	1.3 billioner	20 milliarder	Offentlig API
16.	YaLM	2022	Yandex	1.7 TB	100 milliarder	Apache 2.0

LLM med åpen kildekode

Mange av de populære store språkmodellene er åpen kildekode-prosjekter, selv om deres kompleksitet og enorme kostnader gjør det umulig for mange utviklere å ta dem i bruk. Du kan imidlertid fortsatt kjøre de trente modellene for enten forskningsformål eller produksjon på utviklerens infrastruktur. Noen er gratis, mens andre er rimelige. Her er en fin liste.

Liste over beste LLM-ressurser

Følgende er en liste over nettets beste ressurser for å lære alt om og holde tritt med store språkmodeller og AI-industrien.

• OpenAI: Utviklere av ChatGPT, GPT-4 og Dall-E
• Huggin Face: Populært nettsted for AI-relaterte ting fra naturlig språkbehandling (NLP) til store språkmodeller
• Google AI-blogg: Tilbyr informasjon, forskningsoppdateringer, studier og artikler fra Googles forskningsteam.
• GitHub: Populær kodevertsplattform med mange åpen kildekode-prosjekter og deres koder.
• Nvidia: Produsenter av maskinvare for parallell databehandling
• ACL antologi: Stor plattform med 80k+ artikler om naturlig språkbehandling og datalingvistikk.
• Neurips: Konferanse for nevrale informasjonsbehandlingssystemer.
• Medium: Bloggeplattform med mange AI- og maskinlæringsblogger fra ulike eksperter og forskere.
• arxiv: Stort vitenskapelig depot med alle typer forskningsartikler, inkludert AI og store språkmodeller.

Ofte Stilte Spørsmål

Følgende er noen vanlige spørsmål om store språkmodeller.

Konklusjon

Når du runder denne utforskningen av store språkmodeller og hva de er, vil du være enig i at de forandrer verden og er kommet for å bli.

Mens organisasjonens tekniske evner avgjør om du kan delta her eller ikke, kan bedriften din alltid utnytte de mange fordelene med generativ AI levert av store språkmodeller.