Naturlig språkbehandling (NLP)

Vad det är och varför det är viktigt

Naturlig språkbehandling (Natural Language Processing, NLP) är en gren inom artificiell intelligens som hjälper datorer att förstå, tolka och manipulera mänskligt språk. NLP är tvärvetenskapligt och använder sig bland annat av datorvetenskap och språkteknologi i syfte att överbrygga gapet mellan mänsklig kommunikation och datorers förmåga att förstå.

Utvecklingen av naturlig språkbehandling

Även om naturlig språkbehandling inte är en ny vetenskap gör teknologin snabba framsteg tack vare ett ökat intresse för kommunikation mellan människa och maskin samt tillgängligheten av big data, kraftfull dataanvändning och förbättrade algoritmer.

En människa kanske talar och skriver på engelska, spanska eller kinesiska. Men en dators modersmål – som kallas maskinkod eller binär kod – är för de flesta människor praktiskt taget omöjligt att förstå. Enheten kommunicerar inte med ord utan med miljontals ettor och nollor som leder till logiska handlingar.

Faktum är att programmerare använde hålkort för att kommunicera med de första datorerna för 70 år sedan. Denna manuella och mödosamma uppgift kunde bara utföras av relativt få personer. Nu för tiden kan du säga ”Alexa, jag gillar den här låten” och enheten som spelar musik i ditt hem sänker volymen och svarar ”Okej, omdömet har sparats”, med en människolik röst. Sedan anpassar den sin algoritm för att spela den låten och andra liknande låtar nästa gång du lyssnar på musik.

Låt oss ta en närmare titt på den här interaktionen. Din enhet aktiverades när den hörde din röst, den förstod avsikten i det du sa, utförde en handling och svarade dig med en korrekt svensk mening – allt på ungefär fem sekunder. Hela denna interaktion är möjlig tack vare NLP och andra aspekter av AI som maskininlärning och djup maskininlärning.

Alla röster blir hörda med naturlig språkbehandling

Upptäck hur maskiner kan lära sig att förstå och tolka nyanserna i mänskligt språk, hur AI:s naturliga språkbehandling och mänsklig expertis samarbetar för att hjälpa människor och maskiner att kommunicera med varandra och hur NLP används inom flera olika branscher.

Läs e-boken

Kia använder AI och avancerad analys för att tolka innebörden i kunders feedback

Kia Motors America samlar regelbundet in feedback från fordonsägare via enkäter för att upptäcka kvalitetsproblem och förbättra sina produkter. Men att förstå och kategorisera enkätsvaren kan vara svårt. Med SAS naturliga språkbehandling kan Kia tolka innebörden i feedbacken. En NLP-modell kategoriserar och extraherar automatiskt klagomålen från varje svar så att kvalitetsproblem kan åtgärdas i design- och tillverkningsprocesserna för befintliga och framtida fordon.

Läs caset

Varför är NLP viktigt?

Stora volymer av textdata

Naturlig språkbehandling hjälper datorer att kommunicera med människor på vårt språk och kan hantera olika språkbaserade uppgifter. Till exempel kan datorer tack vare NLP läsa text, lyssna på talat språk, tolka det, identifiera känslan i språket och avgöra vilka delar som är viktiga.

Dagens maskiner kan analysera större volymer av språkbaserad data än människor – utan att bli uttröttade och på ett konsekvent och opartiskt sätt. Med tanke på de enorma mängder ostrukturerade data som genereras varje dag, från vårdjournaler till sociala media, kommer automatisering att vara avgörande för att kunna analysera text- och taldata både fullständigt och effektivt.

Strukturerar ostrukturerade datakällor

Mänskligt språk är häpnadsväckande komplext och mångsidigt. Vi uttrycker oss på oräkneliga sätt både i tal och skrift. Det finns inte bara hundratals språk och dialekter utan varje språk har sin unika grammatik, sina syntaxregler, uttryck och slangord. När vi skriver händer det ofta att vi stavar fel, använder förkortningar eller missar att använda skiljetecken. När vi talar har vi regionala dialekter, vi mumlar, stammar och lånar ord från andra språk.

Även om övervakad och oövervakad inlärning, och i synnerhet djup maskininlärning, idag ofta används för att modellera mänskligt språk krävs också en syntaktisk och semantisk förståelse samt ämnesexpertis som inte nödvändigtvis finns i dessa maskininlärningsteknologier. NLP är viktigt för att det kan avlägsna tvetydigheter i språk och skapar en praktisk numerisk struktur i datan för många efterkommande applikationer som språkigenkänning och textanalys.

NLP idag

Läs mer om hur naturlig språkbehandling används inom olika branscher

Nyfiken på ChatGPT? Läs mer om AI inom utbildningsväsendet

Lär dig att se bortom hypen och förstå vad ChatGPT gör och vilket värde det har inom utbildningsväsendet. Mary Osborne, professor och SAS NLP-expert, berättar mer om sina erfarenheter av ChatGPT:s begränsningar – och styrkor – i klassrummet.

Läs blogginlägget

Naturlig språkbehandling för effektivare myndigheter

Myndigheter blir överösta av textbaserade data i både digitala och fysiska dokument. Genom att använda teknologier som NLP, textanalys och maskininlärning kan myndigheter minska mödosamma manuella processer och samtidigt tillgodose medborgares krav på transparens och svarstider samtidigt som de löser personalproblem och får nya insikter från datan.

Läs mer

Vad kan textanalys göra för ditt företag?

Textanalys är en typ av naturlig språkbehandling som förvandlar text till analyserbara data. Läs mer om hur organisationer inom bankväsen, tillverkning, medicin och life science samt myndigheter använder textanalys för att skapa bättre kundupplevelser, motverka bedrägerier och förbättra samhället.

Läs artikeln

Hur fungerar NLP?

Språkets grundläggande delar

Processer inom naturlig språkbehandling omfattar många olika tekniker för att tolka mänskligt språk – från statistiska metoder och maskininlärning till regelbaserade och algoritmiska tillvägagångssätt. Vi behöver en bred uppsättning av metoder eftersom både text- och röstbaserade data och deras användningar är mångfaldiga och olikartade.

Grundläggande NLP-uppgifter omfattar tokenisering och parsning, lemmatisering/stemming, ordklasstaggning, språkigenkänning och identifiering av semantiska relationer. Du har antagligen gjort dessa uppgifter manuellt i grundskolan.

Generellt kan man säga att NLP-uppgifter delar upp språket i kortare, grundläggande delar, försöker förstå relationen mellan dessa bitar och utforskar hur bitarna kan sättas ihop för att skapa mening.

Dessa uppgifter används ofta i mer avancerade NLP-funktioner såsom:

Innehållskategorisering.En lingvistikbaserad sammanfattning av dokument, inklusive sökning och indexering, innehållsvarningar och dubblettidentifiering.
Klassificering med stora språkmodeller. BERT-baserade klassificeringar används för att fånga kontexten och betydelsen av orden i en text för att förbättra träffsäkerheten jämfört med traditionella modeller.
Korpusanalys. Förstå dokuments korpus och struktur med statistiska utdata för uppgifter som effektiv stickprovsinsamling, förberedelse av data att använda som indata för ytterligare modeller och strategiskt utveckla modeller.
Kontextuell extrahering. Extrahera automatiskt strukturerad information från textbaserade källor.
Känsloanalys. Identifiera känslostämningen och subjektiva åsikter i stora mängder text.
Konvertering av tal-till-text och text-till-tal. Förvandla röstkommandon till skriven text och vice versa.
Dokumentsammanfattning.Få automatiskt genererade sammanfattningar av stora textmängder och upptäck vilka språk som används i flerspråkiga dokument.
Maskinöversättning. Översätt automatiskt text eller tal från ett språk till ett annat.

I alla dessa användningsfall är det övergripande målet att ta rå språkindata och omvandla eller berika texten så att den ger mer värde med hjälp av lingvistik och algoritmer.

SAS^® Visual Text Analytics

Hur hittar man svar i stora mängder textdata? Genom att kombinera maskininlärning med naturlig språkbehandling och textanalys. Ta reda på hur ostrukturerade data kan analyseras för att upptäcka problem, utvärdera känslostämningen, identifiera kommande trender och belysa dolda möjligheter.

Metoder inom och användning av NLP

Så hittar datorer betydelsen i textdata

NLP och textanalys

Naturlig språkbehandling går hand i hand med textanalys som räknar, grupperar och kategoriserar ord för att extrahera strukturen och betydelsen av stora mängder text. Textanalys används för att utforska textinnehåll och härleda nya variabler från obearbetad text som kan visualiseras, filtreras eller användas som indata för prediktiva modeller och andra statistiska metoder.

NLP och textanalys används tillsammans för många olika användningsområden:

Undersökande upptäckt. Upptäck mönster och hintar i e-postmeddelanden och avrapporteringar för att upptäcka och lösa brott.
Ämnesexpertis. Klassificera innehåll i betydelsefulla ämnen så att du kan hitta åtgärder och upptäcka trender.
Analys av sociala medier. Följ medvetenhet om och känslor kring specifika ämnen och identifiera viktiga influencers.

Vardagsexempel på NLP

Det finns många vanliga, praktiska användningar av NLP i vår vardag. Här är några fler exempel – utöver att interagera med virtuella assistenter som Alexa och Siri:

Har du någonsin tittat i din skräppost och upptäckt att de olika skräpmeddelanden har liknande ämnesrader? Då tittar du på ett Bayesiskt spamfilter, en statistisk NLP-teknik som jämför orden i skräppost med orden i riktig e-post för att identifiera vad som inte ska hamna i din inkorg.
Har du missat ett samtal och läst en automatisk transkription av meddelandet i din röstbrevlåda? Det är tal-till-text-konvertering som också är en NLP-funktion.
Har du letat efter något på en webbplats genom att använda ett inbyggt sökfält, föreslagna ämnen eller enhets- och kategoritaggar? Då har du använt NLP-metoder för sökning, ämnesmodellering, enhetsextraktion och innehållskategorisering.

Ett delområde inom NLP som kallas naturlig språkförståelse (natural language understanding, NLU) har börjat öka i popularitet tack vare dess potential för tillämpningar inom kognition och AI. NLU går längre än en strukturell språkförståelse och tolkar avsikter, löser tvetydigheter i kontext och ordval och kan till och med generera välformulerade och människoliknande svar. NLU-algoritmer måste tackla de otroligt komplexa utmaningarna som semantisk tolkning medför – att förstå den avsedda meningen i talat och skrivet språk med alla nyanser, sammanhang och slutsatser som vi människor kan förstå.

Utvecklingen av NLP mot NLU har många viktiga implikationer för både företag och kunder. Föreställ dig kraften i en algoritm som kan förstå meningen och nyanserna i mänskligt språk i många olika sammanhang från medicin till juridik till undervisning. Mängden ostrukturerade data fortsätter att växa exponentiellt och där behöver vi datorernas outtröttliga stöd för att hjälpa oss att hitta insikterna i datan.