Naturlig språkbehandling (NLP)

Naturlig språkbehandling (Natural Language Processing, NLP) är en gren inom artificiell intelligens som hjälper datorer att förstå, tolka och manipulera mänskligt språk. NLP är tvärvetenskapligt och använder sig bland annat av datorvetenskap och språkteknologi i syfte att överbrygga gapet mellan mänsklig kommunikation och datorers förmåga att förstå.

• Historia
•      
• Så används det
  
•      
• Så fungerar det
•      
• Metoder
  

Utvecklingen av naturlig språkbehandling

Även om naturlig språkbehandling inte är en ny vetenskap gör teknologin snabba framsteg tack vare ett ökat intresse för kommunikation mellan människa och maskin samt tillgängligheten av big data, kraftfull dataanvändning och förbättrade algoritmer.

En människa kanske talar och skriver på engelska, spanska eller kinesiska. Men en dators modersmål – som kallas maskinkod eller binär kod – är för de flesta människor praktiskt taget omöjligt att förstå. Enheten kommunicerar inte med ord utan med miljontals ettor och nollor som leder till logiska handlingar.

Faktum är att programmerare använde hålkort för att kommunicera med de första datorerna för 70 år sedan. Denna manuella och mödosamma uppgift kunde bara utföras av relativt få personer. Nu för tiden kan du säga ”Alexa, jag gillar den här låten” och enheten som spelar musik i ditt hem sänker volymen och svarar ”Okej, omdömet har sparats”, med en människolik röst. Sedan anpassar den sin algoritm för att spela den låten och andra liknande låtar nästa gång du lyssnar på musik.

Låt oss ta en närmare titt på den här interaktionen. Din enhet aktiverades när den hörde din röst, den förstod avsikten i det du sa, utförde en handling och svarade dig med en korrekt svensk mening – allt på ungefär fem sekunder. Hela denna interaktion är möjlig tack vare NLP och andra aspekter av AI som maskininlärning och djup maskininlärning.

Varför är NLP viktigt?

Stora volymer av textdata

Naturlig språkbehandling hjälper datorer att kommunicera med människor på vårt språk och kan hantera olika språkbaserade uppgifter. Till exempel kan datorer tack vare NLP läsa text, lyssna på talat språk, tolka det, identifiera känslan i språket och avgöra vilka delar som är viktiga.

Dagens maskiner kan analysera större volymer av språkbaserad data än människor – utan att bli uttröttade och på ett konsekvent och opartiskt sätt. Med tanke på de enorma mängder ostrukturerade data som genereras varje dag, från vårdjournaler till sociala media, kommer automatisering att vara avgörande för att kunna analysera text- och taldata både fullständigt och effektivt.

Strukturerar ostrukturerade datakällor

Mänskligt språk är häpnadsväckande komplext och mångsidigt. Vi uttrycker oss på oräkneliga sätt både i tal och skrift. Det finns inte bara hundratals språk och dialekter utan varje språk har sin unika grammatik, sina syntaxregler, uttryck och slangord. När vi skriver händer det ofta att vi stavar fel, använder förkortningar eller missar att använda skiljetecken. När vi talar har vi regionala dialekter, vi mumlar, stammar och lånar ord från andra språk.

Även om övervakad och oövervakad inlärning, och i synnerhet djup maskininlärning, idag ofta används för att modellera mänskligt språk krävs också en syntaktisk och semantisk förståelse samt ämnesexpertis som inte nödvändigtvis finns i dessa maskininlärningsteknologier. NLP är viktigt för att det kan avlägsna tvetydigheter i språk och skapar en praktisk numerisk struktur i datan för många efterkommande applikationer som språkigenkänning och textanalys.

NLP in today’s world

Hur fungerar NLP?

Språkets grundläggande delar

Processer inom naturlig språkbehandling omfattar många olika tekniker för att tolka mänskligt språk – från statistiska metoder och maskininlärning till regelbaserade och algoritmiska tillvägagångssätt. Vi behöver en bred uppsättning av metoder eftersom både text- och röstbaserade data och deras användningar är mångfaldiga och olikartade.

Grundläggande NLP-uppgifter omfattar tokenisering och parsning, lemmatisering/stemming, ordklasstaggning, språkigenkänning och identifiering av semantiska relationer. Du har antagligen gjort dessa uppgifter manuellt i grundskolan.

Generellt kan man säga att NLP-uppgifter delar upp språket i kortare, grundläggande delar, försöker förstå relationen mellan dessa bitar och utforskar hur bitarna kan sättas ihop för att skapa mening.

Dessa uppgifter används ofta i mer avancerade NLP-funktioner såsom:

• Innehållskategorisering.En lingvistikbaserad sammanfattning av dokument, inklusive sökning och indexering, innehållsvarningar och dubblettidentifiering.
• Klassificering med stora språkmodeller. BERT-baserade klassificeringar används för att fånga kontexten och betydelsen av orden i en text för att förbättra träffsäkerheten jämfört med traditionella modeller.
• Korpusanalys. Förstå dokuments korpus och struktur med statistiska utdata för uppgifter som effektiv stickprovsinsamling, förberedelse av data att använda som indata för ytterligare modeller och strategiskt utveckla modeller.
• Kontextuell extrahering. Extrahera automatiskt strukturerad information från textbaserade källor.
• Känsloanalys. Identifiera känslostämningen och subjektiva åsikter i stora mängder text.
• Konvertering av tal-till-text och text-till-tal. Förvandla röstkommandon till skriven text och vice versa.
• Dokumentsammanfattning.Få automatiskt genererade sammanfattningar av stora textmängder och upptäck vilka språk som används i flerspråkiga dokument.
• Maskinöversättning. Översätt automatiskt text eller tal från ett språk till ett annat.

I alla dessa användningsfall är det övergripande målet att ta rå språkindata och omvandla eller berika texten så att den ger mer värde med hjälp av lingvistik och algoritmer.

NLP methods and applications

How computers make sense of textual data