Pemrosesan Bahasa Alamiah

Apa itu dan mengapa hal itu penting

Pemrosesan Bahasa Alamiah (Natural language processing/NLP) merupakan cabang kecerdasan buatan yang membantu komputer memahami, menafsirkan, dan memanipulasi bahasa manusia. NLP menarik dari banyak disiplin ilmu, termasuk ilmu komputer dan linguistik komputasional, dalam usahanya untuk mengisi kesenjangan antara komunikasi manusia dan pemahaman komputer.

Evolusi pemrosesan bahasa alamiah

Sementara pemrosesan bahasa alamiah bukanlah ilmu baru, teknologi ini berkembang pesat berkat meningkatnya minat komunikasi manusia-ke-mesin, ditambah ketersediaan big data, komputasi canggih, dan algoritme yang disempurnakan.

Sebagai manusia, Anda dapat berbicara dan menulis dalam bahasa Inggris, Spanyol atau Tiongkok. Namun bahasa alami komputer – yang dikenal sebagai kode mesin atau bahasa mesin – sebagian besar tidak bisa dipahami oleh kebanyakan orang. Pada tingkat perangkat Anda yang paling rendah, komunikasi terjadi bukan dengan kata-kata tetapi melalui jutaan nol dan yang menghasilkan tindakan logis.

Memang, programmer menggunakan kartu punch untuk berkomunikasi dengan komputer pertama 70 tahun yang lalu. Panduan dan proses yang sulit ini hanya dipahami oleh sejumlah kecil orang. Kini Anda dapat berkata, “Alexa, saya suka lagu ini,” dan perangkat yang memutar musik di rumah Anda akan mengecilkan volumenya lalu menjawab, “Oke. Peringkat disimpan,” dengan suara yang mirip manusia. Kemudian perangkat tersebut menyesuaikan algoritmenya untuk memainkan lagu itu – dan orang lain menyukainya – pada saat Anda mendengarkan stasiun musik itu kemudian.

Mari kita lihat lebih dekat pada interaksi tersebut. Perangkat Anda diaktifkan ketika mendengar Anda berbicara, memahami maksud yang tak terucapkan dalam komentar, melakukan tindakan, dan memberikan umpan balik dalam kalimat bahasa Inggris yang terbentuk dengan baik, semua dalam waktu sekitar lima detik. Interaksi lengkap dimungkinkan oleh NLP, bersama dengan unsur-unsur AI lainnya seperti pembelajaran mesin dan pembelajaran mendalam.

Mengurangi keluhan pelanggan dengan NLP

Royal Bank of Scotland menggunakan analitik teks, sebuah teknik NLP, untuk mengekstraksi tren-tren penting dari masukan nasabah dalam berbagai bentuk. Perusahaan menganalisis data dari email, survei, dan percakapan call center untuk mengidentifikasi penyebab utama ketidakpuasan pelanggan dan melakukan perbaikan. Lihat video ini untuk mempelajari lebih lanjut tentang analitik yang mentransformasikan hubungan pelanggan.

Mengapa NLP penting?

Volume besar data tekstual

Pemrosesan bahasa alamiah membantu komputer berkomunikasi dengan manusia dalam bahasanya sendiri dan membuat skala tugas-tugas yang terkait bahasa lainnya. Misalnya, NLP memungkinkan komputer untuk membaca teks, mendengar ucapan, menafsirkannya, mengukur sentimen, dan menentukan bagian mana yang penting.

Mesin saat ini dapat menganalisis data berbasis bahasa lebih banyak dibandingkan manusia, tanpa rasa lelah dan dengan cara yang konsisten serta tidak bias. Mengingat banyaknya data tidak terstruktur yang dihasilkan setiap hari, dari rekam medis hingga media sosial, automasi akan sangat penting untuk sepenuhnya menganalisis data teks dan ucapan dengan efisien.

Menyusun sumber data yang sangat tidak terstruktur

Bahasa manusia amat sangat kompleks dan beragam. Kita mengekspresikan diri dengan cara yang tak terbatas, baik secara verbal maupun tertulis. Tidak hanya ada ratusan bahasa dan dialek, namun di dalam setiap bahasa ada juga serangkaian aturan tata bahasa dan sintaksis, istilah, dan kata-kata slang. Saat kita menulis, kita seringkali salah eja atau menyingkat kata, atau menghilangkan tanda baca. Saat kita berbicara, kita memiliki dialek kedaerahan, dan kita terkadang bergumam, gagap, dan meminjam istilah-istilah dari bahasa lain.

Meskipun pembelajaran yang disupervisi dan tidak disupervisi, dan khususnya pembelajaran mendalam, sekarang banyak digunakan untuk pemodelan bahasa manusia, ada juga kebutuhan untuk pemahaman sintaksis dan semantik serta keahlian domain yang tidak selalu hadir dalam pendekatan pembelajaran mesin ini. NLP sangat penting karena membantu menyelesaikan ambiguitas dalam bahasa dan menambahkan struktur numerik yang berguna untuk data bagi banyak aplikasi hilir, seperti pengenalan ujaran atau analisis teks.

NLP di dunia saat ini

Pelajari lebih lanjut tentang pemrosesan bahasa alamiah di banyak industri

Merencanakan NLP

Bagaimana organisasi-organisasi di seluruh dunia menggunakan kecerdasan buatan dan NLP? Berapa tarif pengadopsian dan rencana masa depan untuk teknologi ini? Berapa anggaran dan program penggunaannya? Dan masalah bisnis apa saja yang dapa diselesaikan dengan algoritme NLP? Cari tahu dalam laporan dari TDWI ini.

Baca laporan

Temukan sepsis sebelum jadi mematikan

Dignity Health menggunakan NLP dan algoritme canggih lainnya untuk memantau catatan medis elektronik untuk indikasi sepsis. Jika probabilitas pasien mengalami sepsis tinggi, sistem mengirimkan alarm ke perawat atau dokter utama.

Baca artikel

Apa yang analitik teks dapat lakukan untuk organisasi Anda?

Analitik teks adalah jenis pemrosesan bahasa alami yang mengubah teks menjadi data untuk analisis. Pelajari bagaimana organisasi di bidang perbankan, perawatan kesehatan dan ilmu kehidupan, manufaktur dan pemerintah menggunakan analisis teks untuk mendorong pengalaman pelanggan yang lebih baik, mengurangi penipuan, dan memperbaiki masyarakat.

Baca dokumen

Bagaimana NLP bekerja?

Menjabarkan potongan-potongan unsur bahasa

Pemrosesan bahasa alamiah mencakup berbagai teknik bahasa untuk menafsirkan bahasa manusia, berkisar dari metode statistik dan pembelajaran mesin hingga pendekatan-pendekatan berbasis aturan dan algoritmik. Kita memerlukan berbagai pendekatan yang luas karena data berbasis teks dan suara sangat bervariasi, seperti halnya aplikasi praktis.

Tugas-tugas NLP dasar meliputi tokenisasi dan parsing, lemmatization/stemming, part-of-speech tagging, deteksi bahasa, dan identifikasi hubungan semantik. Jika Anda pernah membuat diagram kalimat di sekolah dasar, Anda telah melakukan tugas ini secara manual sebelumnya.

Secara umum, tugas NLP memecah bahasa menjadi potongan-potongan unsur yang lebih pendek, mencoba memahami hubungan di antara potongan tersebut, dan menjelajahi bagaimana potongan itu bekerja bersama untuk menciptakan makna.

Tugas yang mendasari ini sering digunakan dalam kemampuan NLP tingkat yang lebih tinggi, seperti:

Kategorisasi konten. Ringkasan dokumen berbasis linguistik, termasuk pencarian dan penyusunan indeks, pemberitahuan konten dan deteksi duplikasi.
Penemuan dan pemodelan topik. Tangkap makna dan tema secara akurat dalam kumpulan teks, dan terapkan analitik tingkat lanjut ke teks, seperti pengoptimalan dan perkiraan.
Ekstraksi kontekstual. Secara otomatis menarik informasi terstruktur dari sumber berbasis teks.
Analisis sentimen. Mengidentifikasi suasana hati atau opini subjektif dalam jumlah besar teks, termasuk sentimen rata-rata dan penambangan opini.
Konversi ujaran-ke-teks dan teks-ke-ujaran. Mentransformasikan perintah suara ke dalam teks tertulis, dan sebaliknya.
Perangkuman dokumen. Secara otomatis menghasilkan sinopsis kumpulan besar teks.
Penerjemahan mesin. Penerjemahan otomatis teks atau ujaran dari satu bahasa ke bahasa lainnya.

Dalam seluruh kasus ini, tujuan utamanya adalah untuk mengambil masukan bahasa mentah dan menggunakan linguistik dan algoritme untuk mengubah atau memperkaya teks sedemikian rupa sehingga memberikan nilai yang lebih besar.

SAS^® Visual Text Analytics

Bagaimana Anda dapat menemukan jawaban dalam sejumlah besar data tekstual? Dengan menggabungkan pembelajaran mesin dan pemrosesan bahasa alamiah serta analitik teks. Cari tahu bagaimana data Anda yang tidak terstruktur dapat dianalisis untuk mengidentifikasi masalah, mengevaluasi sentimen, mendeteksi tren yang muncul, dan melihat peluang tersembunyi.

Metode dan aplikasi NLP

Bagaimana komputer memahami data tekstual

NLP dan analitik teks

Pemrosesan bahasa alami selalu bersamaan dengan analitik teks, yang menghitung, mengelompokkan, dan mengategorikan kata untuk mengekstrak struktur serta makna dari volume konten yang besar. Analitik teks digunakan untuk mengeksplorasi konten tekstual dan memperoleh variabel baru dari teks mentah yang dapat divisualisasikan, difilter, atau digunakan sebagai input untuk model prediktif atau metode statistik lainnya.

NLP dan analitik teks digunakan bersama-sama untuk berbagai aplikasi, termasuk:

Temuan investigatif. Mengidentifikasi pola dan petunjuk dalam email atau laporan tertulis guna membantu mendeteksi dan mengatasi kejahatan.
Narasumber ahli. Klasifikasikan konten ke dalam topik-topik bermakna sehingga Anda dapat mengambil tindakan dan menemukan tren.
Analitik media sosial. Telusuri kewaspadaan dan sentimen tentang topik-topik khusus dan identifikasi pihak penting yang berpengaruh.

Contoh NLP sehari-hari

Ada banyak aplikasi umum dan praktis NLP di kehidupan kita sehari-hari. Selain berbicara dengan asisten virtual seperti Alexa atau Siri, berikut beberapa contoh lagi:

Pernahkah Anda melihat email di folder spam Anda dan melihat kesamaan di baris subjek? Anda melihat pemfilteran spam Bayesian, teknik NLP statistik yang membandingkan kata-kata dalam spam ke email yang valid untuk mengidentifikasi junk mail.
Pernahkah Anda melewatkan panggilan telepon dan membaca transkrip otomatis pesan suara di inbox email Anda atau aplikasi ponsel cerdas? Itu merupakan konversi ucapan-ke-teks, suatu kemampuan NLP.
Pernahkah Anda menjelajahi situs web dengan menggunakan bilah pencarian internal, atau dengan memilih topik yang disarankan, entitas atau tag kategori? Berarti Anda telah menggunakan metode NLP untuk penelusuran, pemodelan topik, ekstraksi entitas, dan kategorisasi konten.

Sebuah subbidang NLP yang disebut pemahaman bahasa alami (NLU) telah mulai meningkat popularitasnya karena potensinya dalam aplikasi kognitif dan AI. NLU melampaui pemahaman struktural bahasa untuk menafsirkan niat, menyelesaikan konteks dan kata ambiguitas, dan bahkan menghasilkan bahasa manusia yang terbentuk secara baik dengan sendirinya. Algoritme NLU harus mengatasi masalah penafsiran semantik yang sangat kompleks – yaitu, memahami makna yang dimaksudkan dari bahasa lisan atau tulisan, dengan semua seluk-beluk, konteks dan kesimpulan yang kita, manusia, mampu pahami.

Evolusi NLP menuju NLU memiliki banyak implikasi penting untuk bisnis dan konsumen. Bayangkan kekuatan suatu algoritme yang dapat memahami makna dan nuansa bahasa manusia dalam banyak konteks, mulai dari kedokteran hingga hukum sampai ruang kelas. Karena volume informasi yang tidak terstruktur terus tumbuh secara eksponensial, kita akan mendapat manfaat dari kemampuan komputer yang tak kenal lelah untuk membantu kita memahami semuanya.