SEMANTIC SIMILARITY BETWEEN SENTENCES
(PERSAMAAN DIANTARA SEMANTIK DAN KALIMAT)
TUGAS SOFTSKILL JURNAL
KELOMPOK 18
Anggara Tri Putra (50416854)
Tiar Fajrian (57416378)
Vergi Nardian L (57416517)
1. Abstraksi
Tugas dari pengukuran kesamaan kalimat didefinsikan sebagai bagaimana menentukan kesamaan makna diantara dua kalimat. Komputasi kesamaan dua kalimat bukanlah tugas yang sepele karena variabilitas bahasa alami dan ekspresi. Mengukur kesamaan semantik kalimat terkait erat dengan kesamaan semantik antara kata-kata. Itu membuat hubungan antara kata-kata dan kalimat melalui maknanya. Tujuannya adalah untuk meningkatkan konsep semantik atas tindakan sintaksis yang mampu mengkategorikan pasangan kalimat efektif. kesamaan semantik memainkan peran penting dalam pemrosesan bahasa alami, Pengembalian Informasi, Sumber Teks, Sistem Pertanyaan dan Jawaban,terkait teks penelitian dan daerah aplikasi.
Kesamaan tradisional didasarkan pada fitur sintaksis dan tindakan berdasarkan jalan lainnya. kami mengevaluasi dan menguji tiga pendekatan kesamaan semantik yang berbeda seperti persamaan cosine, pendekatan berbasis jalan (wu – palmer dan pendekatan berbasis jalan terpendek), dan pendekatan berbasis fitur. Dalam pendekatan kami, kontribusi utama adalah perbandingan tindakan kesamaan yang ada dan fitur ukuran berdasarkan WordNet. Dalam pendekatan berdasarkan fitur kami yaitu melakukan tagging dan lemmatisasi dan menghasilkan skor kesamaan berdasarkan kata benda dan kata kerja. Kami mengevaluasi keluaran proyek kami dengan membandingkan tindakan yang ada berdasarkan ambang batas yang berbeda dan perbandingan antara tiga pendekatan. Akhirnya kami menyimpulkan bahwa fitur ukuran berdasarkan hasil skor semantik yang lebih baik.
Kata Kunci: WordNet, berdasarkan Jalur kesamaan, Fitur berdasarkan kesamaan, Tumpang tindih kata , persamaan, persamaan rangka kata, persamaan semantik.
2. Inti dari materi
1. PENDAHULUAN
A. Deskripsi Masalah
Menentukan kesamaan antara kalimat adalah salah satu tugas penting dalam pemrosesan bahasa alami (NLP). Untuk memperkirakan nilai akurat yang dihasilkan dari kesamaan sintaksis kesamaan semantik. Komputasi kalimat kesamaan adalah bukan tugas sepele, karena variabilitas ekspresi bahasa alami. Mengukur kesamaan semantik kalimat terkait erat dengan kesamaan semantik antara kata-kata. Dalam pencarian informasi, ukuran kesamaan digunakan untuk menetapkan nilai ranking antara permintaan dan teks dalam corpus.
B. WordNet
WordNet adalah produk dari sebuah proyek penelitian di Princeton University. Ini adalah database leksikal besar Inggris. Dalam WordNet kata benda, kata kerja, kata keterangan dan kata sifat yang diselenggarakan oleh berbagai hubungan semantik menjadi sinonim set (synsets), yang merupakan salah satu konsep. Contoh hubungan yang sinonim, otonomi, hyponymy, anggota, mirip, domain dan sebab dan sebagainya. Dalam tulisan ini, kita hanya peduli tentang ukuran kesamaan berdasarkan kata benda dan hubungannya sinonim dari WordNet.
C. Kesamaan Semantik
Kesamaan semantik kadang-kadang disebut sebagai kesamaan topologi. kesamaan semantik dihitung di tingkat dokumen, tingkat jangka dan tingkat kalimat. Dokumen dan kalimat tingkat dihitung berdasarkan ketentuan yang menggambarkan konsep internal. Langkah-langkah yang telah digunakan untuk mengukur kalimat kesamaan jatuh ke dalam dua kategori: sintaksis dan leksikal.
Pendekatan sintaksis Pendekatan ini adalah untuk mendeteksi kesamaan semantik sebagian besar menggunakan hubungan ketergantungan sintaksis untuk membangun gambaran yang lebih komprehensif tentang makna teks-teks yang telah dibandingkan,
Kesamaan leksikal
Dua tingkat utama untuk fitur leksikal telah ditetapkan: eksplisit tingkat , dan tingkat implisit.
D. Tindakan Kesamaan semantik berdasarkan WordNet
Banyak langkah-langkah telah diusulkan. Secara keseluruhan, semua tindakan dapat dikelompokkan menjadi empat kelas: langkah-langkah panjang jalur berdasarkan, langkah-langkah berdasarkan isi informasi, fitur berdasarkan langkah-langkah, dan langkah-langkah hybrid.
E. Tindakan Terkait lainnya
Bagian ini secara singkat menjelaskan beberapa teknik lain yang ate terkait dengan pekerjaan kita. Tiga kategori utama dari metode terkait: metode permukaan-matching, metode berbasis korpus dan metode query-log.
F. Ruang Vektor Model
Kami memiliki Vector Ruang Model kalimat dimodelkan sebagai vektor sehubungan dengan persyaratan dan juga memiliki rumus untuk menghitung kesamaan antara pasangan yang berbeda dari kalimat di ruang ini
2. SASTRA SURVEY
Dalam bab ini, dua istilah yang berbeda digunakan oleh penulis yang berbeda atau kadang-kadang bergantian oleh penulis yang sama untuk mengatasi konsep yang sama: keterkaitan semantik dan kesamaan semantik.
A. Klasifikasi tindakan kesamaan yang ada
Klasifikasi didasarkan pada bagaimana mengukur kesamaan semantik yang diukur. kuantifikasi yang baik berdasarkan struktur ontologis (misalnya., WordNet) atau berdasarkan isi informasi.
Wu dan Palmer menyarankan metode baru pada representasi semantik dari kata kerja dan menyelidiki pengaruh pada masalah pemilihan leksikal dalam terjemahan mesin. Wu dan Palmer menggambarkan semantik ukuran kesamaan antara konsep C1 dan C2. Resnik Ukur (1995) Kesamaan tergantung pada jumlah informasi dari dua konsep memiliki kesamaan. Lin memperpanjang Resnik (1995) metode isi materi (Lin et al., 1998). Dia telah mendefinisikan tiga intuisi kesamaan dan sifat kualitatif dasar kesamaan. Pendekatan Hybrid menggabungkan pengetahuan yang berasal dari berbagai sumber informasi. Keuntungan utama dari pendekatan ini adalah jika pengetahuan sumber informasi tidak mencukupi maka mungkin berasal dari sumber-sumber informasi alternatif. Fitur berdasarkan ukuran didasarkan pada asumsi bahwa setiap konsep digambarkan oleh serangkaian kata-kata yang menunjukkan sifat atau fitur, seperti definisi atau “glosses” di WordNet.
3. ARSITEKTUR
A. Arsitektur Deskripsi
Bab ini menjelaskan arsitektur tentang metode yang kita digunakan untuk mengukur kalimat kesamaan berdasarkan database pengetahuan semantik seperti WordNet.
4. Langkah Pengolahan
A.Preprocessing
Tujuan dari fase ini adalah untuk mengurangi bentuk infleksi kata-kata ke bentuk dasar umum. Pada bagian ini teknik preprocessing dasar yang dibahas.
B.Tokenization
Tokenization adalah tugas memotong-motong kalimat menjadi bukti dan membuang tanda baca dan karakter yang tidak diinginkan lainnya. Kami menggunakan WordNet untuk menemukan hubungan antara dua token. Hasil pencarian yang panjang jalur terpendek antara dua token dan kedalaman subsumer umum yang paling spesifik dari token. Kedua nilai-nilai ini dibungkus WordNetRelationship. Karena pencarian di WordNet membutuhkan waktu yang signifikan kami mengembangkan cache untuk WordNetRelationship antara dua token (TokenPair), yang memiliki mempercepat proses.
C. Tagging
Tagging adalah proses menandai sebuah kata dalam teks (corpus) sebagai sesuai dengan tertentu bagian dari pidato , Berdasarkan pada kedua definisi dan konteksnya. Dalam kasus kami, kami ditandai kata untuk kata benda dan kata kerja.
D. Lemmatization
Lemmatization adalah teknik dari Natural Language Processing yang melakukan analisis morfologi penuh dan mengidentifikasi dasar atau bentuk kamus kata, yang dikenal sebagai lemma.
