CHATBOT UNTUK MENDUKUNG PENCARIAN INFORMASI PADA DOKUMEN JURNAL ILMIAH INFORMATIKA DENGAN RAG DAN MODEL LIGHTWEIGHT LLaMA 3.2 - Submit Jurnal

Aprilianti, Dwi (2026) CHATBOT UNTUK MENDUKUNG PENCARIAN INFORMASI PADA DOKUMEN JURNAL ILMIAH INFORMATIKA DENGAN RAG DAN MODEL LIGHTWEIGHT LLaMA 3.2 - Submit Jurnal. Bachelor thesis, Institut Teknologi Kalimantan.

	Text 11211033_cover.pdf Download (266kB)
	Text 11211033_statement_of_authenticity.pdf Download (417kB)
	Text 11211033_publishing_agreement.pdf Download (460kB)
	Text 11211033_approval_sheet.pdf Download (388kB)
	Text 11211033_preface.pdf Download (220kB)
	Text 11211033_abstract_id.pdf Download (180kB)
	Text 11211033_abstract_en.pdf Restricted to Repository staff only until 4 January 2028. Download (178kB) | Request a copy
	Text 11211033_table_of_content.pdf Restricted to Repository staff only until 4 January 2028. Download (239kB) | Request a copy
	Text 11211033_illustrations.pdf Restricted to Repository staff only until 4 January 2028. Download (174kB) | Request a copy
	Text 11211033_tables.pdf Restricted to Repository staff only until 4 January 2028. Download (176kB) | Request a copy
	Text 11211033_chapter_1.pdf Restricted to Repository staff only until 4 January 2028. Download (271kB) | Request a copy
	Text 11211033_chapter_2.pdf Restricted to Repository staff only until 4 January 2028. Download (1MB) | Request a copy
	Text 11211033_chapter_3.pdf Restricted to Repository staff only until 4 January 2028. Download (331kB) | Request a copy
	Text 11211033_chapter_4.pdf Restricted to Repository staff only until 4 January 2028. Download (359kB) | Request a copy
	Text 11211033_conclusions.pdf Restricted to Repository staff only until 4 January 2028. Download (183kB) | Request a copy
	Text 11211033_bibliography.pdf Download (269kB)
	Text 11211033_enclosure.pdf Restricted to Repository staff only until 4 January 2028. Download (229kB) | Request a copy
	Text 11211033_presentation.pdf Restricted to Repository staff only until 4 January 2028. Download (944kB) | Request a copy

Abstract

Meningkatnya jumlah dokumen jurnal ilmiah informatika menimbulkan tantangan dalam memperoleh informasi yang cepat, akurat, dan sesuai konteks. Penelitian ini bertujuan mengembangkan dan mengevaluasi sistem chatbot berbasis Retrieval-Augmented Generation (RAG) dengan model LLaMA 3.2 berparameter 1B dan 3B untuk mendukung pencarian informasi pada dokumen jurnal ilmiah informatika, serta menentukan nilai threshold cosine similarity terbaik berdasarkan Accuracy dalam mendeteksi ketidaktahuan. Dataset penelitian berupa tiga dokumen jurnal ilmiah informatika berformat JATS/XML. Proses pengembangan meliputi parsing, preprocessing, chunking, pembentukan embedding menggunakan all-MiniLM-L6-v2, penyimpanan pada ChromaDB, retrieval, reranking, dan pembangkitan jawaban menggunakan LLaMA 3.2. Evaluasi dilakukan menggunakan Mean Reciprocal Rank (MRR), RAGAS, serta pengujian threshold cosine similarity. Hasil penelitian menunjukkan bahwa proses pengelolaan dokumen menghasilkan 257 dokumen dan 269 chunk. Evaluasi retrieval terhadap 30 query dengan top-k = 5 memperoleh nilai MRR sebesar 0,8667. Model LLaMA 3.2 1B memperoleh nilai Faithfulness 0,9611, Answer Relevancy 0,7655, dan Context Relevance 0,9250, sedangkan model 3B memperoleh Faithfulness 0,9185, Answer Relevancy 0,8098, dan Context Relevance 0,9250. Pengujian menunjukkan threshold cosine similarity sebesar 0,40 memberikan hasil terbaik dengan Accuracy 0,9778 dan Balanced Accuracy 0,9833. Hasil tersebut menunjukkan bahwa chatbot berbasis RAG dan LLaMA 3.2 mampu mendukung pencarian informasi secara efektif sekaligus mendeteksi pertanyaan di luar cakupan pengetahuan dengan baik.

Item Type:	Thesis (Bachelor)
Subjects:	T Technology > TK Electrical engineering. Electronics Nuclear engineering Z Bibliography. Library Science. Information Resources > Z665 Library Science. Information Science
Divisions:	Jurusan Matematika dan Teknologi Informasi > Informatika
Depositing User:	Dwi Aprilianti
Date Deposited:	20 Jul 2026 05:56
Last Modified:	20 Jul 2026 05:56
URI:	http://repository.itk.ac.id/id/eprint/27885

Actions (login required)

View Item