Analisis Performa Siamese Network dalam Mendeteksi Pola Kemiripan Suara Tangisan Bayi Dengan ViT-SPT-LSA

Saputra, Ardhi Iwantara (2026) Analisis Performa Siamese Network dalam Mendeteksi Pola Kemiripan Suara Tangisan Bayi Dengan ViT-SPT-LSA. Bachelor thesis, Institut Teknologi Kalimantan.

	Text 11221018_cover.pdf Restricted to Repository staff only until 3 October 2028. Download (320kB) | Request a copy
	Text 11221018_statement_of_authenticity.pdf Restricted to Repository staff only until 3 October 2028. Download (805kB) | Request a copy
	Text 11221018_publishing_agreement.pdf Restricted to Repository staff only until 3 October 2028. Download (807kB) | Request a copy
	Text 11221018_approval_sheet.pdf Restricted to Repository staff only until 3 October 2028. Download (53kB) | Request a copy
	Text 11221018_preface.pdf Restricted to Repository staff only until 3 October 2028. Download (868kB) | Request a copy
	Text 11221018_abstract_id.pdf Restricted to Repository staff only until 3 October 2028. Download (810kB) | Request a copy
	Text 11221018_abstract_en.pdf Restricted to Repository staff only until 3 October 2028. Download (864kB) | Request a copy
	Text 11221018_table_of_content.pdf Restricted to Repository staff only until 3 October 2028. Download (2MB) | Request a copy
	Text 11221018_illustrations.pdf Restricted to Repository staff only until 3 October 2028. Download (2MB) | Request a copy
	Text 11221018_tables.pdf Restricted to Repository staff only until 3 October 2028. Download (1MB) | Request a copy
	Text 11221018_chapter_1.pdf Restricted to Repository staff only until 3 October 2028. Download (903kB) | Request a copy
	Text 11221018_chapter_2.pdf Restricted to Repository staff only until 3 October 2028. Download (1MB) | Request a copy
	Text 11221018_chapter_3.pdf Restricted to Repository staff only until 3 October 2028. Download (1MB) | Request a copy
	Text 11221018_chapter_4.pdf Restricted to Repository staff only until 3 October 2028. Download (2MB) | Request a copy
	Text 11221018_conclusions.pdf Restricted to Repository staff only until 3 October 2028. Download (817kB) | Request a copy
	Text 11221018_bibliography.pdf Restricted to Repository staff only until 3 October 2028. Download (890kB) | Request a copy
	Text 11221018_enclosure.pdf Restricted to Repository staff only until 3 October 2028. Download (816kB) | Request a copy
	Text 11221018_paper.pdf Restricted to Repository staff only until 3 October 2028. Download (978kB) | Request a copy
	Text 11221018_presentation.pdf Restricted to Repository staff only until 3 October 2028. Download (3MB) | Request a copy

Abstract

Tangisan bayi merupakan bentuk komunikasi utama yang merepresentasikan kebutuhan maupun kondisi emosional bayi, namun keterbatasan orang tua dalam menafsirkan makna tangisan sering menimbulkan kesalahpahaman yang dapat berdampak pada kesejahteraan bayi maupun ibu. Seiring berkembangnya teknologi, pendekatan berbasis deep learning menawarkan solusi untuk melakukan klasifikasi pola tangisan bayi secara lebih objektif dan akurat. Penelitian ini bertujuan menganalisis performa arsitektur Siamese Network dengan backbone Vision Transformer (ViT) yang dilengkapi dengan Shifted Patch Tokenization (SPT) dan Locality Self-Attention (LSA) dalam mendeteksi kemiripan pola suara tangisan bayi. Dataset penelitian diperoleh dari sumber publik berupa rekaman suara tangisan bayi yang diproses melalui tahapan pre-processing seperti silence removal, augmentasi audio, serta transformasi sinyal audio menjadi citra Mel Spectrogram. Teknik augmentasi yang digunakan meliputi time shifting, pitch shifting, speed perturbation, dan noise injection untuk meningkatkan variasi data latih. Selanjutnya, citra Mel Spectrogram diekstraksi menggunakan backbone ViT-SPT-LSA untuk menghasilkan representasi embedding yang diproses melalui dua cabang, yaitu projection head dengan triplet loss dan classifier head dengan cross-entropy loss. Evaluasi model dilakukan menggunakan metrik akurasi, precision, recall, F1-score, confusion matrix, serta visualisasi embedding menggunakan t-SNE. Hasil penelitian menunjukkan bahwa model ViT-SPT-LSA tanpa pendekatan Siamese memperoleh performa terbaik dengan akurasi sebesar 91,09% dan F1-score makro sebesar 91,74%, sedangkan model Siamese memperoleh akurasi sebesar 76,93% dan F1-score makro sebesar 76,82%. Meskipun demikian, visualisasi t-SNE menunjukkan bahwa pendekatan Siamese menghasilkan struktur embedding yang lebih kompak dan memiliki separasi antar kelas yang lebih baik. Hasil penelitian ini menunjukkan bahwa pendekatan Siamese mampu meningkatkan kualitas representasi fitur dalam ruang embedding, namun belum memberikan peningkatan performa klasifikasi pada skenario closed-set classification yang digunakan dalam penelitian ini

Item Type:	Thesis (Bachelor)
Subjects:	T Technology > T Technology (General)
Divisions:	Jurusan Matematika dan Teknologi Informasi > Informatika
Depositing User:	Ardhi Iwantara Saputra
Date Deposited:	15 Jul 2026 01:20
Last Modified:	15 Jul 2026 01:20
URI:	http://repository.itk.ac.id/id/eprint/26691

Actions (login required)

View Item