Praktisi pasar modal dan peneliti memiliki minat besar dalam menggunakan teknik NLP untuk memantau sentimen pasar secara real-time dari artikel berita online atau postingan media sosial, karena sentimen ini dapat digunakan sebagai sinyal arah untuk tujuan perdagangan. Secara intuitif, jika terdapat informasi positif tentang suatu perusahaan tertentu, kita dapat mengharapkan harga saham perusahaan tersebut akan meningkat, dan sebaliknya. Penelitian ekonomi keuangan sebelumnya juga melaporkan bahwa sentimen artikel berita dan media sosial dapat digunakan untuk memprediksi tingkat pengembalian pasar dan kinerja perusahaan.
Belakangan ini, pra-pelatihan tanpa pengawasan LLM (Large Language Model) pada korpus besar telah secara signifikan meningkatkan kinerja banyak tugas NLP. Model bahasa ini dilatih pra-pelatihan pada korpus generik seperti Wikipedia. Namun, analisis sentimen adalah tugas yang sangat bergantung pada domain. Sektor keuangan dan Komputerisasi Akuntansi telah mengumpulkan sejumlah besar teks komunikasi keuangan dan bisnis. Oleh karena itu, memanfaatkan keberhasilan pra-pelatihan tanpa pengawasan dan jumlah besar teks keuangan dapat berpotensi menguntungkan berbagai aplikasi keuangan.
Untuk mengisi kesenjangan ini, pra-pelatihan FinBERT, sebuah model BERT berdomain keuangan khusus pada korpus komunikasi keuangan besar dengan total 4,9 miliar token, termasuk laporan perusahaan, transkrip konferensi pendapatan, dan laporan analis. Telah mendokumentasikan korpus keuangan dan detail pra-pelatihan FinBERT. Kontribusi LLM (Large Language Model) untuk Komunikasi Keuangan adalah mengkompilasi korpus teks dalam jumlah besar yang paling representatif dalam komunikasi keuangan bisnis dan Komputerisasi Akuntansi. Mereka melatih dan merilis FinBERT, sumber daya baru yang terbukti meningkatkan kinerja dalam analisis sentimen keuangan.
Penelitian terbaru memperlihatkan bahwa tentang pentingnya menggunakan kosakata keuangan yang sesuai dengan domain (FinVocab) dalam pra-pelatihan FinBERT dan membandingkannya dengan menggunakan kosakata generik (BaseVocab). Hasilnya menunjukkan bahwa FinBERT-FinVocab lebih unggul dibandingkan dengan versi yang menggunakan BaseVocab, terutama pada tugas FiQA. Hasil penelitian juga mencatat bahwa dalam eksperimen ini digunakan, yaitu dua jenis model FinBERT, yaitu model yang mempertahankan huruf besar (cased), dan yang tidak mempertahankan huruf besar (uncased). Hasil eksperimen menunjukkan bahwa model uncased lebih baik dalam semua tugas dibandingkan dengan model cased. Penekanan diberikan pada pentingnya penggunaan teknik NLP yang spesifik domain (dalam hal ini, FinBERT) dalam menganalisis teks-teks dalam domain keuangan, yang dapat meningkatkan kualitas prediksi dan pemahaman terhadap sentimen pasar dan kinerja perusahaan.
Kontribusi dari korpus (kumpulan teks) dalam pengembangan model FinBERT yang digunakan dalam tiga tugas terpisah di domain keuangan. Hasil dari pengujian model FinBERT yang berbeda-beda (versi cased) pada berbagai tugas disajikan dalam Tabel 3. Hasilnya menunjukkan bahwa FinBERT yang dilatih dengan menggunakan semua korpus mencapai kinerja terbaik secara keseluruhan, menunjukkan bahwa menggabungkan korpus komunikasi keuangan tambahan dapat meningkatkan kualitas model bahasa. Di antara tiga dataset yang digunakan, dataset Laporan Analis (Analyst Reports) tampaknya tampil baik dalam tiga tugas yang berbeda, meskipun hanya memiliki 1,1 miliar token kata. Penelitian sebelumnya menemukan bahwa laporan perusahaan seperti 10-K dan 10-Q mengandung konten yang berlebihan, dan sejumlah besar volume teks yang terdapat dalam laporan 10-K dapat dikaitkan dengan kebijakan manajemen dan Komputerisasi Akuntansi dalam menanggapi persyaratan pengungkapan wajib.
Penelitian terbaru telah melakukan pra-pelatihan model BERT yang berorientasi pada tugas keuangan, yaitu FinBERT. Model FinBERT dilatih pada sejumlah besar korpus komunikasi keuangan dan Komputerisasi Akuntansi yang mewakili teks-teks dalam bahasa Inggris terkait keuangan. Mereka menunjukkan bahwa FinBERT memiliki kinerja yang lebih baik daripada model BERT generik dalam tiga tugas klasifikasi sentimen keuangan. Dengan merilis FinBERT, mereka berharap praktisi dan peneliti dapat memanfaatkannya untuk berbagai aplikasi di mana target prediksi melampaui sentimen, seperti pengembalian saham, volatilitas saham, penipuan korporat, dan sebagainya, yang berhubungan dengan domain keuangan.
