Di artikel sebelumnya saya share, menurut saya saat ini, “Riset” itu intinya: observasi suatu masalah, rumusin solusi, tunjukkan kalau solusi itu bisa menyelesaikan masalah tadi.
Bagaimana cara kita tahu solusi kita beneran menyelesaikan masalah? salah satunya adalah dengan menunjukkan dan meyakinkan orang lain, kalau diperusahaan kebayangnya kayak kita presentasi ke atasan, kalau diperlombaan kita coba yakinkan juri, dan kalau dalam penelitian berarti kita perlu meyakinkan komunitas peneliti
Top Conferences
“Komunitas Peneliti” apa? yang mana? ini pertanyaan yang menurut saya bukan hitam-putih. Asal kita punya alasan dan niat yang jelas, komunitas yang mana yang mau kita yakinkan, menurut saya itu valid.
Misal selama S3 Computer Science di US sini, kebanyakan Professor akan menargetkan ketika kita publikasi paper harus ke “Top Conference”. Conference yang diakui komunitas riset di bidang tersebut memang prestigius. Daftar “pendek”-nya bisa dilihat di csrankings.org. Misalnya kalau punya riset di bidang natural language processing (NLP), prof sini akan suruh kita target conference-conference seperti ACL, NAACL, atau EMNLP, atau kalau bidang arsitektur komputer bisa ke ISCA, MICRO, ASPLOS.
Kenapa harus ke sana? salah satu faktornya adalah komunitas-komunitas tersebut diorganisir oleh periset-periset terbaik dunia di bidang-bidang itu, entah dari akademik (MIT, Stanford, dkk) ataupun industri (Google, IBM, dkk). Jadi kalau mau nunjukin riset kita menghasilkan solusi yang bener-bener menyelesaikan masalah (yang juga beneran masalah dialami orang di belahan dunia lain), kita harus meyakinkan komunitas di bidang itu dengan seenggaknya mendapat persetujuan (baca: accepted) melalui conference-conference tadi.
Conference di csrankings itu hanya daftar “pendek”, yang menurut mereka adalah paling top. Karena komunitas peneliti bukan cuma satu. Analoginya mungkin Top-Conference di atas itu komunitas tingkat dunia, tapi ada juga kan komunitas-komunitas NLP dan arsitektur komputer yang lebih lokal, misal di Asia, Eropa, atau di Indonesia. Dulu saya pernah mendaftar 50 peneliti yang paling aktif di suatu conference (DSN), dan lihat distribusi destinasi publikasi paper beberapa tahun terakhir. Kita bisa lihat 50 peneliti ini punya kecenderungan yang sama dalam memiliih destinasi publikasi:
Kondisi ini agak beda dengan penelitian di Asia Tenggara. di Indonesia, peneliti didorong pemerintah untuk publikasi di Jurnal yang terindeks scopus. Jurnal-jurnal ini diranking di scimago, semakin tinggi rankingnya, suatu jurnal berarti semakin berdampak. Alasannya sama, penyelenggara dan orang di balik jurnal-jurnal ini dianggap sebagai peneliti-peneliti terbaik yang mewakili suatu komunitas. Jadi ketika paper kita diterima di sana, paper kita dianggap sudah tervalidasi komunitas yang kita target.
Mana yang lebih? Ya balik lagi, yang penting bukan jurnal atau conference nya tapi, komunitas mana yang sebenarnya mau kita sasar, dan apa alasannya? Karena real-nya, Jurnal ataupun conference, juga banyak yang “abal-abal”.
Eksperimen bagian dari meyakinkan
Eksperimen atau cari data itu bagian dari meyakinkan. Ketika kita punya suatu klaim maka data dan eksperimen kita harus cukup untuk meyakinkan komunitas (yang kita tuju). Dan ini juga berarti: ketika kita berusaha meyakinkan komunitas yang lebih tinggi (e.g., top conference) maka kita juga harus siap melakukan eksperimen lebih banyak, yang lebih meyakinkan.
Bagian ini yang kadang bikin lelah ketika mau submit ke conference yang bagus. Di bidang NLP/AI misalnya, dengan maraknya model besar (LLM), reviewer bisa jadi mempertanyakan kenapa kita cuma pakai satu model kecil untuk eksperimen? apakah hasilnya bisa digeneralisir di model besar? Atau kenapa kita tentukan nilai X=Y kenapa tidak X=A atau X=B atau X=C? Dan pertanyaan-pertanyaan ini bisa berarti ekstra belasan (atau bisa jadi puluhan) jam eksperimen.
Refleksi
- Dari refleksi “riset itu meyakinkan komunitas” dan “komunitas itu bukan cuma satu”, jadi kebayang sebenernya riset itu nggak harus mewah. Riset anak S1 bikin aplikasi mobile sederhana untuk membantu UMKM di desa sebelah yang lalu di submit ke conference lokal, itu valid, kalau memang penyelenggara conference (aka komunitas) tadi memang punya kepakaran yang cukup untuk memvalidasi riset tadi. Sebaliknya, riset yang terkesan keren “Aplikasi machine learning XYZ untuk Indonesia sehat” bisa jadi kurang valid, ketika cakupan yang tekesan luas ini divalidasi oleh komunitas yang lokal.
- Contoh di atas itu masalah umum yang sering saya lihat dari pengalaman pribadi: Ada beberapa oknum yang sengaja menyasar komunitas yang salah. “Salah” di sini artiannya bisa luas, termasuk bidangnya berbeda, tidak terpercaya, kepakarannya terbatas (lokal), atau apapun yang karena dasarnya adalah niat bukan untuk mencari validasi, tapi untuk segera publikasi.
- Balik ke artikel pertama saya, saya cerita kalau beberapa paper saya itu berangkat dari masalah yang kurang valid. Tapi keterima di conference bahkan jurnal. Kok bisa? lagi-lagi itu contoh pengaruh komunitas yang dituju, ketika komunitas yang dituju terlalu lokal atau kurang tepat kepakarannya, ya papernya bisa jadi keterima. Balik lagi apa niat risetnya?
