Ketika AI Menjadi Agen Layanan Kesehatan, Siapa Memegang Kendali?

Selama ini, masyarakat lebih mengenal kecerdasan buatan (artificial intelligence/AI) melalui kemampuannya menjawab pertanyaan, merangkum dokumen, dan membantu menemukan informasi. Namun, perkembangan AI generatif kini bergerak lebih jauh. Teknologi ini tidak lagi sekadar menghasilkan jawaban, tetapi juga mampu merencanakan langkah, menggunakan perangkat digital, mengakses berbagai sumber informasi, serta menjalankan serangkaian tugas secara otomatis untuk mencapai tujuan tertentu.

Sistem dengan kemampuan tersebut dikenal sebagai AI Agent atau agen kecerdasan buatan. Berbeda dengan chatbot yang terutama merespons pertanyaan, AI Agent dapat menjalankan tugas secara bertahap dengan tingkat kemandirian tertentu, tetap dalam batas kewenangan dan pengawasan yang ditetapkan manusia.

 Bayangkan sebuah sistem kesehatan yang tidak hanya membantu membaca rekam medis, tetapi juga mengenali pasien yang belum menjalani pemeriksaan lanjutan, memeriksa riwayat kunjungan, menyusun daftar pasien yang perlu dihubungi, hingga menyiapkan rekomendasi tindak lanjut bagi tenaga kesehatan.

 Pekerjaan yang sebelumnya memerlukan beberapa tahapan manual berpotensi dilakukan dengan lebih terintegrasi. Bagi fasilitas kesehatan yang menghadapi keterbatasan tenaga dan waktu, kemampuan semacam ini tentu menarik.

 Namun, ada pertanyaan yang perlu kita ajukan sebelum terlalu jauh membayangkan manfaatnya: bagaimana jika agen tersebut salah membaca data, keliru memahami konteks, atau menjalankan tindakan berdasarkan informasi yang tidak tepat?

 Jika AI biasa dapat memberikan jawaban yang keliru, AI Agent menghadirkan persoalan tambahan. Kesalahan tidak hanya berpotensi muncul dalam jawaban, tetapi juga dalam rangkaian tindakan yang dilakukan berdasarkan jawaban tersebut.

 Di sinilah tantangan penerapan AI di bidang kesehatan mulai berubah. Persoalannya bukan hanya bagaimana membuat mesin semakin pintar, melainkan bagaimana memastikan setiap tindakan yang dijalankannya tetap aman dan dapat dipertanggungjawabkan.

 Dari Membaca Pola Menjadi Menjalankan Tugas

 Ketertarikan saya terhadap persoalan ini berangkat dari pengalaman meneliti pemanfaatan data kesehatan. Pada 2023, bersama Donny Avianto, saya memublikasikan penelitian dalam Jurnal Ilmiah NERO mengenai penerapan algoritma Frequent Pattern Growth (FP-Growth) untuk menemukan pola keterkaitan antardiagnosis penyakit. Penelitian tersebut menganalisis data dari Kecamatan Ambunten dan Masalembu, Kabupaten Sumenep.

 Dalam salah satu pengujian, ditemukan aturan asosiasi dengan nilai support 0,8 dan confidence 1. Angka tersebut menunjukkan bahwa pola tertentu muncul dalam data penelitian dengan tingkat keyakinan aturan sebesar 100 persen berdasarkan kasus yang memenuhi kondisi aturan tersebut. Namun, angka itu bukan bukti bahwa algoritma mampu mendiagnosis penyakit dengan akurasi 100 persen. Pola yang ditemukan juga tidak otomatis membuktikan hubungan sebab-akibat antarkondisi medis.

 Pengalaman tersebut mengingatkan saya bahwa kemampuan mengolah data harus dibedakan dari kemampuan mengambil keputusan klinis. AI Agent membawa persoalan ini ke tingkat yang lebih kompleks. Jika algoritma analisis data bertugas menemukan pola, sebuah agen dapat dirancang untuk menggunakan hasil analisis itu sebagai bagian dari proses kerja yang lebih panjang.

 Sebagai contoh, agen dapat membantu mengidentifikasi pasien yang perlu mendapat perhatian, mengambil informasi dari sumber yang diizinkan, merangkum riwayat kunjungan, lalu menyusun daftar prioritas untuk ditinjau petugas kesehatan.

 Akan tetapi, hasil identifikasi tersebut tetap perlu diperiksa. Pasien yang tidak tercatat menjalani pemeriksaan belum tentu mengabaikan pengobatan. Bisa jadi datanya belum diperbarui, pemeriksaan dilakukan di fasilitas lain, atau terdapat kendala administratif. 

Artinya, semakin banyak tugas yang dipercayakan kepada AI, semakin penting pula memastikan bahwa setiap langkahnya didasarkan pada data yang benar, konteks yang memadai, dan kewenangan yang jelas.

 Bahaya Ketika Agen Terlihat Meyakinkan

 Salah satu daya tarik AI Agent adalah kemampuannya menghubungkan beberapa proses dalam satu alur kerja. Agen dapat menggunakan model bahasa untuk memahami instruksi, mengambil informasi melalui sistem pencarian, memanggil perangkat lunak tertentu, dan mengevaluasi hasil sebelum melanjutkan ke langkah berikutnya.

 Dalam penerapannya, kemampuan ini dapat mengurangi pekerjaan administratif yang berulang. Namun, keterhubungan antartahap juga membuka kemungkinan terjadinya kesalahan berantai.

 Bayangkan sebuah agen diminta menyiapkan daftar pasien yang membutuhkan tindak lanjut. Agen tersebut mengambil data kunjungan, menyusun ringkasan, dan menentukan prioritas berdasarkan aturan yang diberikan.

 Jika data awal tidak lengkap, daftar yang dihasilkan dapat melewatkan pasien yang sebenarnya membutuhkan perhatian. Jika aturan prioritasnya tidak tepat, pasien dengan kebutuhan mendesak justru bisa ditempatkan pada urutan yang lebih rendah. Apabila hasil itu langsung digunakan tanpa pemeriksaan, kesalahan teknis dapat berubah menjadi persoalan pelayanan.

 Contoh tersebut bukan berarti AI Agent selalu berbahaya. Sebaliknya, contoh itu menunjukkan mengapa keberhasilan sebuah sistem tidak cukup diukur dari kemampuannya menyelesaikan tugas.

 Kita juga perlu mengetahui apakah sistem mengambil sumber informasi yang benar, menjalankan tindakan sesuai kewenangan, mengenali ketidakpastian, dan memberikan kesempatan kepada manusia untuk menghentikan proses ketika ditemukan kejanggalan.

 AI Agent yang baik bukan agen yang selalu bertindak tanpa bertanya. Dalam konteks kesehatan, kemampuan mengenali batas pengetahuan dan meminta pemeriksaan manusia justru merupakan bagian penting dari desain yang aman.

 Sumenep dan Peluang Pelayanan Kesehatan yang Lebih Terhubung

 Bagi Kabupaten Sumenep, yang memiliki wilayah daratan dan kepulauan, penerapan AI Agent menarik untuk dipertimbangkan dari sisi kebutuhan pelayanan. Jarak geografis, keterbatasan sumber daya, dan koordinasi antarwilayah dapat membuat tindak lanjut pasien menjadi tantangan tersendiri. Teknologi digital berpotensi membantu petugas mengelola informasi dan menentukan pekerjaan administratif yang perlu diprioritaskan.

 Namun, saya tidak membayangkan setiap puskesmas harus segera memiliki agen AI yang kompleks. Penerapan yang realistis justru dapat dimulai dari persoalan yang terukur. Misalnya, agen administratif dapat membantu memeriksa daftar pasien penyakit kronis yang belum tercatat menjalani kunjungan lanjutan, merangkum laporan pelayanan, atau menyiapkan pengingat bagi petugas. Sebelum informasi tersebut digunakan, petugas tetap perlu memverifikasi data dan menentukan tindak lanjut yang sesuai.

 Pendekatan ini lebih masuk akal daripada langsung menyerahkan diagnosis atau keputusan terapi kepada agen otonom. Ada pula batasan yang tidak boleh diabaikan. AI Agent membutuhkan akses terhadap data dan sistem yang relevan. Jika fasilitas kesehatan belum memiliki pencatatan yang konsisten, konektivitas yang memadai, atau mekanisme pertukaran data yang baik, penambahan agen AI belum tentu menyelesaikan persoalan mendasar.

 Platform SATUSEHAT dapat menjadi bagian dari ekosistem pertukaran data kesehatan di Indonesia. Meski demikian, interoperabilitas tidak otomatis menjamin bahwa semua data telah lengkap, akurat, atau siap digunakan untuk pengambilan keputusan berbantuan AI.

 Karena itu, pengembangan AI Agent di Sumenep perlu dimulai dari pemetaan kebutuhan, kesiapan data, dan kapasitas fasilitas kesehatan. Teknologi harus mengikuti persoalan yang hendak diselesaikan, bukan sebaliknya.

 Siapa yang Bertanggung Jawab atas Tindakan Agen?

 Pertanyaan berikutnya menyangkut tata kelola. Ketika AI hanya digunakan untuk menyusun ringkasan, petugas masih dapat memeriksa hasilnya sebelum mengambil tindakan. Namun, bagaimana jika agen diberi akses untuk memperbarui data, mengirimkan pemberitahuan kepada pasien, mengatur jadwal pemeriksaan, atau menjalankan proses lain secara otomatis?

 Semakin besar kewenangan yang diberikan, semakin besar pula kebutuhan akan pembatasan akses, pencatatan aktivitas, dan mekanisme penghentian tindakan.

 Sistem perlu memiliki jejak audit yang menunjukkan sumber informasi yang digunakan, langkah yang dijalankan, perubahan yang dilakukan, serta pihak yang menyetujui tindakan penting. Akses terhadap data pasien juga harus dibatasi berdasarkan kebutuhan dan kewenangan yang sah.

 Untuk tindakan yang berpotensi memengaruhi keselamatan pasien, keputusan klinis tidak semestinya diserahkan begitu saja kepada agen. Tenaga kesehatan harus memiliki kesempatan nyata untuk memeriksa, menolak, atau mengoreksi rekomendasi sistem.

 Prinsip tersebut sejalan dengan perhatian Organisasi Kesehatan Dunia (WHO) terhadap keselamatan, transparansi, akuntabilitas, dan pengawasan manusia dalam pemanfaatan AI kesehatan. 

Namun, pengawasan manusia tidak boleh berhenti sebagai formalitas. Jika petugas hanya diminta menyetujui puluhan rekomendasi secara berurutan tanpa waktu yang cukup untuk memeriksanya, keberadaan manusia belum tentu memberikan perlindungan yang efektif.

 Pengawasan harus dirancang sebagai bagian dari alur kerja. Sistem perlu menandai informasi yang tidak lengkap, menunjukkan dasar rekomendasinya, dan meminta persetujuan sebelum menjalankan tindakan yang telah ditetapkan sebagai berisiko tinggi.

 Dengan demikian, tanggung jawab tidak kabur di antara pengembang, penyedia teknologi, pengelola fasilitas kesehatan, dan tenaga medis. Setiap pihak harus memahami batas kewenangan dan tanggung jawabnya.

 Ukuran Keberhasilan Bukan Seberapa Otonom Mesinnya

 Sebagai praktisi AI, instruktur, dan konsultan teknologi, saya melihat bahwa tantangan terbesar penerapan AI Agent bukan semata-mata membangun sistem yang mampu menyelesaikan banyak tugas secara otomatis.

 Tantangan sesungguhnya adalah membuktikan bahwa otomatisasi tersebut memang memperbaiki pelayanan.

 Uji coba seharusnya memiliki ukuran yang jelas. Apakah waktu administrasi berkurang? Apakah tindak lanjut pasien menjadi lebih konsisten? Apakah petugas dapat menemukan informasi lebih cepat? Berapa banyak rekomendasi yang harus dikoreksi? Apakah terdapat pasien yang justru terlewat akibat penggunaan sistem?

 Pertanyaan-pertanyaan tersebut perlu dijawab melalui evaluasi yang terukur, bukan sekadar demonstrasi teknologi.

 Sistem juga perlu diuji dalam kondisi yang mendekati lingkungan operasional sebenarnya. Data yang tidak lengkap, gangguan jaringan, perubahan prosedur, dan perbedaan karakteristik pasien harus menjadi bagian dari evaluasi.

 Jika uji coba menunjukkan bahwa agen membantu pekerjaan administratif tetapi belum aman untuk tugas klinis, penerapannya sebaiknya dibatasi pada fungsi administratif tersebut. Tidak ada keharusan untuk membuat semua proses menjadi otonom hanya karena teknologinya memungkinkan.

 Bagi pemerintah daerah, perguruan tinggi, fasilitas kesehatan, dan industri teknologi, pendekatan ini membuka ruang kolaborasi yang lebih bertanggung jawab. Perguruan tinggi dapat membantu merancang evaluasi, fasilitas kesehatan mengidentifikasi kebutuhan nyata, dan pengembang membangun sistem sesuai batasan operasional yang telah disepakati.

 Pada akhirnya, masa depan AI Agent dalam kesehatan tidak ditentukan oleh seberapa banyak tindakan yang dapat dilakukan mesin tanpa manusia.

 Teknologi ini akan bernilai ketika mampu mengurangi beban kerja yang tidak perlu, membantu tenaga kesehatan memusatkan perhatian pada pasien, dan tetap menjaga keselamatan dalam setiap tahap penggunaannya.

 Kita memang perlu bergerak maju bersama perkembangan AI. Namun, semakin besar kemampuan mesin untuk bertindak, semakin besar pula tanggung jawab kita untuk mengawasinya.

 Sebab, dalam pelayanan kesehatan, kecerdasan bukan hanya soal kemampuan menemukan jawaban atau menjalankan tugas. Kecerdasan juga berarti mengetahui kapan sebuah sistem harus berhenti, mengakui ketidakpastian, dan menyerahkan keputusan kepada manusia yang memiliki kompetensi serta tanggung jawab klinis.

 Penulis lahir di Sumenep. Ia merupakan praktisi AI, instruktur dan konsultan di Inixindo Jogja, serta mahasiswa Magister Kecerdasan Artifisial Universitas Gadjah Mada (UGM).