Mengapa Pilot AI Gagal Diperluas dan Bagaimana Perusahaan Dapat Mengatasinya

Pendahuluan

Sebuah proyek AI mungkin terlihat berhasil selama tahap pengujian, namun tetap dapat menghadapi masalah serius ketika perusahaan mulai menggunakannya dalam operasional sehari-hari.

Sebuah uji coba skala kecil mungkin dapat memproses faktur dengan akurat, menjawab pertanyaan pelanggan, atau membantu karyawan menyelesaikan tugas lebih cepat. Hasilnya terlihat menjanjikan, dan manajemen memutuskan untuk menerapkan sistem tersebut di seluruh perusahaan.

Namun, begitu lebih banyak orang mulai menggunakannya, masalah mulai muncul.

AI tersebut kesulitan menangani permintaan yang tidak terduga. Beberapa sistem bisnis gagal bertukar informasi dengan benar. Karyawan menyadari bahwa alat tersebut membutuhkan lebih banyak dukungan manual daripada yang diperkirakan. Biaya operasional juga mulai meningkat.

Hal ini tidak selalu berarti proyek AI awalnya dirancang dengan buruk.

Masalahnya adalah bahwa uji coba yang sukses dan sistem produksi yang andal adalah dua hal yang berbeda.

Menerapkan AI ke tahap produksi membutuhkan lebih dari sekadar hasil pengujian yang baik. Perusahaan perlu bersiap menghadapi data nyata, beban kerja yang lebih besar, kegagalan sistem, masalah keamanan, dan dukungan berkelanjutan.

Memahami tantangan-tantangan ini sebelum peluncuran dapat mencegah proyek AI yang menjanjikan berubah menjadi masalah operasional yang mahal.

1. Uji Coba yang Berhasil Tidak Menjamin Kesiapan Produksi

Proyek percontohan AI biasanya dikembangkan dalam lingkungan yang terkendali.

Tim pengembangan mengetahui masalah apa yang harus diselesaikan oleh sistem tersebut. Data uji sering kali disiapkan sebelumnya, dan hanya sekelompok kecil karyawan yang menggunakan aplikasi tersebut.

Kondisi-kondisi ini memudahkan untuk menunjukkan apa yang dapat dicapai oleh teknologi tersebut.

Namun, operasi bisnis sehari-hari jarang seprediktabel itu.

Bayangkan sebuah perusahaan yang menguji AI untuk pemrosesan faktur.

Selama uji coba, tim menyediakan 100 faktur dengan format yang terbaca dan informasi pemasok yang lengkap. Sistem mengekstrak detail yang diperlukan secara akurat dan menghasilkan hasil yang bermanfaat.

Setelah diterapkan, sistem menerima faktur dari ratusan pemasok.

Beberapa dokumen dipindai dengan buruk. Dokumen lainnya berisi mata uang yang berbeda, nomor pesanan pembelian yang hilang, atau tata letak yang tidak dikenal.

AI tersebut mungkin kini memerlukan lebih banyak koreksi manual daripada yang diperkirakan.

Uji coba awal menunjukkan bahwa teknologi tersebut mampu melakukan tugas tertentu. Namun, hal itu tidak membuktikan bahwa sistem dapat menangani setiap situasi yang akan dihadapi bisnis.

Sebelum melakukan penskalaan, perusahaan harus mengidentifikasi kondisi-kondisi yang mendukung keberhasilan uji coba dan memeriksa apakah kondisi-kondisi tersebut akan tetap sama saat diterapkan dalam produksi.

2. Data Bisnis Nyata Menimbulkan Masalah yang Tidak Terduga

Kualitas data adalah salah satu alasan paling umum mengapa sistem AI mengalami kesulitan setelah diterapkan.

Selama pengujian, tim sering kali bekerja dengan informasi terpilih yang akurat, terorganisir, dan mudah diproses.

Sistem produksi harus bekerja dengan informasi yang dikumpulkan melalui aktivitas bisnis sehari-hari.

Data tersebut mungkin berisi catatan duplikat, detail yang sudah usang, kolom yang kosong, dan format yang tidak konsisten.

Misalnya, asisten layanan pelanggan berbasis AI mungkin berkinerja baik saat menjawab pertanyaan dari basis pengetahuan yang telah disetujui.

Namun, perusahaan mungkin nantinya menghubungkannya dengan catatan produk, akun pelanggan, dan dokumen dukungan.

Jika sumber-sumber ini berisi informasi yang saling bertentangan, asisten tersebut dapat memberikan jawaban yang salah.

Sebuah produk mungkin tampak tersedia di satu sistem, sementara sistem lain menunjukkan bahwa produk tersebut kehabisan stok.

AI tidak dapat secara andal menyelesaikan setiap ketidaksesuaian tanpa aturan bisnis yang jelas.

Oleh karena itu, perusahaan harus menguji AI menggunakan informasi yang realistis sebelum penerapan.

Mereka juga memerlukan orang yang bertanggung jawab untuk menjaga kualitas data dan memperbaiki masalah saat muncul.

Hasil yang baik dari data yang disiapkan dengan cermat memang berguna, tetapi tidak cukup untuk membuktikan bahwa suatu sistem siap digunakan sehari-hari.

3. Sistem Bisnis yang Sudah Ada Mungkin Tidak Dapat Bekerja Sama dengan Lancar

Banyak uji coba AI beroperasi secara terpisah dari perangkat lunak yang digunakan perusahaan sehari-hari.

Pengembang mungkin mengunggah file sampel secara manual atau menghubungkan AI ke basis data sementara.

Hal ini dapat diterima selama tahap pengujian awal karena tujuan utamanya adalah untuk memahami apakah ide tersebut berfungsi.

Produksi membutuhkan sesuatu yang lebih andal.

AI mungkin perlu bertukar informasi dengan perangkat lunak CRM, platform ERP, aplikasi keuangan, alat dukungan pelanggan, dan basis data internal.

Koneksi-koneksi ini menimbulkan tantangan baru.

Seorang asisten penjualan AI mungkin dapat mengidentifikasi prospek yang menjanjikan, tetapi gagal saat mencoba memperbarui CRM.

Alat pemrosesan faktur mungkin dapat mengekstrak jumlah yang benar, tetapi mengirimkan informasi dalam format yang tidak dapat diterima oleh sistem akuntansi.

Dalam kedua kasus tersebut, AI menjalankan tugas yang diberikan, tetapi proses bisnis yang lebih luas tetap tidak selesai.

Sebelum implementasi, tim harus menguji alur kerja secara menyeluruh, termasuk apa yang terjadi jika sistem lain tidak tersedia.

Sumber daya yang berguna adalah panduan ini tentang cara mengimplementasikan uji coba AI ke tahap produksi, yang menjelaskan bagaimana bisnis dapat mengevaluasi kesiapan data, keandalan sistem, keamanan, dan persyaratan operasional sebelum memperluas penerapan AI.

Tujuannya adalah agar AI dapat bekerja dengan andal dalam proses bisnis yang ada, bukan sekadar menghubungkan aplikasi lain.

4. Pengujian Produksi Harus Mencakup Lebih dari Sekadar Akurasi

Proyek percontohan sering kali berfokus pada apakah AI menghasilkan jawaban yang benar atau menyelesaikan tugas yang diharapkan.

Akurasi memang penting, tetapi itu hanyalah salah satu bagian dari pengujian produksi.

Perusahaan juga harus memahami bagaimana kinerja sistem ketika beberapa pengguna mengaksesnya secara bersamaan, ketika ada informasi yang hilang, atau ketika muncul permintaan yang tidak terduga.

Misalkan asisten AI menangani 20 percakapan pelanggan selama pengujian.

Asisten tersebut mungkin merespons dengan cepat dan akurat.

Namun, apa yang terjadi jika 500 pelanggan mencoba menggunakannya selama periode sibuk?

Waktu respons mungkin akan bertambah lama. Beberapa permintaan mungkin gagal, dan biaya pemrosesan setiap percakapan bisa meningkat.

Rencana pengujian produksi harus mencakup beberapa aspek:

• Akurasi di dunia nyata: Dapatkah sistem menangani informasi yang tidak lengkap, tidak biasa, atau diformat dengan buruk?
• Kinerja: Apakah sistem merespons dengan andal saat penggunaan meningkat?
• Integrasi: Apakah sistem ini dapat bertukar informasi dengan benar dengan aplikasi bisnis yang terhubung?
• Keamanan: Apakah sistem ini melindungi informasi sensitif dan mematuhi batasan akses?
• Penanganan kegagalan: Apa yang terjadi ketika model AI atau layanan lain tidak tersedia?
• Peninjauan manusia: Apakah karyawan dapat memperbaiki kesalahan dan menangani kasus-kasus yang rumit?

Pengujian ini harus mencerminkan bagaimana bisnis tersebut akan benar-benar menggunakan sistem tersebut.

Perusahaan juga harus menyepakati standar kinerja yang dapat diterima sebelum peluncuran.

Misalnya, manajemen mungkin menetapkan target untuk penyelesaian tugas yang berhasil, waktu pemrosesan, dan jumlah kasus yang memerlukan tinjauan manual.

Tanpa target yang disepakati, tim mungkin kesulitan menentukan apakah sistem sudah siap.

5. Risiko Keamanan Meningkat Saat Lebih Banyak Orang Menggunakan AI

Proyek percontohan AI skala kecil mungkin hanya dapat diakses oleh beberapa karyawan dengan informasi yang terbatas.

Setelah diterapkan di seluruh perusahaan, sistem yang sama dapat menangani catatan pelanggan, dokumen keuangan, detail karyawan, dan informasi bisnis rahasia.

Hal ini menimbulkan tanggung jawab keamanan tambahan.

Perusahaan perlu memahami karyawan mana saja yang dapat mengakses aplikasi AI tersebut dan informasi apa saja yang dapat diambil oleh aplikasi tersebut.

Seorang karyawan layanan pelanggan, misalnya, tidak boleh secara otomatis diberikan akses ke catatan keuangan rahasia hanya karena kedua departemen tersebut menggunakan platform AI yang sama.

Perusahaan juga harus meninjau bagaimana informasi berpindah antar sistem dan apakah penyedia layanan eksternal memproses atau menyimpan data bisnis.

Kontrol izin, catatan aktivitas, koneksi aman, dan aturan penanganan data yang jelas harus ditetapkan sebelum penerapan yang lebih luas.

Tinjauan keamanan juga harus terus dilakukan setelah peluncuran, terutama ketika departemen atau sumber data baru terhubung.

Memperluas penggunaan AI tanpa meninjau kontrol-kontrol ini dapat membocorkan informasi yang sebenarnya tidak dimaksudkan untuk dibagikan.

6. Kepemilikan yang Tidak Jelas Membuat Masalah Produksi Lebih Sulit Diselesaikan

Selama tahap uji coba, pengembang sering kali memantau sistem dengan cermat.

Jika terjadi kegagalan, tim proyek dapat menyelidiki dan memperbaiki masalah tersebut.

Pengaturan ini menjadi sulit ketika AI mulai mendukung operasi bisnis sehari-hari.

Siapa yang akan merespons jika sistem berhenti berfungsi di luar jam kerja?

Siapa yang memutuskan apakah rekomendasi yang salah cukup serius untuk menghentikan sementara otomatisasi?

Siapa yang memperbarui informasi bisnis ketika kebijakan perusahaan berubah?

Pertanyaan-pertanyaan ini perlu dijawab sebelum penerapan.

Sistem AI yang sudah beroperasi harus memiliki pembagian tanggung jawab yang jelas di antara tim teknis dan tim bisnis.

Pengembang dapat menangani masalah perangkat lunak, sementara manajer departemen mengevaluasi apakah AI menghasilkan hasil bisnis yang bermanfaat.

Tim operasional mungkin memantau ketersediaan sistem, dan karyawan mungkin menangani kasus-kasus yang memerlukan penilaian manusia.

Tanpa struktur ini, masalah dapat tetap tidak terselesaikan sementara tim-tim berselisih mengenai siapa yang seharusnya bertanggung jawab.

Kepemilikan yang jelas memudahkan untuk mempertahankan kinerja dan merespons dengan cepat ketika terjadi masalah.

7. Biaya Dapat Meningkat dengan Cepat Setelah Penerapan

Proyek percontohan AI biasanya melibatkan penggunaan yang terbatas, sehingga biaya lebih mudah dikendalikan.

Sistem produksi bisa berbeda.

Jumlah pengguna yang lebih banyak dapat berarti permintaan model tambahan, biaya cloud yang lebih tinggi, peningkatan penyimpanan data, dan persyaratan pemantauan yang lebih besar.

Beberapa alur kerja AI mungkin juga mengharuskan karyawan untuk meninjau atau memperbaiki hasil secara rutin.

Misalnya, sistem pemrosesan dokumen otomatis mungkin mengurangi waktu entri data, tetapi tetap memerlukan staf keuangan untuk meninjau banyak pengecualian.

Jika perusahaan hanya mengukur kecepatan pemrosesan, perusahaan mungkin mengabaikan biaya pekerjaan tambahan tersebut.

Perusahaan harus memperkirakan total biaya operasional sebelum melakukan penskalaan.

Hal ini mencakup infrastruktur, penggunaan perangkat lunak, pemeliharaan integrasi, dukungan teknis, dan keterlibatan karyawan.

Mereka juga harus membandingkan biaya-biaya ini dengan nilai yang diberikan oleh sistem tersebut.

Model AI yang lebih murah belum tentu menjadi pilihan yang lebih baik jika karyawan harus menghabiskan waktu jauh lebih banyak untuk memperbaiki kesalahannya.

Ukuran kesuksesan yang sesungguhnya bukanlah seberapa murah AI menghasilkan output, melainkan seberapa efisien AI tersebut membantu bisnis menyelesaikan tugas yang bermanfaat.

8. Peluncuran Bertahap Mengurangi Risiko Produksi

Salah satu kesalahan terbesar yang dapat dilakukan perusahaan adalah menerapkan AI ke setiap departemen segera setelah uji coba berhasil.

Peluncuran penuh dapat membuat masalah lebih sulit diidentifikasi karena banyak pengguna dan sistem mulai bergantung pada teknologi tersebut secara bersamaan.

Pendekatan bertahap memberikan kontrol yang lebih besar.

Perusahaan dapat memulai dengan menjalankan AI secara paralel dengan proses yang sudah ada tanpa mengizinkannya melakukan perubahan secara langsung.

Hal ini memungkinkan karyawan membandingkan hasil AI dengan keputusan bisnis biasa dan mengidentifikasi kesalahan.

Langkah selanjutnya dapat berupa penerapan sistem tersebut ke satu departemen atau sekelompok kecil pengguna.

Selama tahap ini, perusahaan harus memantau waktu respons, akurasi, kegagalan sistem, umpan balik karyawan, dan biaya operasional.

Setelah kinerjanya stabil, perusahaan dapat memperluas penggunaannya.

Misalnya, sebuah perusahaan yang menerapkan pemrosesan faktur berbasis AI dapat memulainya dengan satu kelompok pemasok.

Setelah memastikan bahwa ekstraksi dokumen, aturan persetujuan, dan koneksi ERP berfungsi dengan benar, perusahaan dapat menambahkan pemasok lainnya.

Jika muncul masalah, perusahaan dapat memperbaikinya sebelum sistem memproses volume transaksi yang jauh lebih besar.

Setiap rencana peluncuran juga harus menjelaskan cara kembali ke proses sebelumnya jika terjadi kesalahan.

Karyawan memerlukan alternatif yang andal ketika sistem otomatis tidak tersedia.

Hal ini mencegah kegagalan teknis menghentikan operasi bisnis penting secara total.

9. AI Perlu Dipantau Setelah Diluncurkan

Meluncurkan sistem AI tidak berarti pengembangan dan pengujian telah selesai.

Informasi bisnis terus berubah. Pelanggan mengajukan pertanyaan baru, karyawan mengikuti prosedur terbaru, dan perangkat lunak yang terhubung menerima pembaruan.

Perubahan-perubahan ini dapat memengaruhi kinerja AI.

Sistem yang berfungsi dengan baik hari ini mungkin menghasilkan hasil yang kurang andal setelah beberapa bulan.

Perusahaan harus secara rutin mengevaluasi akurasi, waktu respons, permintaan yang gagal, koreksi yang dilakukan karyawan, dan biaya operasional.

Mereka juga harus mengumpulkan umpan balik dari pengguna sistem.

Jika karyawan berulang kali mengoreksi jenis kesalahan yang sama, perusahaan perlu memahami alasannya.

Masalahnya mungkin terkait dengan informasi yang sudah usang, aturan bisnis yang salah, atau integrasi yang tidak lagi berfungsi dengan baik.

Pemantauan rutin membantu tim mengidentifikasi masalah-masalah ini sejak dini.

Pemantauan ini juga memberikan bukti untuk memutuskan kapan sistem perlu ditingkatkan atau apakah sistem tersebut sudah siap untuk mendukung departemen tambahan.

Catatan Penutup

Uji coba AI yang berhasil merupakan langkah awal yang penting, tetapi tidak menjamin kesuksesan dalam operasi bisnis sehari-hari.

Tantangan sering muncul ketika AI harus menangani informasi nyata, terintegrasi dengan sistem yang sudah ada, mendukung lebih banyak pengguna, dan beroperasi tanpa bantuan pengembang secara terus-menerus.

Perusahaan dapat mengurangi masalah-masalah ini dengan menguji situasi yang realistis, mengevaluasi keamanan, menetapkan tanggung jawab yang jelas, dan merencanakan biaya produksi sebelum implementasi.

Peluncuran bertahap juga memberi tim waktu untuk mengidentifikasi masalah dan meningkatkan kinerja sebelum memperluas cakupan lebih lanjut.

Proyek AI tidak boleh dinilai hanya berdasarkan seberapa baik kinerjanya selama demonstrasi.

Uji coba sesungguhnya dimulai ketika teknologi tersebut menjadi bagian dari operasi bisnis sehari-hari dan harus memberikan hasil yang andal tanpa menimbulkan masalah tambahan.