Analitik tertambah

Analitik tertambah (bahasa Inggris: augmented analytics) adalah sebuah pendekatan yang menggunakan pembelajaran mesin (machine learning) dan pemrosesan bahasa alami (Natural Language Processing) untuk mengotomatisasikan data analytic, data sharing, dan business intelligence. Konsep Augmented Intelligence yang merupakan konsep menyeluruh dari Augmented Analytic pertama kali diperkenalkan oleh perusahaan riset Gartner, dalam edisi "Hype Cycle for Emerging Technologies" pada tahun 2017. Penggunaan pemelajaran mesin dan NLP memberikan alat bagi Augmented Analytic yang memiliki kemampuan untuk memahami dan berinteraksi dengan data secara organik serta memperhatikan tren yang penting atau tidak biasa. Data analytic sendiri merupakan konsep yang sangat kompleks dan membutuhkan data scientist untuk mengekstrak nilai apapun dari big data. Diperkirakan seorang data scientist dapat menghabiskan 80% waktunya untuk mengumpulkan, mempersiapkan dan membersihkan data. Di sinilah Augmented Analytic dapat diimplementasikan, dengan bantuan pemelajaran mesin pada data analytics, waktu yang dihabiskan untuk mengumpulkan dan mempersiapkan data dapat diselesaikan dengan cepat, secara otomatis, dan dengan error yang lebih sedikit sehingga data scientist dapat menghabiskan lebih banyak waktu dalam mencari pengetahuan mendalam yang dapat ditindaklajuti.

Definisi

Augmented Analytics mencakup:

• Persiapan data tertambah (augmented data preparation), yang menggunakan otomatisasi pemelajaran mesin untuk menambah profil dan kualitas data, harmonisasi, pemodelan, manipulasi, pengayaan, pengembangan dan katalogisasi metadata.
• Penemuan data tertambah (augmented data discovery, yang sebelumnya disebut "smart data discovery"), yang memungkinkan pebisnis dan data scientist menggunakan pemelajaran mesin untuk secara otomatis menemukan, membayangkan, dan menceritakan penemuan yang relevan (seperti korelasi, pengecualian, penyaringan, hubungan dan prediksi) tanpa membuat model atau menulis algoritma. Pengguna menjelajah data menggunakan visualisasi, teknologi pencarian dan bahasa alami, didukung oleh narasi yang dihasilkan oleh bahasa alami untuk interpretasi hasil. Hasil tersebut dapat dianalisis oleh data scientist tanpa gagasan yang terbentuk sebelumnya untuk pembuatan prototipe awal dan pengembangan hipotesis dengan eksperimen yang tidak terlalu manual. Oleh karena itu, data scientist dapat memiliki banyak waktu untuk fokus membangun dan mengoperasikan model yang relevan.
• Ilmu data tertambah (augmented data science) dan Pemelajaran Mesin (Machine Learning), yang mengotomatisasikan aspek kunci dari pemodelan analitik lanjutan seperti pemilihan fitur. Hal ini mengurangi kebutuhan akan keterampilan khusus untuk menghasilkan, mengoperasikan, dan mengelola model analitik lanjutan.

Sejarah Perkembangan Platform Analitik

Platform Berbasis Lapisan Semantik

Data perusahaan sering kali disimpan di dalam basis data relasional dan server OLAP. Data tersebut mengandung informasi penting, namun tidak dalam bentuk yang dapat memudahkan pengguna menjawab pertanyaan bisnis. Konsep lapisan semantik awalnya dipatenkan oleh Business Objects pada tahun 1991 dan berhasil ditantang oleh Microstrategy pada tahun 2003. Lapisan semantik merupakan representasi bisnis dari data perusahaan yang dapat membantu pengguna mengakses data secara mandiri menggunakan istilah bisnis umum. Dengan lapisan semantik, data kompleks dapat dipetakan menjadi istilah bisnis yang familiar seperti, produk, konsumen, atau keuntungan untuk menyediakan tampilan terpadu atau gabungan data dari seluruh organisasi. Istilah bisnis tersebut disimpan sebagai objek pada lapisan semantik yang diakses melalui business view. Business Views adalah sistem multi-tier yang dirancang untuk memungkinkan perusahaan membangun objek bisnis yang komprehensif dan spesifik yang membantu perancang laporan dan pengguna mengakses informasi yang mereka butuhkan. Business views dimaksudkan untuk memungkinkan orang menambahkan konteks bisnis yang diperlukan ke data island mereka dan menautkannya ke dalam sebuah business views yang terorganisir dalam organisasi mereka.

Platform Penemuan Data Berbasis Visual

Penemuan data (data discovery) adalah proses untuk mendeteksi pola dan outlier dengan menavigasi data secara visual atau menerapkan analitik tingkat tinggi dengan panduan. Penemuan data adalah proses yang berulang yang tidak memerlukan pembuatan model di awal. Selama 10 tahun terakhir, platform penemuan data berbasis visual ini sudah mengacaukan pasar BI tradisional. Alat yang mudah digunakan ini memungkinkan pengguna untuk mengumpulkan data secara cepat, memeriksa hipotesis secara visual, dan menemukan wawasan baru pada sebuah data. Platform ini mengubah bagaimana pengguna bisnis mengeksplorasi data dibandingkan dengan lapisan semantik yang berpusat pada IT. Walaupun demikian, banyak aktivitas terkait dengan persiapan data, penemuan pola dalam data yang kompleks dan berbagi wawasan tetap manual dan cenderung bias.

Walaupun alat penemuan data berbasis visual ini mudah digunakan, karena pengguna menganalisis data secara manual dengan membuat queries untuk menginvestigasi hipotesis, hal ini tidak memungkinkan bagi mereka untuk menemukan semua pola dan kombinasi yang mungkin, seperti apakah temuan mereka adalah yang paling relevan, signifikan dan dapat ditindaklanjuti. Bergantung pada pengguna bisnis untuk menemukan pola secara manual dapat mengakibatkan mereka bias pada hipotesis mereka sendiri, kehilangan temuan yang penting, dan menarik kesimpulan mereka sendiri yang salah atau tidak lengkap, yang dapat mempengaruhi keputusan dan hasil.

Visualisasi merupakan cara yang ampuh untuk menemukan dan mengkomunikasikan pola dalam data (lebih dari tabel atau daftar). Namun, visualiasi tidak selalu menyoroti temuan yang signifikan secara statistik. Untuk itu, diperlukan interpretasi pengguna atau analisis statistik lebih lanjut untuk menentukan apakah temuan tersebut relevan, signifikan, dan dapat ditindaklanjuti. Terlebih lagi, menemukan wawasan dari analitik lanjut memerlukan keahlian dari data scientist yang sangat langka.

Augmented Analytics

Pada platform penemuan data berbasis visual, eksplorasi manual interaktif menggunakan visualiasi merupakan fitur pendefinisinya. Sedangkan, pada augmented analytics, otomatisasi pembelajaran mesin pada penemuan wawasan dan proses eksplorasi merupakan fitur pendefinisinya. Alat tersebut memungkinkan pengguna dan data scientist untuk menemukan, memvisualisasikan, dan menarasikan temuan yang relevan, seperti korelasi, pengecualian, pengelompokan, dan prediksi secara otomatis tanpa harus membangun model atau menulis algoritma. Pengguna mengeksplorasi data melalui visualisasi, teknologi pencarian dan natural language query, didukung oleh narasi dan interpretasi yang dihasilkan oleh bahasa alami berbasis teks dan suara, atau temuan yang paling penting secara statistik dalam konteks pengguna.

Augmented analytic dapat mengurangi waktu eksplorasi dan identifikasi wawasan yang salah atau kurang relevan. Menerapkan berbagai algoritma dan pembelajaran data secara paralel dan menjelaskan temuan yang dapat ditindaklanjuti kepada pengguna, mengurangi risiko hilangnya wawasan penting dalam data, dibandingkan dengan eksplorasi manual. Hal ini juga mengoptimalkan keputusan dan tindakan yang dihasilkan. Pergeseran paradigma ini membutuhkan investasi dalam literasi data di seluruh organisasi karena wawasan ini akan didistribusikan ke semua karyawan.

Alur Kerja Augmented Analytic

Saat ini, dalam bidang analitik, data scientist ataupun analis melakukan aktivitas berulang yg terdiri dari: menyiapkan data, menemukan pola pada data dan membangun model, membagi dan mengoperasikan penemuan dari data. Pendekatan augmented analytics mempercepat waktu yang diperlukan untuk mendapatkan wawasan akurat bagi pengguna bisnis dan menambah analisis mereka menggunakan algoritma pembelajaran mesin untuk mengotomatisasikan 3 proses analitik utama yang saat ini digunakan pada platform penemuan data berbasis visual.

Menyiapkan Data (Augmented Data preparation)

Persiapan data pada augmented analytics menggunakan algoritma untuk menemukan hubungan pada data, mendeskripsikan dan merekomendasikan pendekatan yang paling baik untuk membersikan, menyesuaikan, memperkaya, memanipulasi, dan memodelkan data dengan kemampuan untuk menangkap metadata dan garis turunan agar dapat digunakan kembali dan dikelola.

Menemukan pola pada data (Augmented Data Discovery)

Daripada analis secara manual menguji semua kombinasi data, maka diimplementasikan secara otomatis algoritma untuk mendeteksi korelasi, segmen, kelompok, outlier, dan relasi pada augmented analytics. Hanya hasil yang paling signifikan dan relevan secara statistiklah yang akan ditampilkan pada pengguna dalam bentuk visualisasi cerdas yang dioptimalkan untuk interpretasi pengguna. Menerapkan berbagai algoritma pada data secara paralel mengurangi risiko akan kehilangan wawasan yang penting pada data. Kebanyakan, platform penemuan data membuat model dasar terbuka untuk diinspeksi, diuji, dan divalidasi oleh data scientist spesialis. Hal ini penting untuk membangun kepercayaan dan memastikan keakuratan dari wawasan yang dihasilkan secara otomatis.

Otomatisasi pembelajaran mesin juga memasuki platform ilmu data (data science) untuk mempersingkat proses pembuatan fitur dan model. Pengguna dari augmented data discovery adalah orang bisnis atau citizen data scientist, dan luarannya adalah wawasan (baik visual maupun narasi dalam bahasa alami), sedangkan luaran dari ilmu data cerdas (smart data science) adalah model dan penggunanya adalah pakar data scientist . Tujuannya adalah untuk membuat data scientist spesialis lebih produktif dan model yang mereka buat tidak bias. Mengingat kelangkaan dari pakar data scientist dan permintaan yang semakin meningkat akan keterampilan mereka, diharapkan produktivitas yang lebih tinggi dan lebih banyak pekerjaan analitik perlu dilakukan oleh kelas data scientist baru juga.

Augmented data discovery dan augmented data science, serta pembelajaran mesin sama-sama mengurangi waktu eksplorasi dan identifikasi wawasan yang salah atau tidak relevan. Diperlukan proses kolaborasi antara keduanya untuk memfokuskan analis bisnis pada hal yang penting dan memberikan prototipe awal pada data scientist untuk mengeksplorasi dan mengoperasionalkan model untuk pola yang relevan saja. Baik analis dan data scientist menjadi lebih produktif dengan mengurangi fase eksperimen dan eksplorasi awal. Hal ini berdampak pada waktu yang lebih cepat untuk menghasilkan wawasan dan mengambil tindakan.

Perbedaan antara Platform Augmented Data Discovery dan Augmented Data Science

Platform augmented data discovery memberikan wawasan pada citizen data scientist. Sebuah model dihasilkan dan dapat ditanamkan pada aplikasi, setelah pemeriksaan lanjut oleh data scientist spesialis. Namun, sasaran atau luarannya adalah wawasan. Natural Language Query (NLQ) dan Natural Language Generation (NLG) merupakan fitur pengalaman pengguna yang penting. Sebaliknya, platform augmented data science, secara otomatis menghasilkan model baik bagi citizen data scientist maupun data scientist spesialis atau untuk ditanamkan. Platform ini membantu membangun model, mengelola siklus hidup, dan tata kelola. Perbedaan antara kedua platform hampir tidak kentara dan menyempit ke sebuah titik di mana konvergensi yang lebih besar mungkin terjadi.

Perbedaan antara Augmented Data Discovery dan Smart Visualization

Augmented data discovery harus dapat dibedakan secara jelas dari smart visualization. Yang terakhir adalah fitur deteksi pola yang secara otomatis menampilkan data dalam tipe, susunan, warna pembuatan label atau level detil visualisasi terbaik untuk mengoptimalkan wawasan untuk pengguna, tanpa manipulasi tambahan (filtering, sorting, label positioning, dll.).

Membagi dan mengoperasikan temuan dari data (Sharing and Operationalizing Findings from Data)

Platform BI modern dan analitik telah membuat kemajuan yang signifikan dengan cara membuat visualisasi dari data pada dashboard atau storyboard interaktif dan memberikan kapabilitas untuk membantu dalam hal berbagi dan bersosialisasi mengenai temuan yang didapat. Namun, visualisasi sering kali mengaburkan apa yang benar-benar signifikan dari sebuah data dan banyak pengguna tidak memiliki kemampuan untuk sepenuhnya menginterpretasikan wawasan berbasis visual yang signifikan secara statistik. Dengan penambahan bahasa alami, platform augmented data discovery secara otomatis menyajikan temuan melalui narasi secara tertulis atau lisan, bersama dengan visualisasi yang memberi tahu pengguna tentang apa yang paling penting bagi mereka untuk ditindaklanjuti.

Contoh Implementasi

Bidang Manufaktur

Data Preparation

Sebuah perusahaan penghasil penganan, makanan hewan, dan produk makanan lainnya berhasil mengurangi kebutuhan persiapan data, dari 5 orang dalam 5 minggu, menjadi 1 orang dalam 1 jam dan memungkinkan perubahan data hanya dalam 1 kali klik. Sebelumnya, perusahaan ini memakan waktu selama 5 minggu dengan pekerja sebanyak 5 orang untuk mengakses, membersihkan, mencampurkan, menyelaraskan, memodelkan, dan menyesuaikan Point of Sale retailnya, data Nielsen, kalkulasi harga, dan data kategori/jenisnya. Perusahaan tersebut ingin menganalisis kinerja dari kategori granular musiman dan non-musiman di semua lini dan merek. Hal ini membutuhkan persiapan dan pencampuran data otomatis, sehingga pembuat keputusan bisnis dapat melihat wawasan segera setelah sumber data diperbarui. Perusahaan ini menggunakan ClearStory Data Diarsipkan 2019-05-02 di Wayback Machine. untuk menjalankan algoritma untuk menunjukkan skor yang cocok untuk menyelaraskan sumber data. Algoritme tersebut juga menghasilkan informasi detil berdasarkan setiap nilai data dan setiap nilai kategori yang unik yang ditemukan pada kategori khusus dengan kesimpulan semantik berdasarkan semua detil konten (tidak hanya nama dari label kolom). Banyak vendor juga membuat profil data untuk masalah kualitas dan memberikan rekomendasi kepada pengguna mengenai cara meningkatkan kualitas data.

Bidang Kesehatan

Data Discovery

Untuk seorang pasien muda penderita apendisitis, perawatan tergantung pada satu pertanyaan: Apakah apendiks telah meletus? Jika sudah, perawatan konservatif perlu dipertimbangkan. Jika belum, operasi harus segera dilakukan dengan tujuan membuang apendiks sebelum meletus. Maka dari itu, sangat penting bagi dokter untuk memiliki cara yang cepat dan dapat diandalkan untuk menentukan apakah apendiks seorang pasien muda sudah meletus atau belum. Untuk menentukan kondisi dari apendix, digunakanlah CT scan dikarenakan tingkat akurasi dalam membedakan antara apendisitis perforasi dan non perforasi pada pasien muda. Namun, CT scan melibatkan sejumlah radiasi yang berpotensi membahayakan pasien muda. Eureqa milik DataRobot Nutonian menemukan parameter yang berkorelasi kuat dengan perforasi dan mengungkapkan pentingnya 2 kategori dalam variabel usia. Hal ini mengarah ke sebuah formula yang aplikasinya memberikan USG tingkat akurasi diagnostik yang sama dengan CT scan pada pasien anak. Sebagai hasilnya, dokter dapat mendiagnosa perforasi apendisitis dengan hanya menggunakan USG saja di beberapa kasus, dengan demikian hal tersebut mengurangi jumlah kasus yang membutuhkan paparan ke radiasi yang berpotensi membahayakan pada CT scan.

Data sharing

Vendor analitik kesehatan mengembangkan platform paten di atas QlikSense untuk membantu pembayar dan penyedia layanan untuk memvisualisasikan datanya, sehingga mereka dapat memahami kelompok populasi pasar mereka, melacak kemajuan, dan menilai kinerja. Namun, pengguna tanpa kemampuan analitik tingkat lanjut mengalami kesulitan dalam memahami dan menginterpretasi visualisasi tersebut. Vendor mengintegrasikan Narratives for Qlik Diarsipkan 2018-02-20 di Wayback Machine. ke dalam platform analitiknya, menyesuaikan bahasa sesuai dengan domainnya. Dengan NLG dan visualisasi interaktif, pembayar dan penyedia layanan sekarang dapat segera memahami apakah tingkat pengembalian berkorelasi dengan hasil dengan kualitas tinggi, sambil mengkomunikasikan penghematan bersama dan tren dalam tingkat pengembalian.

Resiko

Munculnya penemuan data berbasis visual telah mendemokratisasikan analitik dengan memungkinkan sejumlah besar pengguna yang kurang teknis untuk menyiapkan dan menganalisis data menggunakan alat yang mudah digunakan, interaktif secara visual, namun jauh lebih canggih. Ketika alat dan kemampuan analitik menjadi lebih mudah diakses, para pemimpin BI harus memahami dampak dari teknologi baru, merencanakan adopsi pendekatan baru untuk BI dan analitik, berinvestasi dalam literasi data yang diperlukan bagi pengguna untuk memanfaatkan wawasan sepenuhnya, dan mengembangkan strategi untuk mengatasi dampak pada kemampuan BI dan penemuan data yang saat ini dimiliki.

Sampai saat ini, alat penemuan data membutuhkan analisis manual dan intervensi dan interpretasi manusia. Pendekatan ini tidak dapat diukur atau diperluas dalam lingkungan saat ini, mengingat pertumbuhan volume dan kompleksitas data yang eksponensial, dan fakta bahwa semua karyawan memerlukan wawasan untuk melakukan pekerjaan mereka. Augmented analytics mewakili gelombang gangguan pasar selanjutnya yang perlu dirangkul oleh para pemimpin data dan analitik untuk membangun dan mempertahankan keunggulan kompetitif, khususnya dalam industri yang mengalami transformasi digital. Upaya untuk menggabungkan augmented analytics kemungkinan akan menghadapi perlawanan karena beberapa alasan:

• Ketergantungan pada proses analitik tradisional dan asumsi salah arah bahwa penemuan data manual melalui eksplorasi data interaktif dapat mengidentifikasi semua temuan yang dapat ditindaklanjuti dan relevan secara statistik
• Persepsi bahwa augmented analytics tidak transparan dan merepresentasikan pendekatan "black box" untuk pengambilan keputusan
• Ancaman terhadap keamanan kerja, karena remediasi beban kerja dan pendefinisian ulang proses kerja mengganggu status quo
• Ketergantungan para pemimpin bisnis pada intuisi dan praktik pengambilan keputusan tradisional, dan penolakan mereka terhadap perubahan
• Keyakinan bahwa kematangan analitik mengikuti proses pengembangan dan pematangan linier, sedemikian rupa sehingga analitik prediktif dan preskriptif hanya dapat dipertimbangkan setelah fondasi data yang solid telah ditetapkan

Tantangan-tantangan ini membutuhkan upaya yang terfokus dari para pemimpin data dan analitik untuk menantang proses dan pendekatan analitik saat ini, menunjukkan kesenjangan dan kekurangan dalam BI tradisional dan pendekatan penemuan data berbasis visual, dan menciptakan lingkungan dan budaya yang mendukung perubahan. Cara yang efektif untuk menunjukkan nilai potensial augmented analytic adalah mengidentifikasi masalah bisnis atau keputusan bisnis tertentu di mana upaya untuk menggunakan pendekatan tradisional ke BI gagal memberikan hasil yang relevan, tepat waktu, dan dapat ditindaklanjuti. Pendekatan ini dapat membantu pengguna bisnis membentuk hubungan yang relevan dan kontekstual antara masalah tertentu dan solusi teknis, mengidentifikasi kesenjangan, kesalahan atau masalah dalam proses analitik historis, dan meletakkan dasar untuk peluang yang disajikan oleh pendekatan baru yang lebih otomatis.

Pola dan wawasan yang sebelumnya tidak diketahui akan ditemukan menggunakan augmented analytic, yang harus digunakan untuk memperkuat argumen bahwa pendekatan manual tidak seefektif itu. Dalam banyak kasus, pendekatan manual mengarah pada asumsi yang salah dan bias karena hanya sebagian dari kombinasi data yang telah dianalisis, atau karena signifikansi statistik diasumsikan secara keliru. Namun, sebaliknya, tidak boleh diasumsikan bahwa semua temuan dan wawasan yang muncul melalui penggunaan augmented analytic harus diambil pada nilai nominal dan tidak perlu diverifikasi atau diuji. Sebagai gantinya, setiap temuan harus memberi tahu pembuat keputusan yang dapat menafsirkan wawasan yang ditemukan menggunakan pengalaman dan intuisi manusia untuk memutuskan tindakan yang akan diambil. Augmented analytics merupakan pendekatan baru untuk pemecahan masalah yang mendukung manusia dalam proses pengambilan keputusan. Ini memungkinkan waktu yang lebih cepat untuk wawasan dan, pada akhirnya, waktu yang lebih cepat untuk bertindak dan berdampak pada hasil bisnis.

Di luar risiko adopsi, memperoleh keterampilan literasi data yang diperlukan untuk penggunaan augmented analytic yang bertanggung jawab akan menjadi tantangan. Karena augmented analytic membuat wawasan yang dapat ditindaklanjuti tersedia bagi pengguna, mereka harus memberikan konteks, menafsirkan temuan, dan bertindak berdasarkan penemuan atau informasi preskriptif. Ini mengharuskan setiap orang (bukan hanya manajer) dalam organisasi untuk memiliki pengetahuan tentang analisis data, statistik, dan interpretasi. Organisasi perlu merekrut orang-orang dengan keterampilan analitik di semua kategori pekerjaan dan berinvestasi dalam literasi data sebagai prioritas berkelanjutan. Menurut penelitian yang dilakukan oleh CEB dan layanan data CEB TalentNeuron, permintaan untuk keterampilan terkait pekerjaan analisis dari 2012 hingga 2016 adalah 4,3 kali lebih tinggi di pekerjaan non-IT daripada di pekerjaan IT. Angka ini hanya akan meningkat karena analitik menjadi komponen yang diperlukan dari setiap pekerjaan.