Luki Ishwara's journal

Data Analysis doesn’t have to be hard

Arsitektur Data #1

Pengenalan

Ada banyak bentuk berbeda dari data yang disajikan pada komputer, level yang berbeda dari data mencerminkan abstraksi yang berbeda-beda, seperti pada gambar dibawah ini:

• Tingkatan Business Rules, disini kita bicara: informasi apa yang kita dapat dari data yang kita miliki
• Tingkatan Meta Data, disini kita bicara tentang Logical Model dan Mapping ke Physical Sources
• Tingkatan Skema Database, disini kita bicara tentang layout dari data, seperti: Table, Field, Index, dan Data Type
• Tingkatan Rangkuman Data, disini kita bicara rangkuman Informasi berdasarkan Siapa, Apa, Kapan, dan Dimana
• Tingkatan Data Operasional, Disini kita bicara Siapa, Apa, Kapan, Dimana.

Tingkatan Abstraksi Data adalah karakteristik penting dari data yang digunakan pada data mining, apabila pada system yang ter-design dengan baik, sangat dimungkinkan untuk melakukan penelusuran (drill-down) melalui tingkatan-tingkatan ini guna untuk memperoleh data dasar yang mendukung kita untuk membentuk sebuah summarization atau business rule.

Makin kebawah, volume datanya semakin besar, volume data yang besar itu adalah urusan database management system, makin ke atas, volume datanya semakin kecil, dan ini menjadi urusan perangkat lunak komputer (misal reporting system atau dashboard system). Mana tingkatan yg lebih penting? semuanya penting :) karena kita tidak menginginkan menganalisa data yang rinci, untuk mendapatkan apa yang sudah kita ketahui sebelumnya.

Sisi Gelap dari Data yang tersedia

Bekerja dengan data merupakan bagian penting dari proses data mining. Apa arti dari data yang anda miliki? ya, saya mengerti bahwa banyak cara untuk menjawab pertanyaan ini – terserah anda ambil sumber jawaban melalui dokumen tertulis, skema database, metadata system, tanya ke database administrator dan system analis yang mengetahui jawabannya, apakah lewat documentation yang sangat detil, tapi informasi sesungguhnya tetap berada pada data tersebut.

ada miskonsepsi atau kesalahpahaman bahwa data mining membutuhkan data yang sangat baik dan sempurna, patut anda pahami bahwa didalam dunia analisa, sebuah kesempurnaan adalah sebuah musuh yang patut diwaspadai, mengeksplorasi data dan membangun sebuah model akan menyoroti  informasi yang seringkali tidak diketahui sebelumnya, memulai sebuah proses dengan data yang tersedia belum tentu menghasilkan sebuah model yang bagus, tapi apabila proses tersebut diulangi dan ditingkatkan setiap waktu dengan data baru yang tersedia, ini akan menghasilkan sebuah model  yang akan menjadi semakin baik.

Menunggu sampai anda memiliki data yang sempurna baru melakukan eksplorasi data hanya akan menunda project anda, dan hasilnya adalah nol besar :)

Data yang kita terima atau kita miliki untuk di eksplorasi tidak selamanya indah, dan dibawah ini adalah beberapa contoh dari kejadian-kejadian yang mungkin akan kita alami dalam mengeksplorasi data, sering banget buat cenat cenut kepala dan mata.

Penjelasan tentang Market Basket Analysis

Ide Dasar

Sekarang kita coba bahas ide dasar dari Market Basket Analysis, Coba anda bayangkan kalau anda jalan-jalan ke Supermarket misalnya Superindo (dulunya Gelael, tempat belanja favorite saya di *** dulu hehehe), perhatikan orang yg belanja dengan menggunakan trolley, perhatikan trolley tersebut, trolley itu berisi berbagai macam produk seperti (misalnya) pulpy orange, Nestle Purelife, pisang, pembersih jendela, deterjen dan lain-lain.

Satu keranjang ini menginformasikan kita tentang apa saja yang dibeli konsumen pada satu waktu, oke lah pada akhirnya mereka menuju kasir dan membayarnya, tampaknya tidak ada satu hal yg istimewa disini, tapi dari sisi supermarket tersebut sebenarnya telah memperoleh sebuah daftar lengkap pembelian yang dilakukan oleh semua pelanggannya, nah daftar lengkap pembelian ini memiliki sebuah bagian penting dari bisnis ritel seperti: barang apa saja yg dibeli oleh konsumen, disini konsumen pun membeli serangkaian produk yg berbeda, dengan quantity yang berbeda, dan dalam kerangka waktu yang berbeda ***.

Market Basket Analysis menggunakan infromasi tentang apa saja yang dibeli oleh konsumen untuk menghasilkan sebuah wawasan tentang siapa sebenarnya para konsumen kita dan mengapa mereka melakukan pembelian tertentu.

Market Basket Analysis memberikan informasi baru tentang barang dagangan mana yang cenderung untuk dibeli bersama sama, dan mana yang paling cocok untuk dimasukkan ke promosi, nah ketika informasi baru ini didapat, informasi baru ini bisa langsung ditindak lanjuti, misalnya:

Kunci untuk membuat Keputusan yang efektif

Pada postingan blog sebelumnya kita sudah menyadari bahwa ada tiga kunci penting dalam membuat keputusan yang efektif:

1. Harus memiliki sebuah tujuan yang Spesifik
2. Harus ada cara untuk mengukur apakah langkah yang diambil membawa pergerakan ke arah yg dekat atau malah menjauh dari sasaran yang diinginkan.
3. Informasi yang diperoleh berdasarkan cara pengukuran tersebut harus diberikan kepada para pengambil keputusan pada waktu yang tepat.

sekarang kita akan bahas lebih dalam lagi tentang faktor ini.

Kemana arah anda? kesini atau kesana?

Banyak sekali organisasi yang memiliki tujuan yang tidak jelas dalam misinya, kata-kata seperti misalnya “Mewujudkan kepuasan total Konsumen” merupakan sebuah slogan besar yang digunakan untuk mendevelop sebuah kampanye pemasaran (marketing campaign) ataupun membangun semangat pada tim kita supaya mencapai tujuan kesuksesan, namun kata-kata ini tidak memiliki sebuah batasan pengukuran yang jelas untuk menakar / mengukur performa bisnis organisasi tersebut.

“Mewujudkan kepuasan total Konsumen” adalah cita cita yang indah (Dunia tampaknya akan menjadi tempat yang jauh lebih menyenangkan kalau saja setengah perusahaan di dunia ini yang memiliki slogan tersebut benar-benar menuju ke arah itu ), tapi masalahnya adalah:

• Bagaimana mengukur “kepuasan total konsumen”
• Bagaimana caranya kita tahu bahwa kita telah mencapai ke cita-cita yang kita inginkan tersebut?,
• Apakah kita telah membuat kemajuan yang mendekatkan kita ke arah cita-cita tersebut?.

Keputusan yang efektif

Hidup selalu penuh dengan pilihan.

Apakah malam ini saya akan merebus Mie ABC Selera Pedas ataukah saya keluar mencari Sate Kambing di lapak Sihono Putro yang terletak di area Arcamanik untuk makan malam saya?

Haruskah saya mulai mengambil sertifikasi profesional di bidang IT atau saya cukup mengandalkan gelar akademis yang saya dapatkan dari tempat kuliah saya? 

Haruskah saya menyediakan waktu menuliskan ide dan pengetahuan yang saya miliki dalam blog saya ataukah saya cukup memendamnya sendiri saja?

Pilihan yang kita buat dapat memiliki konsekuensi yang mengubah hidup. Bahkan tampaknya sepele, keputusan dapat memiliki konsekuensi yang besar di jalan hidup kita.

Ini seperti orang tua Anda selalu mengatakan Anda: Kunci keberhasilan dalam hidup adalah membuat pilihan yang baik

Pengambilan keputusan yang efektif

Pengambilan keputusan adalah sebuah hal yang penting didalam dunia kerja yang kita jalani, setiap hari banyak sekali keputusan harus dibuat untuk menentukan arah dan efisiensi di tempat kita bekerja, misal:

• keputusan yang dibuat ketika harus menentukan kapasitas produksi, target pemasaran, dan sumber daya manusia
• keputusan yang dibuat ketika harus menentukan harga pokok produksi, harga pokok jual, dan margin yang akan diperoleh

sama seperti keputusan yang kita ambil untuk kehidupan kita sendiri, kunci sukses sebuah organisasi adalah dengan membuat pilihan yang baik, pilihan yang tepat. Sebuah organisasi harus memiliki pengambil keputusan yang menghasilkan sebuah keputusan yang efektif.

Skala Pengukuran pada Statistik

Mungkin terlihat tidak lazim kenapa saya menuliskan blog ini , tidak tampak IT Related.

fokus blog ini ingin saya arahkan kepada Business Intelligence, tentu tidak terlepas dari Data Mining, nah data mining sendiri merupakan perkawinan antara Computer Science dan Statistik. Dalam usaha pencarian informasi dalam data, tentu kita tidak lepas dari disiplin ilmu statistik (disamping disiplin ilmu computer science). karena itu saya ingin mendokumentasikan beberapa skala pengukuran yang nantinya akan kita pakai didalam proses data mining.

Kurang lebih keterkaitannya ada disitu . saya harapkan kita tidak hanya menjadi “operator” sebuah system, tapi juga memahami apa hakikat yang dikerjakan oleh system tersebut, termasuk ketika kita harus melakukan sebuah “klasifikasi” terhadap data tertentu (yg kadang di lapangan harus kita lakukan secara manual).

Skala Nominal

Skala yang mengelompokkan obyek atau peristiwa dalam berbentuk kategori. Skala nominal diperoleh dari pengukuran nominal yaitu suatu proses mengklasifikasian obyek-obyek yang berbeda kedalam kategori-kategori berdasarkan beberapa karakteristik tertentu

Contoh Kasus:

Andre dan Anna bergolongan darah A, adapun Betty bergolongan darah B. Dapat dikatakan bahwa:

• Golongan darah Andre ‘sama dengan (=)’ golongan darah Anna, dan
• Golongan darah Andre ‘tidak sama dengan (≠)’ golongan darah Betty.

Terhadap golongan darah Andre dan Betty tidak dapat diajukan pertanyaan berikut:

1. Manakah yang lebih … (lebih tinggi, lebih besar, lebih dulu, dan seterusnya), golongan darah Andre ataukah golongan darah Betty?
2. Berapakah jarak antara golongan darah Andre, yaitu A, terhadap golongan darah Betty, yaitu B?
3. Berapa kalikah besarnya golongan darah Andre dibandingkan golongan darah Betty?

Data Warehouse bagi Bisnis #6

Kegagalan Sistem Pendukung Keputusan di masa lalu

Saya memiliki sedikit cerita, semoga menarik..

Marketing Department pada perusahaan anda telah memperhatikan kinerja di daerah luar pulau jawa, dan dari laporan penjualan bulanan ini, omsetnya sangat menurun drastis. Kemudian direktur marketing tampak seperti kebakaran jenggot meminta beberapa laporan dari IT Department untuk menganalisis kinerja selama dua tahun terakhir, membandingkan produk satu dengan produk lainnya, serta membandingkan omset dan target bulanan. Direktur Marketing tersebut ingin membuat sebuah keputusan strategis dengan cepat demi memperbaiki situasi penjualan yang terus melorot.

Direktur Accounting yang membawahi IT Department memerintahkan IT Manager untuk memberikan laporan sesegera mungkin, IT Manager tersebut menemui anda dan memerintahkan anda untuk menghentikan segala aktivitas anda dan fokus kepada membuat laporan yang diinginkan oleh Direktur Marketing, dan sialnya pada saat itu tidak ada laporan yang dibuat berkala oleh system yang ada untuk Marketing Department yang sesuai dengan keinginan atau kebutuhan mereka, dan ternyata anda harus melakukan rekap data dari beberapa system / program yang ada demi membuat laporan yang diinginkan oleh Direktur Marketing., apakah hal ini terdengar tidak asing bagi anda?

Beberapa dari anda yang memulai karir di bidang teknologi informasi biasanya mengalami hal seperti ini. Kadang kala dengan mudah kita mendapatkan apa yang dibutuhkan karena informasi yang dibutuhkan ada di dalam database atau sebuah file, tapi seringkali anda tidak seberuntung itu, demi mendapatkan informasi yang dibutuhkan, anda harus membuka beberapa aplikasi yang kadang-kadang platformnya saja sudah berbeda. Okay singkat cerita, anda mampu membuat laporan sesuai dengan apa yang mereka minta.

Data Warehouse bagi bisnis #5

Peluang dan Resiko

Kita telah membahas krisis informasi yang terjadi pada setiap perusahaan, dan memahami bahwa dengan data operasional yang berlimpah dalam sebuah perusahaan sering kali tidak memenuhi apa yang di butuhkan untuk membuat sebuah keputusan strategis.

Mumpung kita masih membahas kebutuhan perusahaan tentang informasi bersifat strategis yang terus meningkat , mari kita coba ajukan beberapa pertanyaan dasar

• Apa peluang yang mungkin tersedia bagi perusahaan apabila perusahaan memiliki dan menggunakan Informasi bersifat strategis ?
• Apa ancaman dan resiko yang dihasilkan dari kekurangan informasi strategis yang dibutuhkan oleh perusahaan?

Data Warehouse Bagi Bisnis #4

Trend Teknologi

Bagi mereka yang telah bekerja di sektor Teknologi Informasi sejak dua atau tiga dekade yang lalu, pasti mereka telah menjadi saksi perubahan pergerakan teknologi informasi yang terjadi, misalnya, nama departemen komputer pada perusahaan, dari yang awalnya adalah "Data Processing Department" berubah ke "Management Information System Departement", kemudian seiring dengan perkembangan teknologi namanya berubah menjadi "Information System Department" dan untuk yang terakhir saat ini adalah "Information Technology Department"

Seluruh spektrum komputasi telah mengalami perubahan yang signifikan, fokus komputasi itu sendiri telah berubah selama bertahun-tahun. Cara lama sudah tidak lagi dapat memenuhi kebutuhan baru, pre-formatted report seringkali sudah tidak layak untuk memenuhi kebutuhan penggunanya, mereka butuh lebih dari ini.

Sepanjang tahun ke belakang, harga processor menjadi semakin murah, media penyimpanan juga menjadi semakin murah, bandwith internet semakin kencang dan menjadi semakin murah (saya menulis blog ini hanya bermodal koneksi internet unlimited Rp. 25.000,- / bulan dengan kecepatan terendah di 64 Kb/s   thanks to kartu 3)

Data Warehouse bagi Bisnis #3

Krisis Informasi pada Perusahaan

Anda mungkin bekerja sebagai seorang tenaga ahli di departemen Teknologi Informasi pada sebuah perusahaan, terlepas besar atau kecilnya perusahaan tersebut. Sehari-harinya anda pasti memikirkan memikirkan berbagai aplikasi yang terinstall di komputer perusahaan anda.

Apakah anda tahu tentang:

• Berapa banyak data pelanggan yang berharga dari tahun ke tahun tersimpan?
• Berapa banyak data keuangan yang juga berharga tersimpan dari tahun ke tahun?
• Dimana semua data ini berada? Pada satu platform? di dalam sistem warisan pendahulu anda? di dalam file Microsoft Office? atau di dalam aplikasi client / server?

Sering kali kita dihadapkan dengan dua fakta yang ternyata mengejutkan:

1. Sejatinya Organisasi anda memiliki banyak data
2. Sumber daya teknologi informasi dan system yang tidak efektif untuk mengubah data yang ada menjadi sebuah informasi bersifat strategis yang berguna.

Data Warehouse bagi Bisnis #2

KEBUTUHAN INFORMASI BERSIFAT STRATEGIS YANG TERUS MENINGKAT

Sambil kita membahas tuntutan perusahaan untuk mendapatkan informasi bersifat strategis, kita butuh untuk melihat krisis informasi yang menahan mereka untuk tumbuh, dan trend teknologi yang digunakan untuk mendukung mereka menyediakan informasi yang bersifat strategis.

Pembahasan kita tentang kebutuhan informasi bersifat strategis tidak akan selesai kecuali kita mempelajari keuntungan yang bisa diperoleh dengan menyediakan informasi yang bersifat strategis, serta resiko yang harus dihadapi oleh perusahaan yang tidak memiliki informasi yang berguna.

Siapa yang butuh informasi strategis didalam perusahaan?

Apa sebenarnya yang kita maksud dengan informasi bersifat strategis?

Para eksekutif dan para manager yang bertanggung jawab dalam menjaga perusahaan supaya tetap kompetitif, adalah mereka yang membutuhkan informasi untuk mengambil keputusan yang tepat. Mereka membutuhkan informasi bersifat strategis tersebut untuk memformulasikan strategi bisnis, mencapai tujuan, merancang sasaran, dan memantau hasilnya.

Data Warehouse bagi Bisnis #1

Tujuan:

• Memahami kebutuhan mendesak memiliki informasi yang bersifat strategis

• Mengenali krisis informasi pada setiap organisasi / perusahaan

• Mampu membedakan antara system operasional dan system informasi

• Belajar memahami kenapa seluruh usaha yang dilakukan untuk menyediakan informasi strategis pernah gagal

• Mampu melihat secara jelas kenapa data warehouse adalah merupakan solusi yang baik.

Kebutuhan penting untuk membangun data warehouse

Sebagai seorang IT Profesional, anda telah mungkin pernah bekerja sebagai seorang analyst, programmer, designer, developer, database administrator ataupun project manager.

Anda telah banyak terlibat pada perencanaan System, implementasi system dan pemeliharaan system yang telah mendukung operasi bisnis anda setiap harinya. Bergantung kepada industri yang telah anda masuki, anda pasti pernah terlibat pada software aplikasi seperti order processing, general ledger, inventory, billing, checking account, insurance claim dan lainnya.

Aplikasi-aplikasi tersebut adalah System yang sangat penting dalam menjalankan bisnis. Aplikasi tersebut memproses order anda, menjaga inventory anda, menyimpan transaksi akunting anda, melayani client anda, menerima pembayaran dari client / customer anda dan memproses klaim yang diajukan client atau customer anda.

Tanpa system ini, jarang ada bisnis modern dapat bertahan hidup karena komplektivitas proses yang harus dilakukan secara manual oleh karyawan perusahaan yang menjalankan bisnis tersebut.

Mitos-mitos pada data mining

Mitos 1

Ada tools data mining yang kita dapat kita aplikasikan langsung ke penyimpanan data dan secara otomatis menjawab problem kita.

Kenyataan

Tidak ada tools data mining yang dapat berjalan otomatis menyelesaikan problem anda. Sebaliknya, data mining adalah sebuah proses, seperti yang kita lihat pada studi kasus analisa garansi mobil pada blog sebelumnya. CRISP-DM adalah salah satu metoda untuk mencocokkan proses data mining kepada rencana kerja bisnis atau penelitian yang ada.

Mitos 2

Proses bekerjanya data mining adalah otomatis, tidak memerlukan pengawasan manusia.

Kenyataan:

Proses data mining memerlukan interaksi manusia pada setiap tahapannya. Bahkan setelah modelnya di gunakan pada dunia nyata, data awal yang digunakan seringkali membutuhkan pembaharuan model, pemantauan kualitas data secara terus menerus dan langkah-langkah evaluatif lainnya harus dinilai oleh analis manusia.

Tentang CRISP-DM