Luki Ishwara's journal : Data Mining

Data Analysis doesn’t have to be hard

Luki Ishwara — Fri, 02 Sep 2011 15:56:52 GMT

Data analysis does not have to be hard. Although there are situations when elementary methods will no longer be sufficient, they are much less prevalent than you might expect. In the vast majority of cases, curiosity and a healthy dose of common sense...(read more)

Sisi Gelap dari Data yang tersedia

Luki Ishwara — Fri, 02 Sep 2011 15:41:00 GMT

Bekerja dengan data merupakan bagian penting dari proses data mining. Apa arti dari data yang anda miliki? ya, saya mengerti bahwa banyak cara untuk menjawab pertanyaan ini – terserah anda ambil sumber jawaban melalui dokumen tertulis, skema database...(read more)

Apa yang bisa dilakukan Data Mining ?

Luki Ishwara — Fri, 02 Sep 2011 15:31:00 GMT

Data mining bertujuan untuk mengekstrak pengetahuan dan wawasan melalui analisis data dalam jumlah besar dengan menggunakan teknik permodelan yang canggih. Data mining mengkonversi data menjadi pengetahuan dan informasi yang harus ditindaklanjuti. Data...(read more)

Data Warehouse bagi Bisnis #6

Luki Ishwara — Sat, 29 Jan 2011 13:37:00 GMT

Kegagalan Sistem Pendukung Keputusan di masa lalu

Saya memiliki sedikit cerita, semoga menarik..

Marketing Department pada perusahaan anda telah memperhatikan kinerja di daerah luar pulau jawa, dan dari laporan penjualan bulanan ini, omsetnya sangat menurun drastis. Kemudian direktur marketing tampak seperti kebakaran jenggot meminta beberapa laporan dari IT Department untuk menganalisis kinerja selama dua tahun terakhir, membandingkan produk satu dengan produk lainnya, serta membandingkan omset dan target bulanan. Direktur Marketing tersebut ingin membuat sebuah keputusan strategis dengan cepat demi memperbaiki situasi penjualan yang terus melorot.

Direktur Accounting yang membawahi IT Department memerintahkan IT Manager untuk memberikan laporan sesegera mungkin, IT Manager tersebut menemui anda dan memerintahkan anda untuk menghentikan segala aktivitas anda dan fokus kepada membuat laporan yang diinginkan oleh Direktur Marketing, dan sialnya pada saat itu tidak ada laporan yang dibuat berkala oleh system yang ada untuk Marketing Department yang sesuai dengan keinginan atau kebutuhan mereka, dan ternyata anda harus melakukan rekap data dari beberapa system / program yang ada demi membuat laporan yang diinginkan oleh Direktur Marketing., apakah hal ini terdengar tidak asing bagi anda?

Beberapa dari anda yang memulai karir di bidang teknologi informasi biasanya mengalami hal seperti ini. Kadang kala dengan mudah kita mendapatkan apa yang dibutuhkan karena informasi yang dibutuhkan ada di dalam database atau sebuah file, tapi seringkali anda tidak seberuntung itu, demi mendapatkan informasi yang dibutuhkan, anda harus membuka beberapa aplikasi yang kadang-kadang platformnya saja sudah berbeda. Okay singkat cerita, anda mampu membuat laporan sesuai dengan apa yang mereka minta.

Apa yang terjadi kemudian? Marketing department menyukai laporan yang anda buat, tapi sekarang mereka mereka mau laporan yang lain, laporan dalam bentuk dan dimensi yang berbeda dimana laporan tersebut diharapkan berisi lebih banyak lagi informasi yang mereka butuhkan tanpa mengerti perjuangan untuk membuat report yang anda buat sebelumnya. Terlebih lagi apabila system yang ada memiliki banyak sekali outlier data, ini akan mengakibatkan apa yang tertera pada system berbeda dengan laporan yang datanya sudah anda bersihkan dari outlier data. Marketing department akan mempertanyakan konsistensi dari data laporan yang anda berikan. Hal ini biasanya akan berputar terus menerus setiap saat.. Tentunya sangat menguras energi anda sebagai orang yang membuat laporan, sementara tugas anda di IT Department mungkin adalah seorang sosok Superman , dari maintenance jaringan komputer, maintenance komputer, membuat software, menjadi database administrator, administrasi web, dll.. super deh pokoknya.. singkat cerita anda mulai keteteran memenuhi permintaan pembuatan laporan dari atasan anda karena anda memiliki tugas pokok lain yang tidak bisa di tinggalkan.. Marketing department mulai menganggap bahwa IT Department gagal memberikan apa yang mereka butuhkan.

Fakta ini terjadi dalam kurun waktu dua dekade terakhir ini, ini sebenarnya hal yang biasa terjadi di beberapa perusahaan, tapi tidak boleh dijadikan sebuah justifikasi. IT Department telah berusaha untuk menyediakan informasi kepada seseorang yang menjadi pengambil keputusan dalam perusahaan. Kadangkala IT Department mampu untuk membuat sebuah aplikasi yang dapat menciptakan report yang dapat di kostumisasi, tapi yang terjadi di lapangan, sebuah laporan membutuhkan data yang berada pada banyak system yang berbeda, IT Department membutuhkan sebuah program / system yang dapat menjadi jembatan dari banyak system berbeda dalam rangka mengambil data yang dibutuhkan.

Kebanyakan upaya yang dilakukan oleh IT Department pada masa lalu berakhir dengan kegagalan, ini disebabkan karena User-nya (orang-orang yg membutuhkan report tersebut) tidak mampu secara jelas mendefiniiskan apa yang mereka inginkan. Begitu melihat serangkaian laporan yang telah dibuat (dengan penuh perjuangan menyatukan data dari berbagai system yang berbeda) di awal, mereka ingin meminta laporan yang lebih dalam lagi dan dalam format yang berbeda, terus dan terus terjadi seperti ini sehingga seakan-akan tiada habis-habisnya (sampai-sampai orang di IT Department merasa bahwa membuat laporan menjadi sebuah pekerjaan rutin, padahal banyak hal yang harus di urusi selain hanya membuat laporan). Walaupun terjadi seperti ini, tidak ada yang perlu disalahkan, ini terjadi karena sifat dari proses pengambilan keputusan strategis, informasi yang diperlukan untuk pengambilan keputusan strategis harus tersedia secara interaktif. Sebaiknya laporan yang di sajikan kepada orang yang membutuhkan dapat di drill-down sendiri oleh orang tersebut, karena mereka membutuhkan informasi dalam bentuk yang sesuai untuk dianalisis.

Dalam rangka menghargai alasan dari kegagalan IT Department untuk menyediakan informasi strategis di masa lalu, kita perlu mempertimbangkan bagaimana IT Department berusaha untuk melakukan hal ini (yang sebenarnya sering terjadi berulang selama bertahun-tahun). Oleh karena itu kita akan membahas sedikit sejarah singkat sistem pendukung keputusan pada posting blog berikutnya. Fase-fase yang ada merupakan hal-hal yang sangat biasa terjadi di perusahaan-perusahaan yang belum mature.

Data Mining Terapan Menggunakan Microsoft Excel #5

Luki Ishwara — Fri, 28 Jan 2011 13:15:00 GMT

Discriminant Report

Perhatikan di hasil report yang telah kita buat sebelumnya di blog sebelumnya :

perhatikan gambar di atas, gambar tersebut bercerita bahwa Income pada range 39000 – 71062 adalah sebuah strong influencer (faktor yang berpengaruh kuat) bagi pekerjaan Skilled Manual dan Professional pada kolom Occupation terhadap keputusan apakah akan membeli atau tidak.

Tools ini juga mampu melakukan diskriminasi influencer (yang memberikan pengaruh) dari dua pernyataan berbeda pada target kolom, dengan menggunakan dialog box Discrimination Based on Key Influencers (gambar ada dibawah ini)

dengan menggunakan Discrimination Based on Key Influences ini anda dapat melakukan pemilihan dari dua pernyataan dari target kolom dan dapat digunakan untuk meng-generate sebuah discrimination report bagi setiap pasang target.

untuk meng-generate sebuah discrimination report, mulailah dengan memilih dua value berbeda dari target kolom, sebagai contoh, pilihlah Skilled Manual sebagai value pertama, dan Professional sebagai Value kedua,

kemudian klik tombol Add Report.

kemudian anda akan mendapati sebuah Discrimination Report baru seperti dibawah ini:

Discrimination Report yang telah anda create ini membandingkan influencer hanya pada dua nilai target kolom yang telah anda pilih sebelumnya (antara nilai Skilled Manual dan Professional)

Perhatikan:

“Discrimination Report berguna hanya ketika Target Kolom memiliki lebih dari dua nilai (contoh: kolom occupation memiliki beberapa value, dan kita hanya gunakan dua value: Skilled manual dan Professional)”

Discrimination Report ini juga memiliki empat kolom:

Column
Value
Favors Skilled Manual
Favors Professional

kalau anda bandingkan dengan hasil yang pertama, dua nama kolom terakhir telah berubah untuk memenuhi permintaan anda pada pilihan di dialog box Discrimination Based on Key Influences .

Dua buah kolom pertama menjabarkan influencer-nya,

Dua buah kolom terakhir mewakili realtive impact dari setiap influencer pada satu atau target lain yang telah anda pilih.

urutan dari besarnya influencer, ditampilkan dari urutan besar ke kecil dari dampaknya yang dihasilkannya.

Influencer yang disajikan pada Discrimination Report seringkali sangat berbeda dari yang ditampilkan pada report utama. Beberapa influencer dari report utama tidak disajikan didalam discrimination report. Influencer ini (seperti pendapatan / income value antara 39000 – 71062) merupakan suatu hal yang penting ketika membandingkan nilai berbeda seperti membandingkan pekerjaan (occupation) Skilled Manual atau Professional dengan jenis pekerjaan (occupation) lainnya.

Setelah sebuah discrimination report di-generate, dialog box Discrimination Based on Key Influences akan tetap ada didalam lembar spreadsheet excel, ini membuat anda mampu untuk menggenerate report lainnya berdasarkan kombinasi yang anda pilih.

semoga berguna

Data Mining Terapan Menggunakan Microsoft Excel #4

Luki Ishwara — Thu, 27 Jan 2011 13:13:00 GMT

Tutorial dasar Analyze Key Influencers tool pada Microsot Excel

Mari kita bayangkan sebuah skenario berikut ini:

Anda adalah pemilik beberapa toko, di sela-sela kesibukan anda, anda menyempatkan diri untuk mengumpulkan informasi tentang pekerjaan atau profesi pelanggan yang berbelanja ke toko-toko anda, lalu informasi ini anda simpan dalam sebuah database bersama dengan kegiatan pembelanjaan yang mereka lakukan. Nah pada titik tertentu anda merangkum semua informasi ini didalam sebuah woksheet excel dan anda ingin menemukan bagaimana faktor pekerjaan pelanggan anda berhubungan dengan keputusan mereka untuk membeli (atau tidak membeli) sebuah produk tertentu.

Analyze key influencers tool mampu mengerjakan pekerjaan ini, tool ini menganalisa hubungan antar semua kolom pada tabel anda dengan kolom target yang diberikan, dan hasilnya adalah sebuah laporan yang mengidentifikasikan kolom mana yang berpengaruh secara signifikan pada Target yang anda berikan serta menjelaskan secara rinci seberapa besar pengaruh tersebut berakibat pada Target.

Mari kita coba keampuhan Analyze Key Influencers Tool.

Silakan masuk ke dalam worksheet DMAddins_SampleData.xls, biasanya berlokasi di C:\Program Files\Microsoft SQL Server 2008 DM Add-Ins\DMAddins_SampleData.xlsx

Ketika anda sudah masuk kedalam worksheet DMAddins_SampleData.xlsx pilhlah Page Table Analysis Tools Sample

Sebuah Sheet baru akan muncul, ini adalah contoh data yang akan kita gunakan untuk mencoba keampuhan Analyze Key Influencers Tools.

Silakan anda klik di salah satu baris data pada tabel itu untuk memunculkan Analyze Key Influencers Tool

Ketika anda mengklik salah satu data yang ada di dalam tabel, maka tab Analyze akan muncul dan di deretan paling kiri terdapat tombol Analyze Key Influencer

setelah tombol Analyze Key Influencers anda klik, anda akan mendapati sebuah jendela wizard seperti dibawah ini. silakan anda klik combo box column selection.

okay, sampai disini anda akan diminta untuk memilih kolom mana yang ingin anda periksa seberapa pengaruhnya terhadap kolom yang lain, jika anda masih bingung apa maksudnya, silakan ikuti saja dulu, pada akhir tutorial ini anda akan melihat gambaran besar dari apa yg anda kerjakan sekarang.

misalnya kita pilih kolom Occupation (pekerjaan / kesibukan) kemudian klik tombol RUN, kita akan melihat seberapa sebuah pekerjaan seseorang menentukan apakah orang tersebut memutuskan membeli produk yang anda jual atau tidak.

Sebuah proses akan berjalan, tools ini akan memeriksa pengaruh dari pekerjaan seseorang terhadap keputusan akan membeli atau tidak.

setelah proses tersebut, anda akan mendapati sebuah report seperti dibawah ini:

NOTE

Anda akan mendapati dialog box Discrimination Based on Key Influencers seperti ini:

jangan tutup dialog box ini dulu, karena saya akan fungsi bahas dialog box ini pada postingan blog ini. silakan lanjutkan membaca tulisan berikutnya.

Membaca Hasil Report

Report ini berisi empat buah kolom:

Column
Value
Favors
Relative Impact

Tabel ini berisi beberapa bagian, bagian-bagian tersebut dikenali dengan pemberian warna yang berbeda (perhatikan warna pada kolom Relative Impact) dan nilai yang berbeda didalam kolom Value.

Setiap section disini mewakili key influencer bagi sebuah nilai yang paling jelas berbeda dari kolom target yang dipilih. (ingat, kolom yang tadi kita pilih adalah Occupation)

Penjelasan:

Report diatas menunjukkan faktor-faktor mana saja dari kolom lain (“faktor mana saja dari kolom lain” yang dimaksud misalnya: faktor income / pendapatan, faktor region / wilayah, atau faktor jarak domisili ke toko) yang mendukung kolom pilihan (ingat, kolom pilihan kita tadi adalah kolom occupation / pekerjaan) terhadap keputusan (kolom relative impact) apakah pelanggan tersebut akan membeli atau tidak.

terlihat disini pengaruh terkuat dari keputusan membeli atau tidak, dipengaruhi oleh pelanggan yang memiliki Income antara 39050 – 71062 dan memiliki occupation: Skilled Manual dan seterusnya (dengan common sense yang anda miliki, anda pasti dengan mudah bisa membaca laporan ini.)

Semua Influencer pada keadaan peringkat tertentu, yang terkuat mendapatkan skor 100 dan yang terlemah mendapatkan skor 0. Panjang dari bar yang ada di kolom tersebut merupakan nilai peringkat untuk masing-masing influencer.

FILTER REPORT

Di Report ini anda juga dapat melakukan filter terhadap hasil yang diperoleh, misalnya anda hanya ingin menampilkan hasil yang HANYA benar-benar berpengaruh (pada skala 100) terhadap keputusan pembelian mereka, ini sangat mudah, anda hanya perlu melakukan klik filter pada tombol dropdown yang ada di pojok kanan nama kolom seperti pada gambar dibawah ini.

kemudian anda klik pada Checkbox Select All, sehingga hasilnya seperti dibawah ini:

kemudian anda scroll ke bawah terus dan klik checkbox nilai 100 seperti pada gambar dibawah ini

setelah selesai, klik tombol OK, dan anda akan mendapati hasil terfilter seperti dibawah ini:

Melakukan filter dapat dilakukan pada setiap kolom yang ada di dalam report, oleh karena itu, anda dapat melakukan penggalian lebih dalam terhadap key influencer, dan melihat apa pengaruhnya. Silakan dikombinasikan, untuk melihat pengaruh dari berbagai sudut pandang yang berbeda.

Tutorial data mining dasar dengan menggunakan Microsoft SQL Server #3

Luki Ishwara — Thu, 27 Jan 2011 04:50:00 GMT

Membangun Mining Model

Latar Belakang

Departemen marketing ingin meningkatkan penjualan dengan cara melakukan kampanye pemasaran terhadap customer-customer tertentu, metode yang digunakan adalah: menyelidiki atribut yang dimiliki oleh customer yang ada dalam database mereka. Perusahaan berharap dapat menemukan pola kesamaan yang ada di antara customer-customer berpotensi untuk membeli produk yang dihasilkan oleh perusahaan.

Katakanlah perusahaan memiliki database Adventure Works DW, yang berisi daftar dari customer-customer yang pernah membeli produk mereka, dan disamping itu, database tersebut berisi daftar customer baru yang berpotensi membeli produknya.

sebagai tambahan, departemen marketing ingin menemukan apakah terdapat pengelompokan yang logis dari customer yang terdapat pada database perusahaan, seperti misalnya customer yang memiliki kesamaan demografi dan pola pembelian.

Tujuan

pada pelajaran ini, anda akan belajar membuat sebuah skenario pengiriman promosi tepat sasaran, dan setelahnya anda akan mendapatkan beberapa hal sebagai berikut:

Seperangkat mining model yang akan memberikan saran kepada anda anda, customer mana saja dari daftar customer yang merupakan customer berpotensi untuk membeli produk anda.
Pengelompokan customer saat ini, pada kategori mana mereka berada.

Untuk menyelesaikan tugasi ini, anda akan menggunakan beberapa algoritma sebagai berikut:

Microsoft Naive Bayes Algorithm
Microsoft Decision trees Algorithm
Microsoft Clustering Algorithm

Langkah-langkah

1. Membuat sebuah Mining structure untuk skenario pengiriman promosi tepat sasaran

Langkah pertama untuk membuat sebuah skenario pengiriman promosi tepat sasaran adalah dengan menggunakan Data Mining Wizard yang terdapat pada Business Intelligence Development Studio, sehingga anda dapat menciptakan sebuah Mining Structure baru dan sebuah Decision tree mining model.

Pada tutorial ini anda akan membuat beberapa model berdasarkan mining structure yang telah dibuat. Model pertama akan dibuat bersamaan dengan dibuatnya structure ketika anda telah menyelesaikan proses wizard-nya, dan model ini tercipta berdasarkan kepada Microsoft Decision Trees Algorithm.

Mari kita mulai dengan membuat Mining Structure terlebih dahulu:

a. Pada Solution Explorer, klik kanan pada item Mining Structures dan pilih New Mining Structures untuk memulai data mining wizard.

b. Pada welcome screen ini, klik tombol Next

c. Pada halaman ini, pastikan opsi From existing relational database or data warehouse terpilih, kemudian klik Next

d. Pada halaman ini, pilih Microsoft Decision Trees, karena kita akan menggunakan algoritma ini untuk membangun model, kemudian klik Next

e. pada halaman ini, secara default, Adventure Works DW sudah terpilih, lanjutkan dengan mengklik tombol Next

f. Anda akan masuk ke halaman seperti dibawah ini

kliklah checkbox Case yang berada di sebelah vTargetMail, kemudian klik tombol Next

g. kemudian anda akan masuk ke halaman berikutnya, yaitu halaman specify the Training Data

scroll ke bawah, dan pastikan checkbox Key yang berada di sebelah kanan CustomerKey tercentang, secara default apabila pada tabel asal dari datasource memiliki sebuah kolom yang menjadi Key (misal: primary key), maka data mining wizard akan secara otomatis memilih kolom yang menjadi key tersebut sebagai sebuah key untuk model ini juga.

h. okay, sekarang scroll ke atas lagi, klik checkbox Input dan Checkbox Predict yang berada di sebelah kanan BikeBuyer, kemudian coba klik tombol Sugest

Tombol Suggest hidup ketika apabila paling sedikit satu predictable attribute dipilih, Dialog box Sugested related column akan memberikan daftar kolom-kolom yang tampaknya memiliki relasi yang dekat dengan predictable column, dan mengurutkan atribut-atribut yang ada berdasarkan kedekatan hubungan dengan predictable attribute. kolom yang memiliki nilai lebih besar dari 0.05 secara otomatis dipilih untuk dimasukkan kedalam Model.

i. apabila anda menemui permintaan memasukkan user id dan password, masukkanlah user id dan password sql server anda. (biasanya user id yang digunakan adalah: sa dan passwordnya anda sendiri yang mengetahui ) kemudian klik tombol OK

setelah anda memasukkan user id dan password, maka daftar dari nama-nama kolom yang memiliki relasi yang dekat dengan predictable column (tadi kita pilih kolom BikeBuyer ), anda bisa lihat, kolom yang memiliki relasi terdekat adalah kolom Age, kemudian kolom NumberCarsOwned dan seterusnya

berhubung kita hanya ingin melihat kolom mana saja yang memiliki relasi yang dekat dengan predictable column, maka disini kita klik cancel saja , abaikan dulu saran dari Data Mining Wizard ini.

m. setelah anda klik cancel, anda akan kembali ke halaman sebelumnya.

j. sekarang lakukan pencentangan pada checkbox input di sebelah kanan kolom-kolom sebagi berikut:

CommuteDistance
EnglishEducation
EnglishOccupation
FirstName
Gender
GeographyKey
HouseOwnerFlag
LastName
MaritalStatus
NumberCarsOwned
NumberChildrenAtHome
Region
TotalChildren
YearlyIncome

kemudian klik tombol Next

k. okay, kemudian kita akan masuk ke halaman baru

pada halaman ini, klik tombol Detect untuk menjalankan sebuah algoritma yang bekerja pada data numerik dan memperkirakan kolom numerik mana yang berisi nilai yang terus bertambah (Continues) dan yang mana kolom numerik yg berisi nilai discrete (memiliki ciri tersendiri), sebagai contoh: sebuah kolom dapat berisi informasi pendapatan, seperti misalnya nilai pendapatan yang dapat saja terus bertambah (continues) atau kolom tersebut dapat saja berisi nilai yang diterjemahkan sebagai range salary, seperti: 1 = <$25,000 ; 2 = dari $25,000 sampai $50,000, dimana nilai ini (1, 2) adalah nilai discrete (memiliki ciri tersendiri)

l. setelah anda mengklik tombol detect, beberapa Content Type akan berubah sesuai dengan algoritma yang digunakan, untuk memastikan segalanya telah benar, coba anda cocokan dengan tabel dibawah ini

Column	Content Type	Data Type
Age	Continuous	Long
BikeBuyer	Discrete	Long
CommuteDistance	Discrete	Text
CustomerKey	Key	Long
EnglishEducation	Discrete	Text
EnglishOccupation	Discrete	Text
FirstName	Discrete	Text
Gender	Discrete	Text
GeographyKey	Discrete	Text
HouseOwnerFlag	Discrete	Text
LastName	Discrete	Text
MaritalStatus	Discrete	Text
NumberCarsOwned	Discrete	Long
NumberChildrenAtHome	Discrete	Long
Region	Discrete	Text
TotalChildren	Discrete	Long
YearlyIncome	Continuous	Double

Lakukan perubahan jika perlu (sesuaikan dengan tabel yang ada di atas)

Biasanya, wizard akan mendeteksi angka dan menetapkan tipe data yang sesuai dengan angka tersebut, tapi kadang kadang anda menemui sebuah skenario dimana anda harus memperlakukan sebuah angka sebagai sebuah teks. sebagai contoh: kolom GeographyKey seharusnya diperlakukan sebagai sebuah text, karena pada kolom ini tidak cocok untuk digunakan pada operasi matematika.

m. anda akan masuk ke halaman baru

disini biarkan percentage of data for testing tetap dengan nilai defaultnya (30) dan isilah Maximum number of cases in testing dataset dengan nilai 1000

klik tombol next

n. anda akan masuk ke halaman baru, proses ini hampir selesai.

isilah textbox Mining Structure name dengan Targeted Mailing dan Mining model name dengan TM_Decision_Tree

jangan lupa centang checkbox Allow drill through

kemudian klik tombol Finish

o. Sebuah Mining Structure sudah selesai di buat, kemudian kita akan masuk ke topik berikutnya, yaitu Melakukan Modifikasi pada model ini

semoga berguna

Tutorial Data Mining dasar dengan Menggunakan Microsoft SQL Server #2

Luki Ishwara — Thu, 27 Jan 2011 04:45:00 GMT

pada tutorial bagian kedua ini saya akan pecah menjadi 4 bagian,

- - - Cara membuat sebuah analysis Service Project
    - Cara membuat Data Source baru
    - Cara membuat Data Source View baru
    - Memodifikasi Data Source View

Keempat langkah ini saling berkaitan, karena itu pastikan pengerjaannya berurutan.

Cara Membuat sebuah Analysis Service Project

1. Buka Microsoft SQL Server Business Intelligence Development Studio, anda bisa mendapatkannya pada Start –> All Programs –>Microsoft SQL Server 2008 – > SQL Server Business Intelligence Development Studio

setelah anda membukanya, anda akan menemukan tampilan kurang lebih seperti gambar di bawah ini

2. klik File, klik New Projet

3. Pilih Project Types: Business Intelligence Project, Pilih Analysis Service Project pada bagian Templates, dan beri nama AdventureWorks, setelah itu klik tombol OK

Cara Membuat sebuah Data Source baru

Data Source adalah sebuah koneksi data yang tersimpan di dalam project anda, Data Source berisi Nama Server, Nama Database dimana data anda berada serta beberapa hal lainnya yang dibutuhkan.

1. Perhatikan Bagian Solution Explorer, anda akan mendapati sebuah project Baru bernama AdventureWorks. untuk mulai membuat Data source, silakan anda klik kanan pada bagian Data Source, kemudian klik pada menu New Data Source

2. setelah anda klik New Data source, anda akan mendapati sebuah Data Source Wizard seperti dibawah ini, untuk melanjutkannya klik tombol Next

3. setelah anda mengklik tombol Next, anda akan diminta untuk membuat sebuah koneksi baru, klik tombol New

4. Di sini anda akan membuat sebuah koneksi ke Database Sample yang sudah dipersiapkan oleh Microsoft SQL Server.

5. klik combo box Provider, dan pilih Native OLE DB\Microsoft OLE DB Provider for SQL Server, kemudian klik tombol OK

6. Setelah itu:

Isikan nama server anda di bagian Server Name (dalam kasus ini saya isikan GEEK),
Pilih combo box Use SQL Server Authentication
Ketikkan username dan password yang anda miliki (dalam kasus ini saya isikan username dengan sa)
Klik combo box select or enter a database name dan pilihlah database sample bernama AdventureWorksDW

7. untuk memastikan koneksi tidak ada masalah, klik tombol Test Connection, apabila berhasil maka Connection manager akan memberikan pesan sukses seperti pada gambar dibawah ini, Klik tombol OK untuk menutupnya, dan klik Tombol OK pada connection Manager untuk menutup jendela Connection Manager.

8. Sebuah koneksi baru telah terbentuk seperti yang dapat anda lihat dibawah ini, untuk melanjutkannya klik tombol Next

9. pada bagian Impersonation Information, klik radio button Use the Service account, kemudian klik tombol next

10. sekarang anda sampai pada langkah terakhir dari bagian pembuatan Data Source baru, biarkan nama data sourcenya tetap Advanture Works, dan klik tombol Finish

11. Sebuah datasource baru telah terbentuk, dapat anda lihat pada gambar dibawah ini.

Cara Membuat Data Source Views baru

Data Source view menyediakan sebuah abstraksi dari datasource, dengan membangun sebuah data source view anda dimungkinkan untuk memodifikasi struktur data supaya dapat lebih relevan dengan project anda. Dengan menggunakan sebuah Data Source View, anda dapat memilih tabel yang terhubung dengan project anda, kemudian anda juga dapat membuat relasi antar tabel, serta anda dapat menambahkan kolom kalkulasi tanpa perlu memodifikasi data source aslinya.

1. Perhatikan Solution Explorer, Klik kanan di bagian Data Source Views, kemudian klik Menu New Data Source View

2. anda akan kembali dihadapkan pada sebuah menu wizard seperti pada saat membuat data source, klik tombol Next

3. pada bagian select a data source ini, secara default anda akan dihadapkan kepada data source yang telah anda buat tadi, kita dapat melanjutkan prosesnya dengan mengklik tombol Next

4. Apabila tiba tiba anda diminta untuk memasukkan user id dan password, masukkanlah username dan password SQL Server yang anda miliki danklik tombol OK. apabila tidak diminta untuk memasukkan user id dan password maka anda akan mendapati tampilan sebagai berikut:

pilih tabel-tabel sebagai berikut:

dbo.ProspectiveBuyer
dbo.vAssocSeqLineItems
dbo.vAssocSeqOrders
dbo.vTargetMail
dbo.vTimeSeries

dan klik tombol > , sehingga kelima tabel tersebut masuk kedalam bagian Included Objects

kemudian klik tombol Next

5. Anda sampai ke tahap akhir dari pembuatan Data Source view, klik Tombol Finish untuk menyelesaikannya.

6. Data Source, dan Data Source view sudah terbentuk

Memodifikasi Data Source View

Karena kita nantinya akan membuat market basket scenario dan sequence clustering scenario, maka kita harus menciptakan sebuah relasi Many-to-one antara tabel vAssocSeqOrders dan tabel vAssocSeqLineItems.

cara membuat relasi sangat mudah:

1. klik Order Number pada tabel vAssocSeqLineItems dan drag ke arah Order Number yang ada di tabel vAssocSeqLineItems

2. sebuah relasi antara OrderNumber di tabel vAssocSeqLineItems dan OrderNumber di tabel vAssocSeqLineItemssudah terbentuk.

berikutnya kita akan belajar bagaimana membangun sebuah mining model.

semoga berguna, dan apabila anda memiliki pertanyaan jangan segan untuk menuliskan pertanyaan anda pada komentar dibawah ini.

Tutorial Data Mining dasar dengan Menggunakan Microsoft SQL Server #1

Luki Ishwara — Thu, 27 Jan 2011 04:26:00 GMT

Tutorial ini akan memberikan anda gambaran bagaimana cara melakukan data mining dengan menggunakan SQL Server. Tutorial ini adalah tutorial dasar, jadi prinsipnya anda ikuti saja dulu langkah demi langkahnya, sampai nanti pada akhirnya anda mampu untuk melihat “The Big Picture” atau ide yang terdapat didalam tutorial dasar ini. Ketika anda sudah memperoleh “The Big Picture”-nya, kita akan masuk kedalam proses yang lebih kompleks. Mari kita mulai:

Tutorial dasar ini dibagi menjadi 5 Bagian:

1. Menyiapkan Database untuk Analysis Service

Pada tutorial ini anda akan belajar bagaimana membuat database analysis service, menambahkan datasource dan datasource view, serta menyiapkan database baru untuk digunakan pada proses data mining.

2. Membangun Mining Model

Pada tutorial ini, anda akan belajar bagaimana membuat Mining Model, anda juga akan belajar bagaimana mengeksplorasi mining model, membandingkan mining model, dan membuat prediksi dari mining model yang anda buat dengan menggunakan algoritma-algoritma yang sudah disediakan seperti:

3. Membangun Forecasting Scenario

Pada tutorial ini anda akan belajar bagaimana caranya membuat sebuah mining model yang akan digunakan pada sebuah forecasting scenario. Anda juga akan belajar bagaimana caranya mengeksplorasi mining model yang dibangun dengan menggunakan Algoritma Microsoft Time Series.

4. Membangun Market Basket Scenario

Pada tutorial ini anda akan belajar bagaimana caranya membuat sebuah mining model yang akan digunakan pada sebuah market basket scenario. Anda juga akan belajar bagaimana caranya mengeksplorasi mining model dibangun dengan menggunakan algoritma Microsoft Association.

5. Membangun Sequence Clustering Scenario

Pada tutorial ini anda akan belajar bagaimana caranya membangun mining model yang akan digunakan pada sebuah Sequence Clustering Scenario. Anda juga akan belajar bagaimana mengeksplorasi data mining model yang dibuat dengan menggunakan Algoritma Microsoft Sequence Clustering.

Data Mining Terapan Menggunakan Microsoft Excel #3

Luki Ishwara — Wed, 26 Jan 2011 12:08:00 GMT

Konfigurasi Koneksi ADD-IN ke Analysis Service

Perlu anda ketahu sebelumnya: Anda hanya dapat menggunakan Table Analysis Tools, hanya pada objek berformat tabel di Spreadsheet Excel.

Tabel pada Excel adalah sebuah area dengan format khusus, jadi bukan hanya area tertentu berisi data yang dihias tampak seolah olah sebagai sebuah tabel.

Setiap seleksi range berisi data dapat di ubah menjadi sebuah tabel, dengan cara melakukan format as table pada area data tersebut berada

cara membuatnya sangatlah mudah:

anda harus melakukan seleksi range tertentu pada data anda
kemudian klik tombol "Format as a Table Button" seperti pada contoh dibawah ini
klik jenis format table yang anda inginkan

Di baris pertama dari seleksi range anda adalah nama kolom, pastikan checkbox My Table has a headers tercentang ketika anda mendapati dialog box seperti ini, sehingga setiap kolom yang berisi data anda memiliki judul kolom yang nantinya akan digunakan sebagai identitas kolom data anda.

Dengan adanya sebuah area data yang telah terformat sebagai sebuah tabel, Table Analysis Tools akan muncul ketika anda mengklik dimanapun area data yang sudah diformat sebagai tabel tersebut berada. Pada Excel Ribbon bar, sebuah Ribbon bernama Analyze akan muncul dibawah Kelompok Table Tools, gambarnya akan anda lihat seperti dibawah ini:

Analyze ribbon berisi tiga bagian:

Bagian pertama berisi Table Analysis Control yang akan kita bahas secara detail

Bagian kedua berisi tombol connection yang dapat anda gunakan ntuk mengganti koneksi yang digunakan setiap saat. Pada saat pertama kali anda gunakan Table Analysis Tools, koneksi pasti belum di set, makanya statusnya saat ini adalah <No Connection>

" alt="clip_image002" src="http://mugi.or.id/cfs-file.ashx/__key/CommunityServer.Blogs.Components.WeblogFiles/luki/clip_5F00_image0026_5F00_thumb_5F00_46257AB4.jpg" width="93" border="0" height="94" />

Bagian ketiga berisi tombol Help

OK, Kita lanjut, pada sebuah tabel di Excel, Table Analysis Tools berasumsi bahwa baris data berisi entitas, dan kolom data mewakili sifat dari entitas data tersebut.

Nilai-nilai di kolom harus memiliki semantik yang sama di seluruh tabel supaya Table Analysis Tools dapat menggunakan data-data yang ada untuk di analisa. Mungkin tampak membingungkan, tapi saya akan berikan sebuah contoh sebagai berikut:

Saya memiliki tabel excel yang merepresentasikan penjualan dari salah satu toko saya

Kolom kolomnya adalah:

Kolom Tanggal memiliki entitas yang berisi informasi tanggal transaksi (tipe datanya adalah Tanggal)
Kolom Nomor Faktur memiliki entitas yang berisi informasi Nomor faktur penjualan (tipe datanya adalah Alfabet)
Kolom Kode barang memiliki entitas yang berisi informasi Kode barang yang di jual (tipe datanya adalah Alfabet)
Kolom Kelompok Produk memiliki entitas yang berisi informasi kategori produk yang dijual (tipe datanya adalah Alfabet)
Kolom Nama Barang memiliki entitas yang berisi informasi Nama Barang (tipe datanya adalah Alfabet)
Kolom Qty memiliki entitas yang berisi informasi Quantity penjualan (tipe datanya adalah Angka)
Kolom Harga memiliki entitas yang berisi Informasi Harga Jual satuan dari produk (tipe datanya adalah Angka)
Kolom Bruto memiliki entitas yang berisi informasi Harga Bruto / total Harga (tipe datanya adalah Angka)
Kolom Diskon memiliki entitas yang berisi informasi Diskon Produk (tipe datanya adalah Angka)
Kolom Netto memiliki entitas yang berisi informasi Omset Bersih (tipe datanya adalah Angka)

Nah, anda bisa lihat bahwa Data yang terdapat dibawah judul kolom memiliki sifat yang serupa, anda bisa melihat pada kolom Qty seluruh entitasnya adalah angka, begitu *** pada kolom Harga, kolom Bruto, kolom Diskon, dan kolom Netto, seluruhnya Angka.

Ini berarti Nilai-nilai pada kolom Qty atau Kolom Harga, atau Kolom Brutto, dst. memiliki semantik yang sama, semuanya bertipe data Angka, sesuai dengan Qty yang mewakili sesuatu yang dapat di hitung.

Saya akan berikan satu contoh lagi tentang Semantik yang tidak sama

, dan ini adalah data yang harus mengalami proses Data Cleansing, karena terlalu banyak Outlier akibat semantik yang tidak sama, perhatikan Kolom QTY:

baris-baris berwarna kuning, merupakan Outlier yang harus anda bersihkan, karena kolom Qty seharusnya hanya berisi data ber-tipe data angka, karena Qty merepresentasikan banyaknya barang terjual (pastinya harus bisa di hitung).

OK saya asumsikan anda sudah mengerti apa itu data yang memiliki semantik sama, mari kita lanjutkan dengan membuka sample data yang sudah include pada add-in Table Analysis Tools.

Untuk membuka lembar kerja excel berisi sample data, buka Start ➪ All Programs ➪ Microsoft SQL Server 2008DMAdd-ins ➪ Sample Excel Data seperti pada gambar dibawah ini

ketika sudah anda klik anda akan mendapati lembar kerja Excel terbuka dengan sample data yang siap untuk digunakan.

Silakan klik Table Analysis Tools Sample

Setelah anda klik Table Analysis Tools, anda akan mendapati lembar kerja anda berubah seperti dibawah ini

Ini adalah sample data yang akan kita gunakan, sekarang klik di salah satu data yang ada di dalam tabel tersebut supaya Analyze Ribbon dapat di akses.

Setelah anda klik, Analyze ribbon akan muncul, klik tab Analyze sehingga komponen yang ada di dalamnya muncul

Klik Tombol Connection, kita akan membuat sebuah connection ke Analysis Service disini, Sebuah Dialog Box akan muncul seperti pada gambar dibawah ini:

Klik tombol new untuk membuat koneksi baru, dan dialog box baru akan muncul seperti gambar dibawah ini:

ada dialog box Connect to Analysis Service, ketikkan Nama Server anda (dalam contoh ini saya ketikkan GEEK, Karena nama server yang saya gunakan adalah GEEK), kemudian klik dropdown Box Catalog Name untuk memilih catalog (atau database) yang akan digunakan untuk membangun model Data Mining.

Contoh dialog box Connect to Analysis Service yang sudah terisi adalah sebagai berikut:

Secara default, opsi Use Windows Authentication terpilih sebagai opsi untuk menghubungkan ke analysis service. Ini karena Analysis Service hanya mensupport Windows-authenticated clients.

Untuk memastikan apakah koneksi sudah berjalan dengan baik, ada baiknya kita mengklik tombol Test Connection

Apabila koneksi berjalan dengan baik, maka akan muncul dialog box seperti ini, klik tombol OK untuk melanjutkan

Setelah tombol ok di klik anda akan kembali ke dialog box sebelumnya seperti gambar dibawah ini, klik tombol OK untuk melanjutkan.

Setelah tombol OK anda klik, anda akan mendapati dialog box baru seperti dibawah ini, sebuah Analysis Services Connection sudah terbentuk

Klik Close untuk menutup dialog box ini, dan perhatikan perubahan yang terjadi pada tombol Connection yang ada di Analyze Ribbon

Tidak ada lagi tulisan <no connection> , koneksi ke Analysis Service sudah terhubung dan sekarang add-in ini sudah siap untuk digunakan.

Data Mining Terapan Menggunakan Microsoft Excel #2

Luki Ishwara — Tue, 25 Jan 2011 13:06:00 GMT

Mempersiapkan Table Analysis Tools

SQL Server 2008 Data Mining add-ins for Microsoft Office 2007 dapat di download secara gratis, tools ini dapat membuat anda menggunakan kekuatan dari SQL Server Data mining pada Aplikasi Microsoft Office anda (terutama Microsoft Excel). Untuk mendapatkan add-in ini, anda dapat mendownloadnya di sini

Untuk menggunakan add-in ini, anda membutuhkan sebuah instance dari SQL Server Analysis service sudah terinstall di komputer anda. Analysis service sudah termasuk di dalam paket Microsoft SQL Server. Apabila anda tidak memiliki analysis service, anda dapat mendownload versi trial Microsoft SQL Server 2008 di sini.

Ketika Analysis service sudah terinstall dan berjalan, anda dapat menginstall Data Mining Add-in.

Paket Data Mining add-in ini terdiri dari tiga add in:

Table analysis Tools

Data Mining Client

Data mining template for Visio

Di dalam paket ini juga terdapat sebuah Server Configuration Utility, sebuah tools yang dapat melakukan konfigurasi ketiga add-in tersebut serta koneksinya ke analysis service.

Ok, untuk mulai prakteknya, anda harus menginstall Table Analysis Tools dan Server Configuration Utility, caranya bisa anda lihat disini

Setelah anda melakukan Instalasi add-in ini , mulailah dengan menjalankan aplikasi Getting Started , anda bisa temukan di Start -> All Programs -> Microsoft SQL Server 2008 DM Add-ins -> Getting Started

Aplikasi ini menyediakan tiga opsi:

Donwload an evaluation copy of SQL Server 2008 (with analysis service)

Use an Instance of Analysis Service that you administer

Connect to an analysis service instance that you do not administer

Berikutnya silakan pilih kondisi anda:

1. Melakukan Konfigurasi Analysis Service dengan menggunakan Hak Administratif yang anda miliki

2. Mengkonfigurasi Analysis Service ketika anda tidak memiliki Hak Administratif

Data Mining Terapan Menggunakan Microsoft Excel #1

Luki Ishwara — Mon, 24 Jan 2011 13:04:00 GMT

Bagi beberapa orang, Microsoft excel adalah awal dan akhir dari data analysis, maksudnya adalah dari awal data dibuat, data tersebut di analisa, dan sampai pada akhirnya membuat report, selalu microsoft excel yang digunakan.

Microsoft Excel merupakan tools yang sangat berguna untuk menampilkan data, melakukan perhitungan bahkan membangun model finansial.

Kali ini saya akan membahas bagaimana melakukan Data mining terapan dengan menggunakan Microsoft Excel.

Ide dasar penggunaan Microsoft Excel + data mining add in adalah menggunakan para pekerja informasi (orang-orang yang bekerja dengan data dan belum tentu seorang Spesialis IT ) untuk dapat melakukan analisa prediksi walaupun mereka tidak memiliki latar belakang pada data mining atau statistik.

Apabila ini adalah kali pertama anda bereksperimen dengan predictive analytics, Microsoft Excel dan Data Mining Add-In akan memberikan anda sekilas gambaran dari potensi Data Mining untuk menganalisa data anda.

Apabila anda adalah seorang analyst berpengalaman, Microsoft Excel dan data mining add-in akan memberikan jalan pintas untuk mengungkap apa yang tersembunyi dibalik data anda.

Disini anda akan belajar tentang:

Lebih dalam lagi anda akan dapat secara efektif menggunakan data mining untuk melakukan tugas-tugas dibawah ini dengan menggunakan tabel di Microsoft Excel:

Menganalisa bagaimana nilai pada sebuah kolom ternyata dipengaruhi oleh nilai yang ada di beberapa kolom lainnya.
Mendeteksi kelompok dari baris-baris data yang ada dengan karakteristik yang sama
Secara otomatis mengumpulkan kolom dengan nilai berdasarkan contoh yang anda sediakan
Melakukan peramalan pada sebuah time series
Mencari baris yang tampaknya tidak sejenis dengan baris yang lain (bisa saja baris ini adalah data yg menarik atau ternyata data yang anomali)
Melakukan sebuah skenario (goal-seeking atau what-if ) analysis
Membuat sebuah kalkulator yang dapat memprediksi nilai yang anda inginkan (dan tetap mempertahankan kemudahan untuk digunakan)
Melakukan analisa shopping basket dan mengidentifikasi peluang cross-sales.

Mitos-mitos pada data mining

Luki Ishwara — Sat, 17 Jul 2010 09:51:00 GMT

Mitos 1

Ada tools data mining yang kita dapat kita aplikasikan langsung ke penyimpanan data dan secara otomatis menjawab problem kita.

Kenyataan

Tidak ada tools data mining yang dapat berjalan otomatis menyelesaikan problem anda. Sebaliknya, data mining adalah sebuah proses, seperti yang kita lihat pada studi kasus analisa garansi mobil pada blog sebelumnya. CRISP-DM adalah salah satu metoda untuk mencocokkan proses data mining kepada rencana kerja bisnis atau penelitian yang ada.

Mitos 2

Proses bekerjanya data mining adalah otomatis, tidak memerlukan pengawasan manusia.

Kenyataan:

Proses data mining memerlukan interaksi manusia pada setiap tahapannya. Bahkan setelah modelnya di gunakan pada dunia nyata, data awal yang digunakan seringkali membutuhkan pembaharuan model, pemantauan kualitas data secara terus menerus dan langkah-langkah evaluatif lainnya harus dinilai oleh analis manusia.

Mitos 3

Investasi yang dikeluarkan untuk membangun sebuah system data mining akan kembali dengan cepat.

Kenyataan:

Cepat atau lambatnya balik modal sangat relatif, tergantung pada biaya awal yang dikeluarkan, biaya analisa personil, persiapan datawarehouse, dan sebagainya.

Mitos 4

Software data mining sangat mudah digunakan.

Kenyataan:

Sekali lagi, mudah itu relatif, kemudahan penggunaan memang bervariasi. Namun, seorang data analis harus menggabungkan subyek pengetahuan dengan pikiran analitis dan pemahaman pada keseluruhan model bisnis atau model riset yang dihadapi.

Mitos 5

Data Mining akan mengidentifikasi penyebab masalah pada bisnis atau penyebab masalah pada penelitian.

Kenyataan:

Proses penggalian pengetahuan akan membantu anda menemukan pola perilaku yang ada pada data anda, sekali lagi, ini membutuhkan manusia untuk mengidentifikasi penyebab masalah.

Mitos 6

Data mining secara otomatis akan membersihkan database anda yang berantakan

Kenyataan:

Hmm… tidak secara otomatis sih, sebagai tahap awal dalam proses data mining, pengolahan data sering berkaitan dengan data yang belum diperiksa dalam sekian tahun. Oleh karena itu, organisasi yang memulai data mining akan dihadapkan dengan masalah data yang terletak terpisah-pisah selama sekian tahun, data ini bisa dikatakan data basi, dan perlu dilakukan update.

Studi Kasus CRISP-DM: ANALISA KLAIM GARANSI MOBIL

Luki Ishwara — Sat, 17 Jul 2010 08:00:00 GMT

Jaminan Kualitas tetap menjadi prioritas bagi produsen mobil, termasuk Daimler Chrysler. Jochen Hipp dari University of Tubingen, Jerman, dan Lindner Guido dari DaimlerChrysler AG, Jerman, menyelidiki pola-pola di klaim jaminan untuk mobil DaimlerChrysler.

1. Business / Research Understanding Phase

Tujuannya adalah untuk mengurangi biaya yang berkaitan dengan klaim garansi dan meningkatkan kepuasan pelanggan. Melalui pembicaraan dengan insinyur pabrik, yang merupakan ahli teknis di bidang manufaktur kendaraan, para peneliti dapat merumuskan masalah bisnis yang spesifik, seperti berikut:

Apakah ada saling ketergantungan di antara klaim garansi?
Apakah klaim garansi masa lalu yang terkait dengan klaim serupa di masa mendatang?
Apakah ada hubungan antara tipe tertentu klaim dan garasi tertentu?

Rencananya adalah menerapkan teknik data mining untuk mengungkap beberapa hal diatas serta asosiasi lainnya yang mungkin ada.

2. Data Understanding Phase

Para peneliti menggunakan DaimlerChrysler Quality Information System (QUIS), yang berisi informasi tentang lebih dari 7 juta kendaraan dan berukuran sekitar 40 gigabytes.

QUIS berisi rincian produksi tentang bagaimana dan di mana kendaraan tertentu dibangun, termasuk kurang lebih 30 kode penjualan untuk setiap kendaraan.

QUIS juga mencakup informasi jaminan klaim, dimana persediaan garasi, dalam bentuk lebih dari 5000 kemungkinan penyebab potensial klaim garansi terjadi.

Para analyst tidak boleh meremehkan hal-hal yang penting, kesulitannya, dan biaya potensial yang terdapat pada fase awal proses data mining ini, apabila mereka malas dan mengambil jalan pintas (mencari fakta seadanya) hal ini bisa membawa kepada biaya reiteration yang sangat mahal.

3. Data Preparation Phase

Hambatan awal ditemukan pada fase ini, Para peneliti menemukan, bahwa walaupun database QUIS adalah database Relational, tapi database QUIS memiliki Structure Query Language yang terbatas.

Kemudian para peneliti tersebut memilih untuk memilah kasus dan variabel yang di inginkan secara manual, kemudian variabel baru yang didapat, digunakan untuk tahap permodelan. Misal: variabel jumlah hari dari tanggal penjualan klaim pertama harus berasal dari atribut tanggal yang tepat. – harap dipahami bahwa ini adalah proses manual yang tidak mudah dilakukan terhadap data berukuran besar

Para peneliti tersebut kemudian menggunakan perangkat lunak data mining berbayar yang digunakan di DaimlerChrysler pada proyek-proyek sebelumnya. Disini mereka bertemu dengan hambatan umum - bahwa persyaratan format data yang dibutuhkan sangat bervariasi antar satu algoritma ke algoritma lainnya. Hasilnya adalah effort yang dibutuhkan dalam pre-processing data jauh lebih melelahkan, karena mereka harus mengubah atribut kedalam bentuk yang dapat digunakan oleh model algoritma tersebut :). Para peneliti menyadari bahwa tahap penyiapan data membutuhkan waktu yang lebih lama daripada yang direncanakan di awal.

4. Modeling Phase

Karena problem bisnis secara keseluruhan pada fase 1 adalah untuk menyelidiki ketergantungan antara klaim garansi, para peneliti memilih untuk menerapkan teknik-teknik sebagai berikut:

Bayesian Network
Association Rules

Model Bayesian Network mewakili semua dependensi kondisional antara berbagai komponen yang tidak pasti, sehingga memberikan visualisasi grafis dari hubungan ketergantungan antar komonen-komponen. Dengan demikian, Bayesian Network merupakan pilihan yang tepat untuk permodelan ketergantungan pada klaim garansi. Association rule juga merupakan cara alami untuk menyelidiki ketergantungan pada klaim garansi, karena dengan Association Rule, kita dapat mendapatkan tingkat Confidence dari sebuah hasil "Jika X maka peluang terjadi Y adalah sekian persen"

Detil dari hasil penelitian bersifat rahasia, tapi kita bisa mendapatkan sebuah gambaran umum tentang dependensi yang ditemukan oleh sebuah model, Satu pencerahan yang didapat para peneliti, mereka menemukan bahwa kombinasi tertentu dari konstruksi yang spesifik, mengakibatkan permasalahan pada kabel listrik mobil.

5. Evaluation Phase

Para peneliti kurang puas dengan hasil yang diperoleh, menurut mereka dukungan untuk Association Rule bertipe Sequential relatif kecil, sehingga menghambat generalisasi hasil.

Para peneliti tersebut mengeluarkan pernyataaan: "pada kenyataannya, kami tidak menemukan sebuah rule yang dinilai oleh para domain expert menarik, setidaknya menarik untuk diteliti pada awal ditemukan."

Dari kriteria yang diiinginkan oleh para peneliti, kemudian disadari bahwa model yang ditemukan ternyata kurang efektif dan terlalu pendek untuk mencapai tujuan-tujuan yang tetapkan pada Business Understanding Phase. Untuk masalah ini, para peneliti menuding struktur lama dari database, dimana komponen dari mobil-mobil tersebut dikategorikan berdasarkan gudang penyimpanan / garasi dan pabrik demi kepentingan historic atau demi alasan teknis, dan tidak didesain untuk data mining. Para peneliti tersebut menyarankan untuk melakukan design ulang dari database demi membuat database tersebut dapat digunakan untuk knowledge discovery / data mining.

6. Deployment Phase

Para peneliti telah mengidentifikasi proyek tersebut di atas sebagai proyek pilot, dan oleh karena itu, tidak bermaksud untuk melakukan deploy model skala besar dari iterasi pertama. Setelah proyek percontohan, mereka telah menerapkan pelajaran dari proyek ini, dengan tujuan untuk mengintegrasikan metode mereka dengan lingkungan teknologi informasi yang ada di DaimlerChrysler. Untuk lebih mendukung tujuan asli menurunkan biaya-biaya klaim, mereka bermaksud untuk mendevelop sebuah system intranet yang mempunyai kemampuan data mining dari QUIS untuk semua karyawan perusahaan.

Pelajaran apa yang bisa kita tarik dari studi kasus ini?

Pertama, Satu menarik adalah bahwa mengungkap sesuatu yang tersembunyi dari database adalah sebuah jalan berbatu yang tidak mudah dilalui. Dalam hampir setiap fase, para peneliti berlari menuju kepada penghalang dan kesulitan-kesulitan yang tidak diduga. Ini memberitahu kita yang benar-benar menerapkan data mining untuk pertama kalinya dalam sebuah perusahaan, membutuhkan untuk meminta orang untuk melakukan sesuatu yang baru dan berbeda, yang tidak selalu diterima. Oleh karena itu, jika mereka mengharapkan hasil, manajemen perusahaan harus 100% mendukung inisiatif baru data mining.

Pelajaran lain untuk menarik adalah bahwa partisipasi manusia dan pengawasan yang intens diperlukan pada setiap tahap proses data mining. Sebagai contoh, algoritma memerlukan format data yang spesifik, yang mungkin membutuhkan preprocessing besar, terlepas dari vendor perangkat lunak dan beberapa iklan mungkin yang mengklaim produk mereka adalah yang terbaik.

Anda tidak dapat hanya membeli beberapa perangkat lunak data mining, menginstalnya, duduk kembali, dan perangkat lunak tersebut menyelesaikan semua masalah, jangan pernah berfikiran sepert ini. Data mining bukan sihir. Tanpa pengawasan manusia yang terampil, ketidaktahuan menggunakan perangkat lunak data mining hanya akan memberikan anda dengan jawaban yang salah.

Analisis yang salah adalah lebih buruk daripada tidak dilakukan analisis, karena mengarah pada rekomendasi kebijakan yang mungkin akan berubah menjadi kegagalan yang mahal.

Data mining bukanlah obat mujarab untuk memecahkan masalah bisnis. Tapi jika digunakan dengan benar, oleh orang-orang yang memahami model yang terlibat, persyaratan data yang dipenuhi, dan tujuan proyek secara keseluruhan, data mining memang dapat memberikan hasil sangat menguntungkan.

Tentang CRISP-DM

Luki Ishwara — Fri, 16 Jul 2010 17:08:00 GMT

CRISP-DM (Cross-Industry Standard Process for Data Mining) dikembangkan pada tahun 1996 oleh analyst yang mewakili DaimlerChrysler, SPSS, dan NCR.

CRISP menyediakan standar proses baku untuk data mining yang dapat diterapkan kedalam strategi pemecahan masalah umum pada bisnis atau pada unit penelitian. Standar baku ini merupakan standar nonproprietary, bebas digunakan siapapun tanpa harus membayar lisensi.

Menurut CRISP-DM, sebuah Project Data Mining memiliki Lifecycle yang terdiri dari enam fase, anda bisa lihat pada gambar dibawah ini

Harap dicatat bahwa ini adalah urutan fase yang Adaptif, artinya fase berikutnya dalam urutan tersebut sering bergantung pada hasil yang berhubungan dengan tahap sebelumnya. Dependensi yang paling signifikan antara fase ditunjukkan dengan tanda panah.

Sebagai contoh, anggaplah bahwa kita berada dalam MODELING PHASE. Tergantung pada perilaku dan karakteristik dari model, kita mungkin harus kembali ke tahap DATA PREPARATION PHASE untuk perbaikan lebih lanjut sebelum bergerak ke tahap EVALUATION PHASE. Sifat iteratif dari CRISP dilambangkan dengan lingkaran luar.

Seringkali, solusi untuk sebuah bisnis tertentu atau masalah penelitian yang mengarah kepada pertanyaan yang berkaitan lebih dalam, dibalas dengan menggunakan proses umum yang sama dengan yang sebelumnya.

Pelajaran yang diperoleh dari proyek masa lalu harus selalu dibawa sebagai masukan dalam proyek baru. Permasalahan yang ditemui selama EVALUATION PHASE dapat mengakibatkan seorang analyst kembali ke fase-fase sebelumnya untuk perbaikan.

Supaya mudah dipahami, saya hanya menampilkan proses pengulangan yang paling umum, Berikut ini adalah garis besar dari setiap tahap.

6 Fase CRISP-DM

1. BUSINESS / RESEARCH UNDERSTANDING PHASE.

Melafalkan tujuan dari proyek dan kebutuhan yang jelas dalam Bisnis atau unit penelitian secara keseluruhan.
Menterjemahkan tujuan-tujuan dan batasan-batasan kedalam formulasi definisi masalah data mining.
Menyiapkan strategi awal untuk mencapai tujuan ini.

2. DATA UNDERSTANDING PHASE

Kumpulkan data
Gunakan analisis data untuk membiasakan diri anda dengan data yang anda olah supaya anda dapat menemukan semacam initial insight.
Evaluasi kualitas data anda.
Jika di inginkan, pilih subset data yang paling menarik, mungkin saja disini berisi sebuah pola yang dapat ditindaklanjuti.

3. DATA PREPARATION PHASE

Siapkan raw data yang akan digunakan untuk seluruh tahap berikutnya. Fase ini cukup membuat sibuk :)
Pilih kasus dan variabel yang anda ingin analisa dan yang sesuai untuk analisa anda.
Jika diperlukan, Lakukan transformasi pada variabel-variabel tertentu.
Bersihkan raw data sehingga siap untuk digunakan pada modeling tools.

4. MODELING PHASE

Pilih dan terapkan permodelan yang sesuai
Kalibrasi setting pada model untuk hasil yang optimal
Sering-sering ingat bahwa ada beberapa teknik yang berbeda, dapat digunakan untuk memecahkan permasalahan data mining yang sama.
Jika perlu, ulangi kembali ke tahap PREPARATION PHASE untuk membentuk data ke jalur yang sesuai dengan kebutuhan teknik data mining tertentu.

5. EVALUATION PHASE

Evaluasi satu atau lebih model demi kualitas dan kefektifannya sebelum digunakan di lapangan
Menentukan apakah model dalam kenyataannya mencapai tujuan yang diterapkan pada fase awal (BUSINESS / RESEARCH UNDERSTANDING PHASE)
Menentukan apakah beberapa aspek penting dari permasalahan bisnis atau riset telah diperhitungkan secara memadai.
Buatlah sebuah keputusan mengenai penggunaan hasil data mining.

6. DEPLOYMENT PHASE

Gunakan model yang telah dibuat: penciptaan sebuah model bukan berarti proyek telah selesai
Contoh deployment sederhana:menghasilkan report
Contoh deployment yang kompleks: menerapkan proses data mining paralel pada departemen yang lain.

Bagaimana Contoh Penerapannya ? Postingan blog berikutnya akan membahas contoh kasus pada DaimlerChrysler