Data Warehouse Part 11

Data Transformation Service

Data Transformation Service adalah alat yang dapat digunakan untuk memindahkan data. DTS juga merupakan alat fleksibel yang dapat diukur untuk mendapatkan kendali tertinggi atas transformasi dari data. DTS adalah salah satu modul yang ada di SQL Server yang bisa mengkonversi data dari SQL Server ke format data yang lain dengan OLE DB, ODBC dan file teks.

Fungsi lain DTS adalah untuk dapat melakukan import, export dan transport data yang beragam antara satu atau lebih sumber data.

Tools-tools yang tersedia untuk mengeksekusi DTS Packages

1. Import Export Wizzard
2. DTS Designer
3. DTS Run
4. DTS Run UI

Task Dalam Sebuah Package

Setiap task mendefinisikan jenis pekerjaan yang akan diberikan selama eksekusi package task tersebut dikelompokkan berdasarkan fungsinya sebagai berikut :

1. Transformasi data
2. Mengcopy dan mengatur data
3. Menjalankan task sebagai jobs dari dalam sebuah package

Connection Untuk Mengakses Dan Memindahkan

Untuk dapat mengeksekusi DTS task dalam menyalin dan memindahkan data berjalan sukses, sebuah DTS Package harus mempunyai hubungan yang valid antara sumber data asal dengan sumber data tujuan.

Ketika membuat sebuah package, user dapat mengkonfigurasikan hubungan dengan memilih jenis hubungan dengan memilih jenis hubungan dari daftar yang tersedia pada OLE DB Providers dan ODBC Drivers.

Continue Reading...

Data Warehouse Part 10

Ketepatan Data Yang Diperlukan Dalam ETL

 
Data Quality adalah level data yang menyatakan data tersebut akurat, lengkap, terbaru, konsisten dan sesuai dengan semua kebutuhan bisnis

Karakteristik Kualitas Data yaitu accuracy, accessibility, completeness, consistency, integrity, timeliness, validiy

Accuracy
Adalah sejauh mana data yang benar dapat mencerminkan objek dunia nyata atau seperti yang di deskripsikan
Accessibility
Adalah  data yang dengan mudah diakses, dan dimengerti, dan dapat digunakan sesuai dengan keperluan yang dibutuhkan
Completeness
Adalah seberapa jauh data yang dibutuhkan dapat tersedia
Consistency
Adalah data yang ada diperusahaan harus sinkron antara satu dengan yang lain
Integrity
Adalah setiap data harus bisa berhubungan dengan data-data lainnya, sehingga mempunyai keterkaitan satu sama lain 
Timeliness
Adalah data harus bisa di akses saat itu juga

Data yang berkualitas bertujuan agar :

1. Meningkatkan kepercayaan diri dalam melakukan analisis
2. Meningkatkan kesempatan untuk menghasilkan value yang lebih baik bagi layanan
3. Kebenaran yang sifatnya mutlak
4. Meningkatkan produktivitas
5. Meningkatkan kepuasan pelanggan

Ada beberapa tools untuk meningkatkan kualitas data :
- Data Auditing
Data auditing dapat digunakan untuk meningkatkan akuransi dan kebenaran data pada sumbernya. Tools ini pada umumnya membandingkan data di database sumber dengan aturan bisnis yang ada 2.
- Data Cleansing
Digunakan di staging area dan digunakan untuk melakukan standarisasi, dan memverifikasi data terhadap data yang tidak dikenali. Beberapa fitur yang ada di dalam data cleansing adalah data parsing dan data standarization, data correction and verification, data transformation, dan householding
- Data Migration
Data migration digunakan untuk mengekstrak data dari sumber untuk dikirim ke staging area dan dari staging area ke data warehouse

Continue Reading...