Istilah "regresi" pertama kali diperkenalkan oleh Sir Francis Galton pada tahun 1886. Galton menemukan adanya tendensi bahwa orang tua yang memiliki tubuh tinggi, memiliki anak-anak yang tinggi pula dan orang tua yang pendek memiliki anak-anak yang pendek pula. Kendati demikian, ia mengamati ada kecenderungan bahwa tinggi anak bergerak menuju rata-rata tinggi populasi secara keseluruhan. Dengan kata lain ketinggian anak yang amat tinggi atau orang tua yang amat pendek cenderung bergerak ke arah rata-rata tinggi populasi. Inilah yang disebut hukum Galton mengenai regresi universal. Dalam bahasa Galton ia menyebutnya sebagai regresi menuju medikritas (Maddala, 1992).
Interpretasi modern mengenai regresi agak berlainan dengan regresi versi Galton. Secara umum, analisis regresi pada dasarnya adalah studi mengenai ketergantungan variabel dependen (teriktat) dengan satu atau lebi variabel independen (bebas/penjelas), dengan tujuan untuk mengestimasi dan/atau memprediksi rata-rata populasi atau nilai rata-rata variabel dependen berdasarkan nilai variabel independen yang diketahui (Gujarati, 2003).
Hasil analisis regresi adalah berupa koefisien untuk masing-masing variabel independen. Koefisien ini diperoleh dengan cara memprediksi nilai variabel dependen dengan suatu persamaan. Koefisien regresi dihitung dengan dua tujuan sekaligus, pertama meminimumkan penyimpangan antara nilai aktual dan nilai estimasi variabel dependen berdasarkan data yang ada (Tabachnick, 1996).
Regresi vs Korelasi
Analisis korelasi bertujuan untuk mengukur kekuatan asosiasi (hubungan) linear antara dua variabel. Korelasi tidak menunjukkan hubungan fungsional atau dengan kata lain korelasi tidak membedakan antara variabel dependen dengan variabel independen.
Dalam analisis regresi, selain mengukur kekuatan hubungan antara dua variabel atau lebih, juga menunjukkan arah hubungan antara variabel dependen dengan variabel independen. Variabel dependen diasumsikan random/stokastik, yang berarti mempunyai distribusi probabilistik. Variabel independen/bebas diasumsikan memiliki nilai tetap (dalam pengambilan sampel yang berulang).
Teknik estimasi variabel dependen yang melandasi analisis regresi disebut Ordinary Least Squares (pangkat kuadrat terkecil biasa). Metode OLS diperkenalkan pertama kali oleh Carl Friedrich Gauss, seorang ahli matematik dari Jerman. Inti metode OLS adalah mengestimasi suatu garis regresi dengan jalan meminimalkan jumlah dari kuadrat kesalahan setiap observasi terhadap garis tersebut.
Asumsi Ordinary Least Squares
Menurut Gujarati (2003) asumsi utama yang mendasari model regresi linear klasik dengan menggunakan model OLS adalah :
- Model regresi linear, artinya linear dalam parameter seperti dalam persamaan Yi = b1 + b2 Xi + ui
- Nilai X diasumsikan non-stokastik, artinya nilai X dianggap tetap dalam sampel yang berulang.
- Nilai rata-rata kesalahan adalah nol, atau E(ui/Xi) = 0.
- Homoskedastis, artinya variance kesalahan sama untuk setiap periode (skedastis = sebaran, homo = sama) dan dinyatakan dalam bentuk matematis adalah Var(ui/Xi) = \sigma ^{2}.
- Tidak ada autokorelasi antar kesalahan (antara ui dan uj tidak ada korelasi) atau secara matematis dituliskan Cov(ui, uj/Xi, Xj) = 0.
- Antara ui dan Xi saling bebas, sehingga dituliskan Cov(ui/Xi) = 0.
- Jumlah observasi, n harus lebih besar daripada jumlah parameter yang diestimasi (jumlah variabel bebas).
- Adanya variabilitas dalam nilai X, artinya nilai X harus berbeda.
- Model regresi telah dispesifikasi secara benar. Dengan kata lain tidak ada bias (kesalahan) spesifikasi dalam model yang digunakan dalam analisis empiris.
- Tidak ada multikolinearitas yang sempurna antar variabel bebas.
Menilai Goodness of Fit Suatu Model
Ketepatan fungsi regresi sampel dalam menaksir nilai aktual dapat diukur dari Goodness of Fitnya. Secara statistik, setidaknya ini dapat diukur dari nilai koefisien determinasi, nilai statistik F dan nilai statistik t. Perhitungan statistik disebut signifikan secara statistik apabila nilai uji statistiknya berada dalam daerah kritis (daerah dimana Ho ditolak). Sebaliknya disebut tidak signifikan bila nilai uji statistiknya berada dalam daerah dimana Ho diterima.
a. Koefisien Determinasi
Koefisien determinasi (R2) pada intinya mengukur seberapa jauh kemampuan model dalam menerangkan variasi variabel dependen. Nilai koefisien determinasi adalah antara nol dan satu. Nilai R2 yang kecil berarti kemampuan variabel-variabel independen dalam menjelaskan variabel dependen amat terbatas. Nilai yang mendekati satu berarti variabel-variabel independen memberikan hampir semua informasi yang dibutuhkan untuk memprediksi variasi variabel dependennya. Secara umum koefisien determinasi untuk data silang (crossection) relatif rendah karena adanya variasi yang besar antara masing-masing pengamatan, sedangkan untuk data runtun waktu (time series) biasanya mempunyai nilai koefisien determinasi yang tinggi.
Satu hal yang perlu dicatat adalah masalah regresi langcung (spurious regression). Insukindro (1998) menekankan bahwa koefisien determinasi hanyalah salah satu dan bukan satu-satunya kriteria memilih model yang baik. Alasanya bila suatu estimasi regresi linear menghasilkan koefisien determinasi yang tinggi, tetapi tidak konsisten dengan teori ekonomika yang dipilih oleh peneliti, atau tidak lolos dari uji asumsi klasik, maka model tersebut bukanlah model penaksir yang baik dan seharusnya tidak dipilih menjadi model empiris.
Kelemahan mendasar penggunaan koefisien determinasi adalah bias terhadap jumlah variabel independen yang dimasukkan ke dalam model. Setiap tambahan satu variabel independen maka R2 pasti meningkat tidak perduli apakah variabel tersebut berpengaruh secara signifikan terhadap variabel dependennya. Oleh karena itu banyak peneliti menganjurkan untuk menggunakan nilai Adjusted R2 pada saat mengevaluasi mana model regresi terbaik. Tidak seperti R2, nilai Adjusted R2 dapat naik atau turun apabila suatu variabel independen ditambahkan kedalam model.
Dalam kenyataan nilai adjusted R2 dapat bernilai negatif, walaupun yang dikehendaki harus bernilai positif. Menurut Gujarati (2003) jika dalam uji empiris didapat nilai adjusted R2 negatif, maka nilai adjusted R2 dianggap bernilai nol. Secara matematis jika nilai R2 = 1, maka Adjusted R2 = R2 = 1 sedangkan jika niai R2 = 0, maka adjusted R2 = 1-k)/(n-k). Jika k > 1, maka adjusted R2 akan bernilai negatif.
b. Uji Signifikansi Simultan (Uji Statistik F)
Uji statistik F pada dasarnya menunjukkan apakah semua variabel independen atau bebas yang dimasukkan dalam model mempunyai pengaruh secara bersama-sama terhadap variabel dependen/terikat. Hipotesis nol (Ho) yang hendak diuji adalah apakah semua parameter dalam model sama dengan nol dituliskan Ho : b1 = b2 = ... = bk = 0.
Artinya, apakah semua variabel independen bukan merupakan penjelas yang signifikan terhadap variabel dependen. Hipotesis alternatifnya (Ha) tidak semua parameter secara simultan sama dengan nol dituliskan Ha : b1 \neq b2 \neq ... \neq bk \neq 0.
Artinya, semua variabel independen secara simultan merupakan penjelas yang signifikan terhadap variabel dependen.
Untuk menguji hipotesis ini digunakan statistik F dengan kriteria pengambilan keputusan sebagai berikut :
- Quick look : bila nilai F lebih besar daripada 4 maka Ho dapat ditolak pada derajat kepercayaan 5%. Dengan kata lain kita menerima hipotesis alternatif (Ha), yang menyatakan bahwa semua variabel independen secara serentak dan signifikan mempengaruhi variabel dependen.
- Membandingkan nilai F hasil perhitungan dengan nilai F menurut tabel. Bila nilai F hitung lebih besar daripada nilai F tabel, maka Ho ditolak dan menerima Ha.
b. Uji Signifikansi Parameter Individual (Uji Statistik t)
Uji statistik t pada dasarnya menunjukkan seberapa jauh pengaruh satu variabel independen secara individual dalam menerangkan variasi variabel dependen. Hipotesis nol (Ho) yang hendak diuji adalah apakah suatu parameter (bi) sama dengan nol, dituliskan Ho : bi = 0.
Artinya apakah suatu variabel independen bukan merupakan penjelas yang signifikan terhadap variabel dependen. Hipotesis alternatif (Ha) parameter suatu variabel tidak sama dengan nol, dituliskan Ha : b \neq 0.
Artinya, variabel tersebut merupakan penjelas yang signifikan terhadap variabel dependen.
Cara melakukan uji t adalah sebagai berikut :
- Quick look : bila jumlah degree of freedom (DF) adalah 20 atau lebih, dan derajat kepercayaan sebesar 5%, maka H0 yang menyatakan bi = 0 dapat ditolak bila nilai t lebih besar dari 2 (dalam nilai absolut). Dengan kata lain kita menerima hipotesis alternatif (Ha), yang menyatakan bahwa suatu variabel independen secara individual mempengaruhi variabel dependen.
- Membandingkan nilai statistik t dengan titik kritis menurut tabel. Apabila nilai statistik t hasil perhitungan lebih tinggi dibandingkan nilai t tabel, kita menerima hipotesis alternatif (Ha) yang menyatakan bahwa suatu variabel independen secara individual mempengaruhi variabel dependen.
