Data unik adalah kelompok data yang berisi data yang berbeda-beda saja dari sebuah baris data.  Data hilang, adalah data yang kosong atau tidak ada (empty) dalam sebuah dataframe. Dan interpolasi adalah teknik mengisi data hilang dengan rata-rata data antara sesuai dengan fungsi deret dari data-data sebelumnya dan setelahnya. Kita akan membaahas semuanya disini.

Data Unik

Data unik adalah kelompok data yang berisi data yang berbeda-beda saja dari sebuah baris data. Yup, dia unik. Jika data unik ini ada dua buah, dia tetap dianggap satu. Pertama, kita coba buat dulu dataframenya seperti ini:

import pandas as pd

data = [
    ['Imron','Kedokteran','Forensik'],
    ['Suha','Ekonomi Bisnis','Manajemen'],
    ['Sutardi','Kedokteran','Forensi'],
    ['Eko','MIPA','Matematika'],
    ['Kadek','Ilmu Komputer','Manajemen Informatika'],
    ['Simon','Pertanian','Teknologi Pertanian'],
    ['Putri','Pertanian','Biotek'],
    ['Silvy','MIPA','Biologi Molekuler'],
    ['Rey','MIPA','Matematika'],
    ['Myth','Ekonomi Bisnis','Ekonomi Islam'],
    ['Sol','MIPA','Kimia']
]

df = pd.DataFrame(data, columns=['nama','fakultas','jurusan'])
df

Untuk mencari data unik dari sebuah kolom, kita dapat menggunakan method .unique() seperti ini:

df['fakultas'].unique()

Output:

array(['Kedokteran', 'Ekonomi Bisnis', 'MIPA', 'Ilmu Komputer',
       'Pertanian'], dtype=object)

Dari hasil diatas, kita menemukan bahwa didalam kolom 'fakultas' hanya ada data: 'Kedokteran', 'Ekonomi Bisnis', 'MIPA', 'Ilmu Komputer' dan 'Pertanian'.

Jumlah Data Unik

Mengetahui data unik saja memang sudah cukup, tapi kita juga bisa mengetahui data unik serta jumlahnya dalam sebuah dataframe. Kita bisa menggunakan method .value_counts() untuk melakukannya. Kira-kira seperti ini:

fakultas = df['fakultas'].value_counts()
fakultas

Kita juga bisa mengvisualisasikannya dalam diagram lingkaran menggunakan matplotlib seperti ini:

import matplotlib.pyplot as plt

fakultas.plot.pie(
    figsize=(4,4),
    autopct='%1.2f%%',
    table=True
)

plt.show()

Data Hilang

Data hilang, adalah data yang kosong atau tidak ada (empty) dalam sebuah dataframe. Misalnya pada dataset Urban Population & Life Expectancy. Coba download dulu datasetnya dan buka melalui pandas seperti ini:

!wget --no-check-certificate \
    https://cdn.kelasai.id/indonesian_life_expectancy.xlsx

Output:

--2024-12-26 08:03:26--  https://cdn.kelasai.id/indonesian_life_expectancy.xlsx
Resolving cdn.kelasai.id (cdn.kelasai.id)... 154.41.240.165, 2a02:4780:6:1252:0:2588:d4de:4
Connecting to cdn.kelasai.id (cdn.kelasai.id)|154.41.240.165|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 11809 (12K) [text/plain]
Saving to: 'indonesian_life_expectancy.xlsx'

indonesian_life_exp 100%[===================>]  11.53K  --.-KB/s    in 0.001s  

2024-12-26 08:03:27 (22.1 MB/s) - 'indonesian_life_expectancy.xlsx' saved [11809/11809]

df = pd.read_excel('indonesian_life_expectancy.xlsx')
df.head()

Untuk mengetahui jumlah data hilang dalam sebuah datframe, kita bisa menggunakan method .isnull() ditambah method .sum() untuk menghitung jumlahnya. Kira-kira seperti ini:

df.isnull().sum()

Dari hasil diatas kita dapat mengetahui bahwa pada kolom 'male u5 mortality' ada dua buah data hilang, dan kolom 'female u5 mortality' ada 6 data hilang.

Mengatasi Data Hilang

Ada beberapa teknik dalam mengatasi data hilang, yaitu: menghapusnya, menggantinya dengan nilai rata-rata dan melakukan interpolasi. Menghapus seluruh data (satu row) adalah langkah paling bijak ketika bertemu dengan data hilang. Hal ini untuk menghindari bias reduktif yang mampu mempengaruhi sistem.

Untuk menghapus data hilang, kita bisa menggunakan method .dropna() dari python seperti ini:

df.dropna(inplace=True)
df.isnull().sum()

Sekarang data-data yang memiliki data hilang sudah terhapus.

Interpolasi

Interpolasi adalah proses mengisi data hilang dengan data perkiraan diantara dua buah data (data sebelumnya dan data setelahnya) berdasarkan fungsi tertentu.

Misal ada sebuah deret seperti berikut: 2, 4, 6, n, 10. Berapakah nilai 'n'? yup, jawabannya adalah 8. Deret tersebut adalah deret linear dengan fungsi f(x) = 2x. So, untuk mencari tau berapakah angka yang pantas untuk menggantikan nilai 'n', kita tinggal lihat saja 'n' itu adalah data keberapa, yaitu data ke-4. So tinggal masukan saja ke fungsi f(x) = 2 * 4 = 8.

Untuk melakukan interpolasi, kita bisa menggunakan method .interpolate() dari pandas yang bisa diisi dengan metode interpolasi yang ingin kita gunakan seperti berikut:

df.interpolate(inplace=True)
df.isnull().sum()

Dengan interpolasi, kita bisa mengisi kekosongan data tanpa perlu menghapusnya. Artinya jumlah data kita akan tetap sama.