Data tidak terstruktur

Merancang Alur Kerja Machine Learning di Python

Dr. Chris Anagnostopoulos

Honorary Associate Professor

Terstruktur vs tidak terstruktur

  Class   AGE  SEX  STEROID    ...        
0    2.0  50.0  2.0      1.0    ...      
1    2.0  40.0  1.0      1.0    ...       
...

           label                                           sequence
0          VIRUS  AVTVVPDPTCCGTLSFKVPKDAKKGKHLGTFDIRQAIMDYGGLHSQ...
1  IMMUNE SYSTEM  QVQLQQPGAELVKPGASVKLSCKASGYTFTSYWMHWVKQRPGRGLE...
2  IMMUNE SYSTEM  QAVVTQESALTTSPGETVTLTCRSSTGAVTTSNYANWVQEKPDHLF...
3          VIRUS  MSQVTEQSVRFQTALASIKLIQASAVLDLTEDDFDFLTSNKVWIAT...
...

Dapatkah kita membuat detektor yang menandai virus sebagai anomali pada data ini?

import stringdist
stringdist.levenshtein('abc', 'acc')

stringdist.levenshtein('acc', 'cce')

             label   sequence
169  IMMUNE SYSTEM  ILSALVGIV
170  IMMUNE SYSTEM  ILSALVGIL

stringdist.levenshtein('ILSALVGIV', 'ILSALVGIL')

Sedikit debugging

# Ini tidak akan berhasil
pdist(proteins['sequence'].iloc[:3], metric=stringdist.levenshtein)

Traceback (most recent call last):
ValueError: A 2-dimensional array must be passed.

Sedikit debugging

sequences = np.array(proteins['sequence'].iloc[:3]).reshape(-1,1)

# Ini tidak akan berhasil karena alasan lain
pdist(sequences, metric=stringdist.levenshtein)

Traceback (most recent call last):
TypeError: argument 1 must be str, not numpy.ndarray

Sedikit debugging

# Ini berhasil!!
def my_levenshtein(x, y):
    return stringdist.levenshtein(x[0], y[0])

pdist(sequences, metric=my_levenshtein)

array([136.,   2., 136.])

Outlier protein dengan matriks prahitung

# Ini memakan waktu 2 menit untuk ~1000 contoh
M = pdist(sequences, my_levenshtein)

Detektor LoF dengan matriks jarak prahitung:

# Ini memakan waktu 3 detik
detector = lof(metric='precomputed', contamination=0.1)
preds = detector.fit_predict(M)

roc_auc_score(proteins['label'] == 'VIRUS', preds == -1)

0.64

Pilih metrik jarak

Merancang Alur Kerja Machine Learning di Python