非结构化数据

用 Python 设计机器学习工作流

Dr. Chris Anagnostopoulos

Honorary Associate Professor

结构化 vs 非结构化

  Class   AGE  SEX  STEROID    ...        
0    2.0  50.0  2.0      1.0    ...      
1    2.0  40.0  1.0      1.0    ...       
...

           label                                           sequence
0          VIRUS  AVTVVPDPTCCGTLSFKVPKDAKKGKHLGTFDIRQAIMDYGGLHSQ...
1  IMMUNE SYSTEM  QVQLQQPGAELVKPGASVKLSCKASGYTFTSYWMHWVKQRPGRGLE...
2  IMMUNE SYSTEM  QAVVTQESALTTSPGETVTLTCRSSTGAVTTSNYANWVQEKPDHLF...
3          VIRUS  MSQVTEQSVRFQTALASIKLIQASAVLDLTEDDFDFLTSNKVWIAT...
...

我们能否在此数据中构建检测器，将病毒标记为异常？

用 Python 设计机器学习工作流
import stringdist
stringdist.levenshtein('abc', 'acc')

1

stringdist.levenshtein('acc', 'cce')

2

             label   sequence
169  IMMUNE SYSTEM  ILSALVGIV
170  IMMUNE SYSTEM  ILSALVGIL

stringdist.levenshtein('ILSALVGIV', 'ILSALVGIL')

1
用 Python 设计机器学习工作流

调试一下

# 这样不行
pdist(proteins['sequence'].iloc[:3], metric=stringdist.levenshtein)

Traceback (most recent call last):
ValueError: A 2-dimensional array must be passed.
用 Python 设计机器学习工作流

调试一下

sequences = np.array(proteins['sequence'].iloc[:3]).reshape(-1,1)

# 仍然不行，但原因不同
pdist(sequences, metric=stringdist.levenshtein)

Traceback (most recent call last):
TypeError: argument 1 must be str, not numpy.ndarray
用 Python 设计机器学习工作流

调试一下

# 这样可行！
def my_levenshtein(x, y):
    return stringdist.levenshtein(x[0], y[0])

pdist(sequences, metric=my_levenshtein)

array([136.,   2., 136.])
用 Python 设计机器学习工作流

用预计算矩阵检测蛋白质离群点

# 约 1000 个样本需 2 分钟
M = pdist(sequences, my_levenshtein)

使用预计算距离矩阵的 LoF 检测器：

# 需时 3 秒
detector = lof(metric='precomputed', contamination=0.1)
preds = detector.fit_predict(M)

roc_auc_score(proteins['label'] == 'VIRUS', preds == -1)

0.64
用 Python 设计机器学习工作流

选择你的距离度量

用 Python 设计机器学习工作流

Preparing Video For Download...