Summary

Auswahl mehrerer Biomarker Teilmengen mit ebenso wirksame binäre Klassifikation Aufführungen

Published: October 11, 2018
doi:

Summary

Vorhandene Algorithmen erzeugen eine Lösung für ein Biomarker-Erkennung-Dataset. Dieses Protokoll zeigt die Existenz von mehreren ähnlich effektive Lösungen und stellt eine benutzerfreundliche Software zur biomedizinische Forscher untersuchen ihre Datensätze für die vorgeschlagene Herausforderung helfen. Informatiker können auch dieses Feature in ihren Biomarker Erkennungsalgorithmen vorsehen.

Abstract

Biomarker-Erkennung ist eines der wichtigeren biomedizinische Fragen für High-Throughput “Omics” Forscher, und fast alle bestehenden Biomarker Erkennungsalgorithmen erzeugen ein Biomarker Teilmenge mit optimierter Performance-Messung für einen bestimmten Datensatz . Eine kürzlich durchgeführte Studie zeigte jedoch, die Existenz von mehreren Biomarker Teilmengen mit ähnlich wirksam oder sogar identische Klassifizierung Aufführungen. Dieses Protokoll stellt eine einfache und unkomplizierte Methode zur Erkennung von Biomarker-Teilmengen mit binären Klassifikation Aufführungen, besser als eine Benutzer-definierten Grenzwert. Das Protokoll besteht aus Datenaufbereitung und laden, Baseline Informationen Verdichtung, tuning-Parameter, Biomarker Screening, Ergebnis-Visualisierung und Interpretation, Biomarker gen Anmerkungen und Ergebnis und Visualisierung Ausfuhr an Publikationsqualität. Die vorgeschlagenen Biomarker screening-Strategie ist intuitiv und zeigt eine allgemeine Regel für Biomarker Erkennungsalgorithmen zu entwickeln. Eine benutzerfreundliche grafische Benutzeroberfläche (GUI) wurde entwickelt, mit Hilfe der Programmiersprache Python, Biomediziner direkten Zugriff auf ihre Ergebnisse zu ermöglichen. Den Quellcode und Handbuch des kSolutionVis können von http://www.healthinformaticslab.org/supp/resources.php heruntergeladen werden.

Introduction

Binäre Klassifikation, einer der am häufigsten untersuchte und anspruchsvolle Data-mining-Probleme im biomedizinischen Bereich wird verwendet, um ein Klassifizierungsmodell ausgebildet auf zwei Gruppen von Proben mit der genauesten Diskriminierung Power1, bauen 2 , 3 , 4 , 5 , 6 , 7. big Data im biomedizinischen Bereich generiert hat jedoch die inhärente “große kleine PN” Paradigma, mit der Anzahl der Funktionen in der Regel viel größer als die Anzahl der Proben6,8,9. Biomediziner müssen daher die Funktion Dimension vor Nutzung der Klassifizierungsalgorithmen zur Vermeidung von overfitting Problem8,9zu reduzieren. Diagnose-Biomarker sind definiert als eine Teilmenge der erkannten Merkmale von gesunden Proben10,11Patienten einer bestimmten Krankheit zu trennen. Patienten sind in der Regel definiert als die positive Proben und die gesunden Kontrollpersonen sind definiert als der negative Proben12.

Jüngste Studien haben vorgeschlagen, daß es mehr als eine Lösung mit identisch oder ähnlich effektiv Einstufung Leistungen für eine biomedizinische Dataset-5. Fast alle Feature-Auswahl-Algorithmen sind deterministische Algorithmen, produzieren nur eine Lösung für das gleiche Dataset. Genetische Algorithmen können gleichzeitig mehrere Lösungen mit ähnlichen Leistungen erzeugen, aber sie noch versuchen, eine Lösung mit der besten Fitness-Funktion als die Ausgabe für einen bestimmten Datensatz13,14auswählen.

Feature-Auswahl-Algorithmen können etwa als Filter oder Wrapper12gruppiert werden. Ein Filter-Algorithmus wählt Top –k Funktionen geordnet nach ihrer einzelnen signifikante Assoziation mit der binären Klassenbezeichner basiert auf der Annahme, die Funktionen sind unabhängig von einander15,16,17 . Obwohl diese Annahme nicht für fast alle realen Datasets wahr hält, führt die heuristische Filterregel in vielen Fällen zum Beispiel die mRMR (minimale Redundanz und maximale Relevanz) Algorithmus, der Wilcoxon Test basierte Funktion Filtern (WRank) Algorithmus und die ROC (Empfänger Regelkennlinie) Handlung basiert (ROCRank)-Filterung Algorithmus. mRMR, ist eine effiziente Filter-Algorithmus, weil es nähert sich der kombinatorischen Schätzung-Problem mit einer Reihe von viel kleineren Problemen, im Vergleich zu der maximal-Abhängigkeit Feature Auswahlalgorithmus, von denen jede nur zwei Variablen beinhaltet, und Daher nutzt paarweise Joint Wahrscheinlichkeiten sind robuster18,19. Jedoch kann mRMR die Nützlichkeit der einige Funktionen unterschätzen, da es nicht die Interaktionen zwischen Objekten misst die Relevanz steigern können, und so vermisst einige Merkmalskombinationen, die einzeln nutzlos, aber eignen sich nur in Kombination. Der WRank Algorithmus berechnet eine nicht-parametrische Punktzahl wie diskriminierende eine Funktion zwischen zwei Klassen von Proben und ist bekannt für seine Robustheit für Ausreißer20,21. Darüber hinaus wertet der ROCRank-Algorithmus, wie bedeutend die Fläche unter der ROC-Kurve (AUC) eines bestimmten Merkmals für die untersuchten binäre Klassifikation Leistung22,23ist.

Auf der anderen Seite ein Wrapper wertet der vordefinierten Sichter Leistung einer gegebenen Funktion Teilmenge, iterativ durch heuristische Regel erzeugt und schafft die Funktion Teilmenge mit der besten Performance Messung24. Ein Wrapper in der Regel einen Filter in die Klassifizierung Leistung übertrifft aber läuft langsamer25. Beispielsweise verwendet die regularisiert Random Forest (RRF)26,27 Algorithmus gierige in der Regel durch die Auswertung der Features auf eine Teilmenge der Trainingsdaten an jedem zufälligen Wald Knoten, deren Funktion Bedeutung Partituren von der Gini-Index beurteilt werden . Die Wahl eines neuen Features werden benachteiligt, wenn die Informationsgewinnung, die der ausgewählten Features nicht bessert. Darüber hinaus die Vorhersage-Analyse für Microarrays (PAM)28,29 -Algorithmus auch eine Wrapper-Algorithmus berechnet einen Schwerpunkt für jeden der die Klassenbezeichner und wählt dann Eigenschaften gen Zentroide gegenüber der gesamten schrumpfen Klasse-Schwerpunkt. PAM ist robust für vorgelagerten Funktionen.

Mehrere Lösungen mit die höchste Klassifizierung Leistung können für alle angegebenen Dataset erforderlich sein. Erstens das Optimierungsziel eines deterministischen Algorithmus zeichnet sich durch eine mathematische Formel, z.B., minimalen Fehler Rate30, das ist nicht unbedingt ideal für biologische Proben. Zweitens kann ein Dataset mehrere, deutlich verschiedene Lösungen mit ähnlichen wirksam oder sogar identische Leistungen haben. Fast alle vorhandenen Feature Auswahl Algorithmen werden eine der folgenden Lösungen als die Ausgabe31zufällig auswählen.

Diese Studie wird ein Informatik analytische Protokoll für die Erzeugung von mehreren Feature Auswahl Lösungen mit ähnlichen Vorstellungen für jede gegebene binäre Klassifikation Dataset einführen. Wenn man bedenkt, dass die meisten Biomediziner mit informatischen Techniken oder Computer-Codierung nicht auskennen, wurde eine benutzerfreundliche grafische Benutzeroberfläche (GUI) entwickelt, um die schnelle Analyse von biomedizinischen binäre Klassifikation Datasets zu erleichtern. Das analytische Protokoll besteht aus Daten laden und zusammenfassen, tuning-Parameter Pipeline Ausführung und Ergebnis-Interpretationen. Mit einem einfachen Klick kann der Forscher die Biomarker Teilmengen und Publikationsqualität Visualisierung Grundstücke zu generieren. Das Protokoll wurde mit der Transkriptom zwei binäre Klassifikation Datensätze der akute lymphoblastische Leukämie (ALL), d. h., ALL1 und ALL212getestet. Die Datensätze der ALL1 und ALL2 wurden vom Broad Institute Genom Analyse Rechenzentrum, erhältlich bei http://www.broadinstitute.org/cgi-bin/cancer/datasets.cgi heruntergeladen. ALL1 enthält 128 Samples mit 12.625 Features. Von diesen Proben sind 95 B-Zelle alle und 33 sind T-Zell ALL. ALL2 umfasst 100 Proben mit 12.625 Funktionen sowie. Von diesen Proben gibt es 65 Patienten, die Rückfall erlitten und 35 Patienten, die nicht der Fall war. ALL1 war eine einfache binäre Klassifikation Dataset mit einer minimalen Genauigkeit von vier Filter und vier Wrapper, 96,7 % und 6 der 8 Feature Auswahl Algorithmen erreichen 100 %12. Während ALL2 ein schwieriger Dataset mit den oben genannten 8 Feature Auswahl Algorithmen nicht besser als 83,7 % Genauigkeit12zu erreichen war. Diese beste Genauigkeit wurde mit 56 Funktionen erkannt durch den Wrapper-Algorithmus, Korrelation basierende Funktion Auswahl (CFS) erreicht.

Protocol

Hinweis: Das folgende Protokoll beschreibt die Details des analytischen Verfahrens Informatik und Pseudo-Codes der wichtigsten Module. Die automatische Analyse-System wurde mit Python-Version 3.6.0 und die Python-Module-Pandas, Abc, Numpy, Scipy, Sklearn, Sys, PyQt5, Sys, mRMR, Mathematik und Matplotlib entwickelt. In dieser Studie verwendeten Materialien sind in der Tabelle der Materialienaufgeführt. 1. Vorbereiten der Data-Matrix-Klasse Etiketten und Bereiten Sie …

Representative Results

Das Ziel dieses Workflows (Abbildung 6) ist, mehrere Biomarker Teilmengen mit ähnlichen Effizienzen für eine binäre Klassifikation Dataset zu erkennen. Der gesamte Prozess wird durch zwei Beispiel-Datasets ALL1 und ALL2 extrahiert aus einem kürzlich erschienenen Biomarker-Erkennung12,48Studie veranschaulicht. Ein Benutzer kann kSolutionVis installieren, indem Sie die Anweisungen in den ergänzende…

Discussion

Diese Studie bietet eine einfach zu befolgende Multi-Lösung Biomarker Erkennung und Charakterisierung Protokoll für eine benutzerspezifische binäre Klassifikation Dataset. Die Software setzt Schwerpunkt auf Benutzerfreundlichkeit und flexible Import-/Export-Schnittstellen für verschiedene Datei-Formate, so dass biomedizinische Forscher, ihre Dataset einfach über die Benutzeroberfläche der Software zu untersuchen. Dieser Studie betont auch, dass mehr als eine Lösung mit ähnlich effektiv Modellierung Aufführungen,…

Divulgazioni

The authors have nothing to disclose.

Acknowledgements

Diese Arbeit wurde durch die strategische Priorität Forschungsprogramm von der chinesischen Akademie der Wissenschaften (XDB13040400) und die Start-Zuschuss von Jilin-Universität unterstützt. Anonymen Gutachtern und biomedizinische Tests Benutzer wurden für ihre konstruktive Kritik zur Verbesserung der Benutzerfreundlichkeit und Funktionalität des kSolutionVis geschätzt.

Materials

Hardware
laptop Lenovo X1 carbon Any computer works. Recommended minimum configuration: 1GB extra hard disk space, 1 GB memory, 2.0MHz CPU
Name Company Catalog Number Comments
Software
Python 3.0 WingWare Wing Personal Any python programming and running environments support Python version 3.0 or above

Riferimenti

  1. Heckerman, D., et al. Genetic variants associated with physical performance and anthropometry in old age: a genome-wide association study in the ilSIRENTE cohort. Scientific Reports. 7, 15879 (2017).
  2. Li, Z., et al. Genome-wide association analysis identifies 30 new susceptibility loci for schizophrenia. Nature Genetics. 49, 1576-1583 (2017).
  3. Winkler, T. W., et al. Quality control and conduct of genome-wide association meta-analyses. Nature Protocols. 9, 1192-1212 (2014).
  4. Harrison, R. N. S., et al. Development of multivariable models to predict change in Body Mass Index within a clinical trial population of psychotic individuals. Scientific Reports. 7, 14738 (2017).
  5. Liu, J., et al. Multiple similarly-well solutions exist for biomedical feature selection and classification problems. Scientific Reports. 7, 12830 (2017).
  6. Ye, Y., Zhang, R., Zheng, W., Liu, S., Zhou, F. RIFS: a randomly restarted incremental feature selection algorithm. Scientific Reports. 7, 13013 (2017).
  7. Zhou, F. F., Xue, Y., Chen, G. L., Yao, X. GPS: a novel group-based phosphorylation predicting and scoring method. Biochemical and Biophysical Research Communications. 325, 1443-1448 (2004).
  8. Sanchez, B. N., Wu, M., Song, P. X., Wang, W. Study design in high-dimensional classification analysis. Biostatistics. 17, 722-736 (2016).
  9. Shujie, M. A., Carroll, R. J., Liang, H., Xu, S. Estimation and Inference in Generalized Additive Coefficient Models for Nonlinear Interactions with High-Dimensional Covariates. Annals of Statistics. 43, 2102-2131 (2015).
  10. Li, J. H., et al. MiR-205 as a promising biomarker in the diagnosis and prognosis of lung cancer. Oncotarget. 8, 91938-91949 (2017).
  11. Lyskjaer, I., Rasmussen, M. H., Andersen, C. L. Putting a brake on stress signaling: miR-625-3p as a biomarker for choice of therapy in colorectal cancer. Epigenomics. 8, 1449-1452 (2016).
  12. Ge, R., et al. McTwo: a two-step feature selection algorithm based on maximal information coefficient. BMC Bioinformatics. 17, 142 (2016).
  13. Tumuluru, J. S., McCulloch, R. Application of Hybrid Genetic Algorithm Routine in Optimizing Food and Bioengineering Processes. Foods. 5, (2016).
  14. Gen, M., Cheng, R., Lin, L. . Network models and optimization: Multiobjective genetic algorithm approach. , (2008).
  15. Radovic, M., Ghalwash, M., Filipovic, N., Obradovic, Z. Minimum redundancy maximum relevance feature selection approach for temporal gene expression data. BMC Bioinformatics. 18, 9 (2017).
  16. Ciuculete, D. M., et al. A methylome-wide mQTL analysis reveals associations of methylation sites with GAD1 and HDAC3 SNPs and a general psychiatric risk score. Translational Psychiatry. 7, e1002 (2017).
  17. Lin, H., et al. Methylome-wide Association Study of Atrial Fibrillation in Framingham Heart Study. Scientific Reports. 7, 40377 (2017).
  18. Wang, S., Li, J., Yuan, F., Huang, T., Cai, Y. D. Computational method for distinguishing lysine acetylation, sumoylation, and ubiquitination using the random forest algorithm with a feature selection procedure. combinatorial chemistry & high throughput screening. , (2017).
  19. Zhang, Q., et al. Predicting Citrullination Sites in Protein Sequences Using mRMR Method and Random Forest Algorithm. combinatorial chemistry & high throughput screening. 20, 164-173 (2017).
  20. Cuena-Lombrana, A., Fois, M., Fenu, G., Cogoni, D., Bacchetta, G. The impact of climatic variations on the reproductive success of Gentiana lutea L. in a Mediterranean mountain area. International journal of biometeorology. , (2018).
  21. Coghe, G., et al. Fatigue, as measured using the Modified Fatigue Impact Scale, is a predictor of processing speed improvement induced by exercise in patients with multiple sclerosis: data from a randomized controlled trial. Journal of Neurology. , (2018).
  22. Hong, H., et al. Applying genetic algorithms to set the optimal combination of forest fire related variables and model forest fire susceptibility based on data mining models. The case of Dayu County, China. Science of the Total Environment. 630, 1044-1056 (2018).
  23. Borges, D. L., et al. Photoanthropometric face iridial proportions for age estimation: An investigation using features selected via a joint mutual information criterion. Forensic Science International. 284, 9-14 (2018).
  24. Kohavi, R., John, G. H. Wrappers for feature subset selection. Artificial intelligence. 97, 273-324 (1997).
  25. Yu, L., Liu, H. Efficient feature selection via analysis of relevance and redundancy. Journal of machine learning research. 5, 1205-1224 (2004).
  26. Wexler, R. B., Martirez, J. M. P., Rappe, A. M. Chemical Pressure-Driven Enhancement of the Hydrogen Evolving Activity of Ni2P from Nonmetal Surface Doping Interpreted via Machine Learning. Journal of American Chemical Society. , (2018).
  27. Wijaya, S. H., Batubara, I., Nishioka, T., Altaf-Ul-Amin, M., Kanaya, S. Metabolomic Studies of Indonesian Jamu Medicines: Prediction of Jamu Efficacy and Identification of Important Metabolites. Molecular Informatics. 36, (2017).
  28. Shangkuan, W. C., et al. Risk analysis of colorectal cancer incidence by gene expression analysis. PeerJ. 5, e3003 (2017).
  29. Chu, C. M., et al. Gene expression profiling of colorectal tumors and normal mucosa by microarrays meta-analysis using prediction analysis of microarray, artificial neural network, classification, and regression trees. Disease Markers. , 634123 (2014).
  30. Fleuret, F. Fast binary feature selection with conditional mutual information. Journal of Machine Learning Research. 5, 1531-1555 (2004).
  31. Pacheco, J., Alfaro, E., Casado, S., Gámez, M., García, N. A GRASP method for building classification trees. Expert Systems with Applications. 39, 3241-3248 (2012).
  32. Jiao, X., et al. DAVID-WS: a stateful web service to facilitate gene/protein list analysis. Bioinformatics. 28, 1805-1806 (2012).
  33. Rappaport, N., et al. Rational confederation of genes and diseases: NGS interpretation via GeneCards, MalaCards and VarElect. Biomedical Engineering OnLine. 16, 72 (2017).
  34. Rebhan, M., Chalifa-Caspi, V., Prilusky, J., Lancet, D. GeneCards: integrating information about genes, proteins and diseases. Trends in Genet. 13, 163 (1997).
  35. Joosten, R. P., Long, F., Murshudov, G. N., Perrakis, A. The PDB_REDO server for macromolecular structure model optimization. IUCrJ. 1, 213-220 (2014).
  36. Maglott, D., Ostell, J., Pruitt, K. D., Tatusova, T. Entrez Gene: gene-centered information at NCBI. Nucleic Acids Research. 39, D52-D57 (2011).
  37. Amberger, J. S., Bocchini, C. A., Schiettecatte, F., Scott, A. F., Hamosh, A. OMIM.org: Online Mendelian Inheritance in Man (OMIM(R)), an online catalog of human genes and genetic disorders. Nucleic Acids Research. 43, D789-D798 (2015).
  38. Boutet, E., et al. the Manually Annotated Section of the UniProt KnowledgeBase: How to Use the Entry View. Methods in Molecular Biology. 1374, 23-54 (2016).
  39. Zerbino, D. R., et al. Ensembl 2018. Nucleic Acids Res. , (2017).
  40. McKusick, V. A., Amberger, J. S. The morbid anatomy of the human genome: chromosomal location of mutations causing disease. Journal of Medical Genetics. 30, 1-26 (1993).
  41. Finn, R. D., et al. The Pfam protein families database: towards a more sustainable future. Nucleic Acids Research. 44, D279-D285 (2016).
  42. Xue, Y., et al. GPS: a comprehensive www server for phosphorylation sites prediction. Nucleic Acids Research. 33, W184-W187 (2005).
  43. Deng, W., et al. GPS-PAIL: prediction of lysine acetyltransferase-specific modification sites from protein sequences. Scientific Reports. 6, 39787 (2016).
  44. Zhao, Q., et al. GPS-SUMO: a tool for the prediction of sumoylation sites and SUMO-interaction motifs. Nucleic Acids Research. 42, W325-W330 (2014).
  45. Wan, S., Duan, Y., Zou, Q. HPSLPred: An Ensemble Multi-Label Classifier for Human Protein Subcellular Location Prediction with Imbalanced Source. Proteomics. 17, (2017).
  46. Zhang, H., Zhu, L., Huang, D. S. WSMD: weakly-supervised motif discovery in transcription factor ChIP-seq data. Scientific Reports. 7, 3217 (2017).
  47. Szklarczyk, D., et al. STRING v10: protein-protein interaction networks, integrated over the tree of life. Nucleic Acids Research. 43, D447-D452 (2015).
  48. Chiaretti, S., et al. Gene expression profile of adult T-cell acute lymphocytic leukemia identifies distinct subsets of patients with different response to therapy and survival. Blood. 103, 2771-2778 (2004).
  49. Rowley, J. D., et al. Mapping chromosome band 11q23 in human acute leukemia with biotinylated probes: identification of 11q23 translocation breakpoints with a yeast artificial chromosome. Proceedings of the National Academy of Sciences of the United States of America. 87, 9358-9362 (1990).
  50. Rabbitts, T. H., et al. The chromosomal location of T-cell receptor genes and a T cell rearranging gene: possible correlation with specific translocations in human T cell leukaemia. Embo Journal. 4, 1461-1465 (1985).
  51. Yin, L., et al. SH2D1A mutation analysis for diagnosis of XLP in typical and atypical patients. Human Genetics. 105, 501-505 (1999).
  52. Brandau, O., et al. Epstein-Barr virus-negative boys with non-Hodgkin lymphoma are mutated in the SH2D1A gene, as are patients with X-linked lymphoproliferative disease (XLP). Human Molecular Genetics. 8, 2407-2413 (1999).
  53. Burnett, R. C., Thirman, M. J., Rowley, J. D., Diaz, M. O. Molecular analysis of the T-cell acute lymphoblastic leukemia-associated t(1;7)(p34;q34) that fuses LCK and TCRB. Blood. 84, 1232-1236 (1994).
  54. Taylor, G. M., et al. Genetic susceptibility to childhood common acute lymphoblastic leukaemia is associated with polymorphic peptide-binding pocket profiles in HLA-DPB1*0201. Human Molecular Genetics. 11, 1585-1597 (2002).
  55. Wadia, P. P., et al. Antibodies specifically target AML antigen NuSAP1 after allogeneic bone marrow transplantation. Blood. 115, 2077-2087 (2010).
  56. Wilson, D. M., et al. 3rd et al. Hex1: a new human Rad2 nuclease family member with homology to yeast exonuclease 1. Nucleic Acids Research. 26, 3762-3768 (1998).
  57. O’Sullivan, R. J., et al. Rapid induction of alternative lengthening of telomeres by depletion of the histone chaperone ASF1. Nature Structural & Molecular Biology. 21, 167-174 (2014).
  58. Lee-Sherick, A. B., et al. Aberrant Mer receptor tyrosine kinase expression contributes to leukemogenesis in acute myeloid leukemia. Oncogene. 32, 5359-5368 (2013).
  59. Guyon, I., Elisseeff, A. An introduction to variable and feature selection. Journal of machine learning research. 3, 1157-1182 (2003).
  60. John, G. H., Kohavi, R., Pfleger, K. . Machine learning: proceedings of the eleventh international conference. , 121-129 (1994).
  61. Jain, A., Zongker, D. Feature selection: Evaluation, application, and small sample performance. IEEE transactions on pattern analysis and machine intelligence. 19, 153-158 (1997).
  62. Taylor, S. L., Kim, K. A jackknife and voting classifier approach to feature selection and classification. Cancer Informatics. 10, 133-147 (2011).
  63. Andresen, K., et al. Novel target genes and a valid biomarker panel identified for cholangiocarcinoma. Epigenetics. 7, 1249-1257 (2012).
  64. Guo, P., et al. Gene expression profile based classification models of psoriasis. Genomics. 103, 48-55 (2014).
  65. Xie, J., Wang, C. Using support vector machines with a novel hybrid feature selection method for diagnosis of erythemato-squamous diseases. Expert Systems with Applications. 38, 5809-5815 (2011).
  66. Zou, Q., Zeng, J., Cao, L., Ji, R. A novel features ranking metric with application to scalable visual and bioinformatics data classification. Neurocomputing. 173, 346-354 (2016).
check_url/it/57738?article_type=t

Play Video

Citazione di questo articolo
Feng, X., Wang, S., Liu, Q., Li, H., Liu, J., Xu, C., Yang, W., Shu, Y., Zheng, W., Yu, B., Qi, M., Zhou, W., Zhou, F. Selecting Multiple Biomarker Subsets with Similarly Effective Binary Classification Performances. J. Vis. Exp. (140), e57738, doi:10.3791/57738 (2018).

View Video