Summary

تحديد مجموعات فرعية العلامات البيولوجية متعددة مع المثل تصنيف ثنائي فعال العروض

Published: October 11, 2018
doi:

Summary

الخوارزميات الموجودة إيجاد حل واحد لمجموعة بيانات الكشف عن العلامات البيولوجية. هذا البروتوكول يوضح وجود حلول فعالة وبالمثل متعددة ويقدم برمجيات سهلة الاستخدام لمساعدة الباحثين الطبية التحقيق على مجموعات البيانات لتحدي المقترحة. علماء الكمبيوتر قد توفر هذه الميزة في العلامات البيولوجية على خوارزميات الكشف.

Abstract

الكشف عن العلامات البيولوجية واحدة من المسائل الطبية البيولوجية أكثر أهمية للباحثين الفائق ‘اوميكس’، وتقريبا جميع خوارزميات الكشف عن العلامات البيولوجية الموجودة تولد فرعية العلامات البيولوجية واحدة بقياس الأداء الأمثل لمجموعة معينة من البيانات . بيد أن دراسة أجريت مؤخرا أظهر وجود عدة مجموعات فرعية العلامات البيولوجية مع تصنيف فعالة وبالمثل أو حتى مطابقة العروض. ويقدم هذا البروتوكول منهجية بسيطة ومباشرة للكشف عن العلامات البيولوجية مجموعات فرعية مع العروض تصنيف ثنائي، أفضل من قطع المعرفة من قبل المستخدم. ويتكون البروتوكول من إعداد البيانات وتحميل تلخيص معلومات خط الأساس، ضبط المعلمة، فحص العلامات البيولوجية، التصور نتيجة والتفسير، وشروح الجينات العلامات البيولوجية وتصدير النتيجة والتصور في نوعية المنشور. العلامات البيولوجية المقترحة فحص استراتيجية بديهية ويوضح قاعدة عامة لتطوير خوارزميات الكشف عن العلامات البيولوجية. تم تطوير واجهة مستخدم رسومية سهلة الاستخدام (GUI) باستخدام لغة البرمجة بايثون، السماح للباحثين الطبية الحيوية الوصول المباشر إلى نتائجها. يمكن تحميل التعليمات البرمجية المصدر والدليل من كسولوتيونفيس من http://www.healthinformaticslab.org/supp/resources.php.

Introduction

التحقيق تصنيف ثنائي، واحدة من الأكثر استخداماً ويستخدم البيانات تحديا التعدين المشاكل في مجال الطب الحيوي، بناء نموذج تصنيف المدربين في مجموعتين من العينات مع الأكثر دقة التمييز السلطة1، 2 , 3 , 4 , 5 , 6 , 7-ومع ذلك، قد البيانات الكبيرة التي تم إنشاؤها في مجال الطب الحيوي الأصيل “كبير ف الصغيرة n” النموذج، مع العدد من الميزات التي عادة ما تكون أكبر بكثير من عدد العينات6،،من89. ولذلك، يلزم الباحثين الطب الحيوي تخفيض البعد ميزة قبل استخدام خوارزميات التصنيف لتجنب مشكلة8،أوفيرفيتينج9. يتم تعريف المؤشرات الحيوية التشخيص كمجموعة فرعية من الكشف عن ميزات فصل المرضى لمرض معين من مراقبة صحية عينات10،11. عادة ما يتم تعريف المرضى كعينات إيجابية، وضوابط صحية تم تعريفها ك عينات سلبية12.

وأشارت الدراسات الأخيرة أن هناك أكثر من حل واحد مع تصنيف متطابقة أو فعالة وبالمثل العروض ل مجموعة بيانات الطبية الحيوية5. تقريبا كل ميزة اختيار خوارزميات خوارزميات القطعية، المنتجة لحل واحد فقط لنفس مجموعة البيانات. الخوارزميات الجينية قد تولد في الوقت نفسه حلول متعددة مع عروض مماثلة، إلا أنها لا تزال في محاولة لتحديد حل واحد مع الدالة اللياقة البدنية أفضل كناتج13،dataset معطى14.

يمكن تجميع ميزة اختيار خوارزميات تقريبا ك مرشحات أو أغلفة12. ويختار خوارزمية تصفيةك ملامح أعلى-مرتبة حسب ارتباطها الفردية كبيرة مع التسميات الطبقة الثنائية على أساس الافتراض بأن ملامح مستقلة عن بعضها البعض15،16،17 . على الرغم من أن هذا الافتراض لا ينطبق على تقريبا جميع مجموعات البيانات في العالم الحقيقي، القاعدة عامل تصفية افتراضي يؤدي جيدا في كثير من الحالات، على سبيل المثال، الخوارزمية مرمر (التكرار الحد الأدنى والحد الأقصى أهمية)، التصفية ميزة الاختبار على أساس الرتبي (فرانك) الخوارزمية، وارسم ROC (خاصية التشغيل المتلقي) على أساس خوارزمية التصفية (روكرانك). مرمر، خوارزمية تصفية فعالة نظراً لأنه يقترب من مشكلة تقدير اندماجي مع سلسلة من المشاكل أصغر بكثير، مقارنة بالتبعية كحد أقصى ميزة تحديد خوارزمية، فقط كل منها ينطوي على اثنين من المتغيرات، و ولذلك يستخدم العشوائية الاحتمالات المشتركة التي هي أقوى18،19. ومع ذلك، قد مرمر نقلل من فائدة بعض الميزات كما أنها لا تقيس التفاعلات بين الميزات التي يمكن أن تزيد من أهميتها، وهكذا يفتقد بعض تركيبات ميزة منفردة عديمة الفائدة ولكنها مفيدة فقط عندما جنبا إلى جنب. خوارزمية فرانك يحسب نقاط غير حدودي التمييزية كيف ميزة بين فئتين من العينات، وتشتهر متانة للقيم المتطرفة20،21. وعلاوة على ذلك، تقيم خوارزمية روكرانك كيف كبيرة المنطقة تحت ROC المنحنى (AUC) لميزة معينة لتصنيف ثنائي التحقيق أداء22،23.

من ناحية أخرى، مجمع يقيم أداء المصنف المعرفة مسبقاً في مجموعة فرعية ميزة معينة، تكراري إنشاؤها بواسطة قاعدة الكشف عن مجريات الأمور، ويقوم بإنشاء مجموعة فرعية ميزة مع قياس الأداء أفضل24. مجمع عموما يتفوق عامل تصفية في أداء التصنيف ولكن يعمل أبطأ25. على سبيل المثال، يستخدم خوارزمية27 26،الغابات تنظيم عشوائي (الرد) قاعدة الجشع، بتقييم الميزات على مجموعة فرعية من البيانات التدريب في كل عقده الغابات العشوائية، عشرات أهمية الميزة التي يتم تقييمها بواسطة مؤشر جيني . اختيار سمة جديدة سوف يعاقب إذا لم تتحسن في كسب المعلومات أن من السمات المختارة. بالإضافة إلى ذلك، تحليل التنبؤ [ميكروارس] (بام)28،خوارزمية29 ، أيضا خوارزمية برنامج تضمين، يحسب centroid لكل تسميات الفئة، وثم تحديد ميزات لتقليص سينترويدس الجينات نحو الشاملة فئة centroid. أم قوي لميزات البعيدة.

قد يلزم حلول متعددة مع أداء أعلى تصنيف أي مجموعة معينة من البيانات. أولاً، يتم تعريف الهدف الأمثل خوارزمية قطعية صيغة رياضية، مثلاً، معدل خطأ الحد الأدنى30، التي ليست بالضرورة مثالية للعينات البيولوجية. ثانيا، قد يكون إحدى وحدات dataset حلول متعددة، تختلف اختلافاً كبيرا، مع الأداء الفعال أو حتى مطابقة مماثلة. تقريبا جميع خوارزميات اختيار ميزة موجودة عشوائياً تحديد واحد من هذه الحلول ك إخراج31.

وسوف أعرض هذه الدراسة بروتوكولا تحليلية المعلوماتية لتوليد ميزة اختيار حلول متعددة مع عروض مماثلة لأي تصنيف ثنائي معين dataset. إذ ترى أن الباحثين الطبية الأكثر ليسوا مطلعين على تقنيات المعلوماتية أو الكمبيوتر الترميز، وضعت واجهة مستخدم رسومية سهلة الاستخدام (GUI) لتسهيل التحليل السريع لمجموعات البيانات الطبية الحيوية تصنيف ثنائي. البروتوكول تحليلية يتكون من تحميل البيانات وتلخيص وضبط المعلمة وتنفيذ خط أنابيب وتفسيرات النتيجة. بنقرة بسيطة، الباحث قادراً على توليد مجموعات فرعية العلامات البيولوجية ومؤامرات التصور نوعية المنشور. تم اختبار البروتوكول استخدام ترانسكريبتوميس لمجموعات تصنيف ثنائي اثنين من الحاد الليمفاوي اللوكيميا (الكل)، أي، ALL1 و ALL212. مجموعات البيانات ALL1 و ALL2 تم تحميلها من قاعدة عريضة معهد الجينوم تحليل مركز البيانات، متاح على http://www.broadinstitute.org/cgi-bin/cancer/datasets.cgi. ALL1 يحتوي على عينات 128 مع ميزات 12,625. من هذه العينات، وهي 95 ب-الخلية هي جميعا و 33 تي خلية كافة. ALL2 يشمل 100 عينة مع ميزات 12,625 كذلك. من هذه العينات، وهناك 65 مريضا يعاني انتكاسة و 35 مريضا لم يكن. وكان ALL1 dataset من سهل تصنيف ثنائي، مع دقة الحد أدنى من أربع مرشحات وأربعة أغلفة يجري 96.7 في المائة، و 6 من خوارزميات انتقاء 8 ميزة تحقيق 100%12. وبينما كان ALL2 dataset أكثر صعوبة، مع خوارزميات اختيار 8 ميزة تحقيق ليس أفضل من دقة 83.7%12أعلاه. وقد تحقق هذا أفضل دقة مع ميزات 56 الكشف عنها بواسطة خوارزمية برنامج التضمين، اختيار ميزة المستندة إلى العلاقة (لجنة الأمن الغذائي).

Protocol

ملاحظة: البروتوكول التالية توضح تفاصيل إجراءات تحليلية المعلوماتية ورموز الزائفة من وحدات رئيسية. واستحدث نظام التحليل التلقائي باستخدام بيثون الإصدار 3.6.0 والباندا وحدات بايثون، سي، نومبي، سسيبي، سكليرن، sys، PyQt5، sys، مرمر، الرياضيات وماتبلوتليب. وترد في الجدول للموادالمواد الم…

Representative Results

والهدف من سير العمل هذا (الشكل 6) الكشف عن عدة مجموعات فرعية العلامات البيولوجية مع كفاءات مماثلة لمجموعة بيانات تصنيف ثنائي. ويصور اثنين من مجموعات البيانات المثال ALL1 و ALL2 المستخرجة من الكشف عن العلامات البيولوجية نشرت مؤخرا دراسة12،<sup…

Discussion

تقدم هذه الدراسة بروتوكولا كشف وتوصيف سهلة لمتابعة حل متعدد العلامات البيولوجية لمجموعة بيانات المحددة من قبل المستخدم تصنيف ثنائي. البرنامج يضع تركيز على سهولة الاستخدام وواجهات مرونة الاستيراد والتصدير لمختلف صيغ الملفات، يسمح لباحث الطبية الحيوية للتحقيق في ما مجموعة البيانات بسهو?…

Divulgations

The authors have nothing to disclose.

Acknowledgements

وأيد هذا العمل “برنامج البحوث ذات الأولوية الاستراتيجية” للأكاديمية الصينية للعلوم (XDB13040400) ومنحة بدء التشغيل من جامعة جيلين. تم تقدير المراجعين المجهولين والمستخدمين التجارب الطبية على تعليقاتهم البناءة على تحسين سهولة الاستخدام والأداء الوظيفي لكسولوتيونفيس.

Materials

Hardware
laptop Lenovo X1 carbon Any computer works. Recommended minimum configuration: 1GB extra hard disk space, 1 GB memory, 2.0MHz CPU
Name Company Catalog Number Comments
Software
Python 3.0 WingWare Wing Personal Any python programming and running environments support Python version 3.0 or above

References

  1. Heckerman, D., et al. Genetic variants associated with physical performance and anthropometry in old age: a genome-wide association study in the ilSIRENTE cohort. Scientific Reports. 7, 15879 (2017).
  2. Li, Z., et al. Genome-wide association analysis identifies 30 new susceptibility loci for schizophrenia. Nature Genetics. 49, 1576-1583 (2017).
  3. Winkler, T. W., et al. Quality control and conduct of genome-wide association meta-analyses. Nature Protocols. 9, 1192-1212 (2014).
  4. Harrison, R. N. S., et al. Development of multivariable models to predict change in Body Mass Index within a clinical trial population of psychotic individuals. Scientific Reports. 7, 14738 (2017).
  5. Liu, J., et al. Multiple similarly-well solutions exist for biomedical feature selection and classification problems. Scientific Reports. 7, 12830 (2017).
  6. Ye, Y., Zhang, R., Zheng, W., Liu, S., Zhou, F. RIFS: a randomly restarted incremental feature selection algorithm. Scientific Reports. 7, 13013 (2017).
  7. Zhou, F. F., Xue, Y., Chen, G. L., Yao, X. GPS: a novel group-based phosphorylation predicting and scoring method. Biochemical and Biophysical Research Communications. 325, 1443-1448 (2004).
  8. Sanchez, B. N., Wu, M., Song, P. X., Wang, W. Study design in high-dimensional classification analysis. Biostatistics. 17, 722-736 (2016).
  9. Shujie, M. A., Carroll, R. J., Liang, H., Xu, S. Estimation and Inference in Generalized Additive Coefficient Models for Nonlinear Interactions with High-Dimensional Covariates. Annals of Statistics. 43, 2102-2131 (2015).
  10. Li, J. H., et al. MiR-205 as a promising biomarker in the diagnosis and prognosis of lung cancer. Oncotarget. 8, 91938-91949 (2017).
  11. Lyskjaer, I., Rasmussen, M. H., Andersen, C. L. Putting a brake on stress signaling: miR-625-3p as a biomarker for choice of therapy in colorectal cancer. Epigenomics. 8, 1449-1452 (2016).
  12. Ge, R., et al. McTwo: a two-step feature selection algorithm based on maximal information coefficient. BMC Bioinformatics. 17, 142 (2016).
  13. Tumuluru, J. S., McCulloch, R. Application of Hybrid Genetic Algorithm Routine in Optimizing Food and Bioengineering Processes. Foods. 5, (2016).
  14. Gen, M., Cheng, R., Lin, L. . Network models and optimization: Multiobjective genetic algorithm approach. , (2008).
  15. Radovic, M., Ghalwash, M., Filipovic, N., Obradovic, Z. Minimum redundancy maximum relevance feature selection approach for temporal gene expression data. BMC Bioinformatics. 18, 9 (2017).
  16. Ciuculete, D. M., et al. A methylome-wide mQTL analysis reveals associations of methylation sites with GAD1 and HDAC3 SNPs and a general psychiatric risk score. Translational Psychiatry. 7, e1002 (2017).
  17. Lin, H., et al. Methylome-wide Association Study of Atrial Fibrillation in Framingham Heart Study. Scientific Reports. 7, 40377 (2017).
  18. Wang, S., Li, J., Yuan, F., Huang, T., Cai, Y. D. Computational method for distinguishing lysine acetylation, sumoylation, and ubiquitination using the random forest algorithm with a feature selection procedure. combinatorial chemistry & high throughput screening. , (2017).
  19. Zhang, Q., et al. Predicting Citrullination Sites in Protein Sequences Using mRMR Method and Random Forest Algorithm. combinatorial chemistry & high throughput screening. 20, 164-173 (2017).
  20. Cuena-Lombrana, A., Fois, M., Fenu, G., Cogoni, D., Bacchetta, G. The impact of climatic variations on the reproductive success of Gentiana lutea L. in a Mediterranean mountain area. International journal of biometeorology. , (2018).
  21. Coghe, G., et al. Fatigue, as measured using the Modified Fatigue Impact Scale, is a predictor of processing speed improvement induced by exercise in patients with multiple sclerosis: data from a randomized controlled trial. Journal of Neurology. , (2018).
  22. Hong, H., et al. Applying genetic algorithms to set the optimal combination of forest fire related variables and model forest fire susceptibility based on data mining models. The case of Dayu County, China. Science of the Total Environment. 630, 1044-1056 (2018).
  23. Borges, D. L., et al. Photoanthropometric face iridial proportions for age estimation: An investigation using features selected via a joint mutual information criterion. Forensic Science International. 284, 9-14 (2018).
  24. Kohavi, R., John, G. H. Wrappers for feature subset selection. Artificial intelligence. 97, 273-324 (1997).
  25. Yu, L., Liu, H. Efficient feature selection via analysis of relevance and redundancy. Journal of machine learning research. 5, 1205-1224 (2004).
  26. Wexler, R. B., Martirez, J. M. P., Rappe, A. M. Chemical Pressure-Driven Enhancement of the Hydrogen Evolving Activity of Ni2P from Nonmetal Surface Doping Interpreted via Machine Learning. Journal of American Chemical Society. , (2018).
  27. Wijaya, S. H., Batubara, I., Nishioka, T., Altaf-Ul-Amin, M., Kanaya, S. Metabolomic Studies of Indonesian Jamu Medicines: Prediction of Jamu Efficacy and Identification of Important Metabolites. Molecular Informatics. 36, (2017).
  28. Shangkuan, W. C., et al. Risk analysis of colorectal cancer incidence by gene expression analysis. PeerJ. 5, e3003 (2017).
  29. Chu, C. M., et al. Gene expression profiling of colorectal tumors and normal mucosa by microarrays meta-analysis using prediction analysis of microarray, artificial neural network, classification, and regression trees. Disease Markers. , 634123 (2014).
  30. Fleuret, F. Fast binary feature selection with conditional mutual information. Journal of Machine Learning Research. 5, 1531-1555 (2004).
  31. Pacheco, J., Alfaro, E., Casado, S., Gámez, M., García, N. A GRASP method for building classification trees. Expert Systems with Applications. 39, 3241-3248 (2012).
  32. Jiao, X., et al. DAVID-WS: a stateful web service to facilitate gene/protein list analysis. Bioinformatics. 28, 1805-1806 (2012).
  33. Rappaport, N., et al. Rational confederation of genes and diseases: NGS interpretation via GeneCards, MalaCards and VarElect. Biomedical Engineering OnLine. 16, 72 (2017).
  34. Rebhan, M., Chalifa-Caspi, V., Prilusky, J., Lancet, D. GeneCards: integrating information about genes, proteins and diseases. Trends in Genet. 13, 163 (1997).
  35. Joosten, R. P., Long, F., Murshudov, G. N., Perrakis, A. The PDB_REDO server for macromolecular structure model optimization. IUCrJ. 1, 213-220 (2014).
  36. Maglott, D., Ostell, J., Pruitt, K. D., Tatusova, T. Entrez Gene: gene-centered information at NCBI. Nucleic Acids Research. 39, D52-D57 (2011).
  37. Amberger, J. S., Bocchini, C. A., Schiettecatte, F., Scott, A. F., Hamosh, A. OMIM.org: Online Mendelian Inheritance in Man (OMIM(R)), an online catalog of human genes and genetic disorders. Nucleic Acids Research. 43, D789-D798 (2015).
  38. Boutet, E., et al. the Manually Annotated Section of the UniProt KnowledgeBase: How to Use the Entry View. Methods in Molecular Biology. 1374, 23-54 (2016).
  39. Zerbino, D. R., et al. Ensembl 2018. Nucleic Acids Res. , (2017).
  40. McKusick, V. A., Amberger, J. S. The morbid anatomy of the human genome: chromosomal location of mutations causing disease. Journal of Medical Genetics. 30, 1-26 (1993).
  41. Finn, R. D., et al. The Pfam protein families database: towards a more sustainable future. Nucleic Acids Research. 44, D279-D285 (2016).
  42. Xue, Y., et al. GPS: a comprehensive www server for phosphorylation sites prediction. Nucleic Acids Research. 33, W184-W187 (2005).
  43. Deng, W., et al. GPS-PAIL: prediction of lysine acetyltransferase-specific modification sites from protein sequences. Scientific Reports. 6, 39787 (2016).
  44. Zhao, Q., et al. GPS-SUMO: a tool for the prediction of sumoylation sites and SUMO-interaction motifs. Nucleic Acids Research. 42, W325-W330 (2014).
  45. Wan, S., Duan, Y., Zou, Q. HPSLPred: An Ensemble Multi-Label Classifier for Human Protein Subcellular Location Prediction with Imbalanced Source. Proteomics. 17, (2017).
  46. Zhang, H., Zhu, L., Huang, D. S. WSMD: weakly-supervised motif discovery in transcription factor ChIP-seq data. Scientific Reports. 7, 3217 (2017).
  47. Szklarczyk, D., et al. STRING v10: protein-protein interaction networks, integrated over the tree of life. Nucleic Acids Research. 43, D447-D452 (2015).
  48. Chiaretti, S., et al. Gene expression profile of adult T-cell acute lymphocytic leukemia identifies distinct subsets of patients with different response to therapy and survival. Blood. 103, 2771-2778 (2004).
  49. Rowley, J. D., et al. Mapping chromosome band 11q23 in human acute leukemia with biotinylated probes: identification of 11q23 translocation breakpoints with a yeast artificial chromosome. Proceedings of the National Academy of Sciences of the United States of America. 87, 9358-9362 (1990).
  50. Rabbitts, T. H., et al. The chromosomal location of T-cell receptor genes and a T cell rearranging gene: possible correlation with specific translocations in human T cell leukaemia. Embo Journal. 4, 1461-1465 (1985).
  51. Yin, L., et al. SH2D1A mutation analysis for diagnosis of XLP in typical and atypical patients. Human Genetics. 105, 501-505 (1999).
  52. Brandau, O., et al. Epstein-Barr virus-negative boys with non-Hodgkin lymphoma are mutated in the SH2D1A gene, as are patients with X-linked lymphoproliferative disease (XLP). Human Molecular Genetics. 8, 2407-2413 (1999).
  53. Burnett, R. C., Thirman, M. J., Rowley, J. D., Diaz, M. O. Molecular analysis of the T-cell acute lymphoblastic leukemia-associated t(1;7)(p34;q34) that fuses LCK and TCRB. Blood. 84, 1232-1236 (1994).
  54. Taylor, G. M., et al. Genetic susceptibility to childhood common acute lymphoblastic leukaemia is associated with polymorphic peptide-binding pocket profiles in HLA-DPB1*0201. Human Molecular Genetics. 11, 1585-1597 (2002).
  55. Wadia, P. P., et al. Antibodies specifically target AML antigen NuSAP1 after allogeneic bone marrow transplantation. Blood. 115, 2077-2087 (2010).
  56. Wilson, D. M., et al. 3rd et al. Hex1: a new human Rad2 nuclease family member with homology to yeast exonuclease 1. Nucleic Acids Research. 26, 3762-3768 (1998).
  57. O’Sullivan, R. J., et al. Rapid induction of alternative lengthening of telomeres by depletion of the histone chaperone ASF1. Nature Structural & Molecular Biology. 21, 167-174 (2014).
  58. Lee-Sherick, A. B., et al. Aberrant Mer receptor tyrosine kinase expression contributes to leukemogenesis in acute myeloid leukemia. Oncogene. 32, 5359-5368 (2013).
  59. Guyon, I., Elisseeff, A. An introduction to variable and feature selection. Journal of machine learning research. 3, 1157-1182 (2003).
  60. John, G. H., Kohavi, R., Pfleger, K. . Machine learning: proceedings of the eleventh international conference. , 121-129 (1994).
  61. Jain, A., Zongker, D. Feature selection: Evaluation, application, and small sample performance. IEEE transactions on pattern analysis and machine intelligence. 19, 153-158 (1997).
  62. Taylor, S. L., Kim, K. A jackknife and voting classifier approach to feature selection and classification. Cancer Informatics. 10, 133-147 (2011).
  63. Andresen, K., et al. Novel target genes and a valid biomarker panel identified for cholangiocarcinoma. Epigenetics. 7, 1249-1257 (2012).
  64. Guo, P., et al. Gene expression profile based classification models of psoriasis. Genomics. 103, 48-55 (2014).
  65. Xie, J., Wang, C. Using support vector machines with a novel hybrid feature selection method for diagnosis of erythemato-squamous diseases. Expert Systems with Applications. 38, 5809-5815 (2011).
  66. Zou, Q., Zeng, J., Cao, L., Ji, R. A novel features ranking metric with application to scalable visual and bioinformatics data classification. Neurocomputing. 173, 346-354 (2016).
check_url/fr/57738?article_type=t

Play Video

Citer Cet Article
Feng, X., Wang, S., Liu, Q., Li, H., Liu, J., Xu, C., Yang, W., Shu, Y., Zheng, W., Yu, B., Qi, M., Zhou, W., Zhou, F. Selecting Multiple Biomarker Subsets with Similarly Effective Binary Classification Performances. J. Vis. Exp. (140), e57738, doi:10.3791/57738 (2018).

View Video