קידום אחסון נתונים כללי וניהול פתרונות

מידע כללי: The Genomic Data Deluge

העשור האחרון היה עדים למהפכה בטכנולוגיות ריצוף גנטי.פלטפורמות כמו נובה של אילמיינה ו-Oxanopore' Minion יכולות כעת לייצר טרה-בייט של נתונים של רצף גולמי מגנום אנושי יחיד תוך מספר שעות, עם עלות של מערכות ניהול ג'ונומיות שלמות מתחת ל-1,000 דולר עבור סיקור גבוה, פרויקטים בקנה מידה גדול כמו גנום אנושי יחידני (Gartomcre) ש-All-Gemi-Gate) של 1200,000 דולר, 000, כלומר, כל אחד, 000, 000 דולר, 000, 000, 000, כל אחד, 000, 000, 000, 000, 000, 000, 000, 000, 000 של ניהול ג's, 000 של ניהול ג's, 000 $, 000, 000, 000 של ניהול ג's, 000 של ניהול נתונים, 000 של ניהול ג's, 000, 000, 000, 000, 000 $, 000 של ניהול ג's, 000, 000 של ניהול ג') של כל אחד, 000 $, 000 של ניהול נתונים, 000 $, 000 של ניהול ג's, 000 של ניהול ג's, עכשיו, 000 של ניהול ג' גנום ארוך יותר מדי שנה, עכשיו, 000 של כל אחד,

נתונים Genomic אינם רק גדולים; זה מורכב מאוד, הכולל מיליוני קורא קצר, קורא ארוך, נתונים היישור, גרסאות גנטיות, ומטא-נתונים הקשורים מטא-נתונים כגון פנוטיפ, היסטוריה קלינית ומקור הדגימה.הנתונים חייבים להישאר נגישים במשך עשרות שנים כדי לתמוך באתגרים ארוכי טווח, גנטיקה של ניהול נתונים, אלגוריתמים חדשים עם אלגוריתמים משופרים, ושילוב עם שכבות אחרות (ת, פרודמיות, דרישות אבטחה, ניתוח גנטיות).

אתגרים ב-Genomic Data Storage and Management

נפח ו Scalability

גנום אנושי יחיד רצף ב -30× כיסוי מייצר כ -100-200 GB של קבצים גולמיים FASTQ, 60-100 GB של קבצי BAM תואמים, ו 1-2 GB של קבצים VCF דחוסים. Multiply כי על ידי מיליוני דגימות מקבילות, ואת דרישות אחסון נתונים גנומי הגלובלי צפוי להגיע exabytes בתוך השנים הבאות.

תנועת נתונים ו-Bandwidth and Data Movement

נתונים Genomic נוצרים לעתים קרובות במיקום אחד (למשל, מרכז ריצוף) וניתח אחר (למשל, אוניברסיטה מחקר או בית חולים) העברת טרה-בייט של נתונים באינטרנט הוא איטי ויקר. אפילו בתוך מוסד יחיד, העברת קבצים BAM גדולים ממתקן מנקה למקבץ compute יכול ליצור I / O צוואר זה הוביל לתרגול "גישה הפוכה" ולא מחייב תמיד גישה לאחור של אחסון, אלא לא תמיד, אלא פשוטו כמשמעו, אלא לא מחייב את הגישה היישר של טיפול לאחור, אלא את זה, אלא לא מחייב את זה, אלא את זה, אלא את זה, אלא רק כדי לתקן את זה, אלא רק כדי לתקן את זה, אלא רק כדי לתקן את זה, אלא רק כדי לתקן את הגישה הדחף של אחסון זה, אלא רק כדי לתקן את זה, אלא רק כדי לתקן את זה, אלא רק כדי לתקן את זה, אלא רק כדי לתקן את זה, אלא רק כדי לתקן את זה, אלא פשוט של טיפול לאחור של טיפול לאחור של טיפול לאחור של טיפול לאחור, אלא פשוט לא מחייב את זה, אלא פשוט לא ממתקן של מערכת אחסון מחדש של טיפול לאחור, אלא לא מחייב את זה, אלא רק כדי לתקן את זה, אלא פשוט לא רק כדי לתקן את זה, אלא רק כדי לתקן את זה, אלא פשוטו

מורכבות נתונים והטרוגניות

נתונים Genomic מגיעים בפורמטים רבים -FASTQ עבור קריאה גולמית, SAM / BAM / CRAM עבור היערכות, VCF /BCF עבור גרסאות, BED / GFF / GTF עבור annotations, ועוד. כל פורמט משמש מטרה מסוימת ומשמש על ידי כלים bioinformatics שונים. זה hetereogenitys ניהול נתונים, כמו מחקר אחד עשוי להיות מיליוני קבצים שונים, עם רמות שונות, דחיסה, או דחיסה, דחיסה, דחיסה, עושה שימוש על ידי דחיסה.

אבטחה ופרטיות

נתונים Genomic הם קבועים, המאפשר זיהוי אישי, ויכול לחשוף מידע רגיש על בריאות הפרט, מוצא, ואפילו נטייה למחלות. הפרות נתונים או גישה בלתי מורשית יכולים להיות השלכות ארוכות טווח.תקנות כגון חוק ביטוח הבריאות וחשבונאות (HIPAA) בארה"ב ותקנות הגנת הנתונים הכלליות (GDPR) באירופה להטיל דרישות קפדניות על הצפנה, בקרת גישה, שבילים ביקורת, ושיתופי נתונים רבים הדרושים לפתרונות מותאמים לאחסון נתונים נורמטיביים.

עלויות Constraints

בעוד עלויות ריצוף צנחו באופן דרמטי, עלויות האחסון לא הלכו באותה מסלול.מדיניות לשימור נתונים ארוכת טווח יכולה לעלות יותר מאשר הריצוף המקורי עצמו.ארגונים חייבים לאזן תקופות שימור (כמה פרויקטים דורשים 10 שנים), אסטרטגיות גיבוי (3-2-1) ותכניות שיקום אסון נגד תקציבים.

קידום טכנולוגי חדש ב-Genomic Data Storage

Cloud Storage Platforms

(הספקים של Cloud פיתחה שירותים מיוחדים עבור נתונים גנטיים.FLT:0 Amazon Web Services (AWS)Education 1 מציעה שירותים מיוחדים עבור נתונים גנומיים (AWS Genomic Data LakeFLT 3) ו-Amazon S3 עם עניבה חכמה, מדיניות מחזור חיים ואובייקטים עבור אספקת תשלומים אוטומטית של Azure-DNSFLT:4 ו- Cloud (GCP) LT5 מספקת את Google Genomi סטנדרטית ל-DNIOS ® for Cloud for Colderative Cloud for Cloud for Cloud for Colderamcatecate for Cloud for Cloud for Cloud.

מערכות אחסון מבוזרות

(ב) , (ב) ,בסביבות היברידיות או סביבות היברידיות, מערכות קבצים מבוזרות ומסגרות עיבוד נתונים הן חיוניות.

טכניקות מתקדמות להורדת נתונים

(הופנה מהדף Genomic Data) יכול להפחית את טביעת הרגל באופן דרמטי ללא אובדן מידע חיוני: אלגוריתם מהירות שקיפות (0CRAM) , 000 מחסנים (מעודכן על ידי המכון האירופי לביוטכנולוגיה) להשיג 2-5x5 × מעל BAM על ידי אחסון של דחיסות באיכות גבוהה יותר, בסיסים ומידע דחיסה של 7.

Blockchain עבור אבטחת מידע ואינטגרity

בעוד שעדיין מתפתחת, טכנולוגיית בלוקצ'יין מציעה מובלן מבוזר, בעל אופי אלגוריתמי לניהול הוכחת נתונים גנטיים, הסכמה ודרכי ביקורת. פרויקטים כמו FLT:0GenobankBuildFLT:1 ו-FLT:2Nebula GenomicsFLT 3 השתמש בלוקצ'יין כדי לאפשר לאנשים לשלוט בנתונים הגנטיים שלהם ולתת גישה למחקרים עבור:2Nebula Genomirate ו-Comlimate Data, לעומת זאת, במקום להשתמש במנגנוני איסוף נתונים מלאים של קבצים, אך ורק כדי למנוע מוצפים.

חנויות נתונים גנובות

(ב) כמה מסדי נתונים מבוססי מטרה יצאו ל-FLT:0 (Google BigQueryFLT:1) עם נתונים גנטיים ציבוריים (למשל, TCGA, 1000 Genomes) מאפשר שאילתה מבוססת SQL על נתונים ורימוס בקנה מידה עצום: 2TileDBFLT 3, מנוע אחסון מבוסס מערך, מיועד לכיסוי נתונים דחוס ו-DOSFRAS, אם כי לעתים קרובות לספק דחיסות נתונים מקודמות של LT5.

חידושים בניהול נתונים Genomic

AI ו- Machine Learning for Data Management

(הופנה מהדף תלמוד ב') (הופנה מהדף ויקרא י"ד) (ה) , לדוגמה, מודלים של ניהול נתונים (FLT:0deep learning ClassifiersFLT:1), יכולים באופן אוטומטי לסווג קבצים נתונים גנטיים המבוססים על התוכן שלהם, שגיאות דגל, אופטימיזציה של נתונים (Dyberation) או החלפת נתונים מדגימים.

פורמטי נתונים סטנדרטיים והתאמה

הברית הגלובלית של Genomics ובריאות (GA4GH) הובילה לסטנדרטים המונעים המאפשרים שיתוף נתונים חוצה פלטפורמות.

• (FLT:0FASTQ:FLT:1) רצף הגלם של דה פקטו, עם ציונים איכותיים. גירסאות חדשות יותר תמיכה בשילוב, ברקודים ואינדקס.
• (ב) ⁇ :0(BAM ו- CRAM:FLT:1Buildary אינטגרציה פורמטים של מולטימדיה.CRAM מעדיף יותר ויותר את טביעת הרגל הקטנה שלה.
• (FLT:0)VCF ו- BCF:FLT:1irant Call Format ומקבילה בינארית שלה.הם מאחסנים SNPs, כופרים וגרסאות מבניות.
• (FLT:0)HDF5 (גרסה של פורמט נתונים היררכיה 5:FLT:1 בשימוש עבור נתונים גדולים מורכבים כגון מפות מגע של Mtrices או Hi-C, המאפשרים חתומה I / O ו דחיסה.
• (FLT:0 AVRO ו-Parkt:FLT:1Buildar Storage Formatar נעשה שימוש בניתוח נתונים גדול (Spark, Hadoop) עבור שאילתה יעילה של תכונות גנומיות.
• (ב) חבילת נתונים ללא תשלום: 0 (FLT:1) תקן קל משקל עבור אריזות metadata וקבצים נתונים יחד.

אימוץ של סטנדרטים אלה מקטין את ההמרה מעל פני השטח ומשפר את הכדאיות.הקונסוריה רבים עכשיו צריך להשתמש בפורמטים ספציפיים GA4GH-approved עבור להפקיד נתונים לתוך מאגרים כמו FLT:0Gene Expression Omnibus (GEO)FLT:1 או FLT:2 European Nucleotide Archives (EN) 3LT 3.

תקנות ניהול נתונים ושיקולים אתיים

ניהול יעיל חייב לאזן מדע פתוח עם פרטיות המטופל.מסגרות ממשל מודרני משלב:

• (FLT:0Data Use Ontologies (DUO): קידודי הסכמה לקריאה של המכונה 1- Machine המציינת שימושים מותרים (למשל, מחקר ספציפי למחלה, ללא רווח, החזר תוצאות).
• (FLT:0) רשימת בקרת גישה מבוססת על גישה (ABAC): הרשאה גרנורית הקשורה לתפקידי משתמשים, רגישות לנתונים ולחברות לפרויקט.
• (FLT:0) הסכמי שיתוף נתונים (DSAs): חוזים משפטיים 1FIRLT בין יצרני נתונים לצרכנים, לעתים קרובות במעקב באמצעות בלוקצ'יין או יומני tamper-הוכחה.
• (FLT:0) הערכת ההשפעה של נתונים (DPIAs): אנדרל 1 נדרש על פי GDPR עבור עיבוד נתונים בקנה מידה גדול.
• (FLT:0) זיהוי ואנונימיות: איור: 1:1 טכניקות כמו k-anonymity, פרטיות שונה, הצפנה הומומורפית מאפשרת ניתוח של נתונים מוקלטים מבלי לחשוף רשומות בודדות.

(ב) ב[[1924]], [[1924]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]]]]]]]], [[1924]]]], [[1924]]]], [[1924]]]]]]]]]]]]]]]], [[1924]]]]]]]]]], [[1924]]]], [[1924]]]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]]

Data Retrieval ו- Querying at Scale

(הופנה מהדף שאילתות מותאמות באופן מסורתי) לשאילתות גנטיות הכוללות תצפיות מבוססות טווח (למשל, מציאת כל הגרסאות בין מיקום 100000 ל-200000 בכרומוזום 12) מבנים מיוחדים כגון FLT:0B+ עצים פארק 12Fase ישירות 1, 000 יחידות) ב-FLT (N) 7.

כיוונים עתידיים באחסון נתונים וניהול

אחסון קוונטי ו-DNA

עוד פתרונות אקזוטיים נמצאים באופק.חוקרים חוקרים חוקרים בודקים את אחסון הנתונים מבוסס דינאמי:0DNA מבוסס נתונים של DHLFREFLT:1, שבו מולקולות DNA סינתטיות קודמות נתונים בינאריים. Microsoft ואוניברסיטת וושינגטון הוכיחו לאחסון של עד 200 MB של נתונים ב- DNA (כולל וידאו הגנה גבוהה) אך ניתן למנוע מהירויות של 1 exabyte לכל מ"מ, DNA יכול לפתור את החלל עבור מהירויות קידוד מיידיות (Footic) אך ניתן להשתמש במהירויות של מחסנים (D) אך הן יכולות להיות חסוכותרות).

צוק ו-Time Analysis

עם עליית רצפים ניידים כמו אוקספורד ננופור, ניתן ליצור נתונים גנטיים במקומות מרוחקים או בית החולים מיטת בית החולים. Edge - עיבוד נתונים מקומית במכשירים או שרתים ליד הרצף - מספק את הצורך להעביר נתונים גולמיים לענן.לדוגמה, ניתוח אבטחה: 0MinKNOWFLT:1 מבצעים בסיס על-de באמצעות רשת עצבית, אשר יכול לכלול מעקב אמיתי (FDyronicing) עם אבטחה (in-site-in-in-in-in-in-in-uptected) ללא אבטחה).

שילוב עם Multi-Omics ו- Electronic Health Records

(המידע הגלובאלי אינו קיים בבידוד.מחקרי בריאות לטווח ארוך יותר משלבים יותר ויותר genomics עם proteomics, metabolomics, microbiome, הדמיה ורשומות בריאות אלקטרוניות (EHRs) פלטפורמות ניהול נתונים חייב לתמוך סוגים של נתונים heterogeneous, סדרות זמן, ומזהה קשר בין חולי OHN) כמו FLT:0NORJNOFRRE;

אינטליגנציה מלאכותית לניהול נתונים אוטומטיים

(ה) מערכות ניהול נתונים מופעלות על ידי AI יצפו אילו נתונים יידרשו לניתוחים הבאים, לפני שהם יכניסו אותם לאחסון חם, ובאופן אוטומטי ארכיון נתונים בלתי מזוהים לאחר תקופה בלתי ניתנת להגדרה.FLT:0Self-dsourcingICO DIRECT DLT 1 (למשל, שימוש בכלים כמו LT2Apache AtlasFLT 3 ו-Fancy) , , , ו-R.

רפואה אישית והסכמה דינאמית

ככל שהנתונים הגנטיים הופכים לחלק שגרתי של טיפול קליני, פתרונות אחסון חייבים לתמוך במודלים של הסכמה דינמיים שבהם מטופלים יכולים להעניק או לשלול הרשאות לשימוש במחקר בכל עת.זה ידרוש חוזים חכמים מבוססי blockchain אשר באופן אוטומטי מעוררים גישה לנתונים או מדיניות דה-השמנה. בשילוב עם FLT:0 Homorphic הצפנה FLT:1 (אפשר חישובים על נתונים מוצפנים), פלטפורמות עתידיות יכולות לאפשר מחקרים בקנה מידה גדול ללא חשיפת מידע, תוך שמירה על פרטיות.

מסקנה

הפיצוץ של נתונים גנומי מציג אתגר והזדמנות.שיטות אחסון מסורתיות וניהול הוכחות לא מספיקות, אך ההתקדמות הטכנולוגית האחרונה - פלטפורמות ענן, מערכות קבצים מבוזרות, דחיסה מתקדמת, ניהול מונע בינה מלאכותית ומסגרות ממשל חזקות - הן מספקות פתרונות מדרגיים, מאובטחים וחסכוניים.מחפשות קדימה, חידושים בתחום אחסון מבוסס DNA, מתווך, אינטגרציה רב-מיקולאריבית והסכמה דינמית עוד יותר כיצד נשקיעו את הערך הביולוגי הגדול ביותר כיום, וירכשו כיום, וירכשו את הנתונים המודרניים, וירכשו את הפיתוחים המודרניים, וירכשו את הפיתוחים הטובים ביותר, ויפעלות, ויפעלות, וירכשו את התשתית המודרנית של מערכות אחסון, ויפעלות של טכנולוגיות מתקדמות, ויפעלות של טכנולוגיות מתקדמות, וטכנולוגיות מבוססות DNA, וטכנולוגיות מבוססות DNA, וטכנולוגיות מבוססות-מחדשו של טכנולוגיות מתקדמות, וטכנולוגיות מבוססות-מחדשו של טכנולוגיות מתקדמות, וטכנולוגיות מבוססות-עולם, וטכנולוגיות מבוססות-מחדשו של מערכות אחסון, מתקדמות, מתקדמות, מתקדמות, מתקדמות, מתקדמות, מתקדמות, וטכנולוגיות מבוססות-מחדשוחותמת פיתוח טכנולוגיות מתקדמות, וטכנולוגיות מבוססות-ידי DNA, מתקדמות, וטכנולוגיות מבוססות-ידי DNA, מתקדמות, וטכנולוגיות מבוססות-ידי DNA,