Вступ: Чому менеджмент даних Matters в інженерних дослідженнях

Інженерні дослідження виробляє величезні кількості даних — від сенсорних зчитувань та імітаційних виходів до експериментальних вимірювань та дизайнерських файлів. Таке без навмисного управління цей цінний ресурс може стати фрагментованою, втраченою або непристойною. Ефективне управління даними та спільного доступу] не є обов'язковими; вони є основою для рефструктивної, достовірної та ударної інженерної науки. Ця стаття визначає найкращі практики управління та спільного використання даних в інженерних виданнях, що забезпечує дієвий посібник для дослідників на кожному етапі кар’єри.

Хороші методи обробки даних дозволяють проводити перевірку результатів, підтримувати мета-аналізи, набори для навчання паливних машин, прискорити інновації, дозволяючи іншим будувати на існуючій роботі. Вони також вирівняються з вимогами до фінансових агентств, інституційних політик, багато наукових журналів, які зараз керують звітами про наявність даних. За допомогою цих практик дослідники машинобудування сприяють більш прозорій та коборативній науковій екосистемі.

Імпортування управління даними в машинобудуванні

Дослідження інженерних досліджень часто включає в себе великі, складні дані, отримані з фізичного експериментів або обчислювальних моделей. Без структурованого підходу дані можуть швидко стати деорганізованими, що призводить до часу, помилок і незручних результатів. Проопераційна система управління даними підвищує прозорість і цілісність , забезпечивши, що кожен спостереження, параметр і крок обробки сліду. Також полегшує дотримання мандатами фундатора, таких як політики спільного доступу даних NSF і вимоги журналу, як ті з Натюрморт Портфоліо[F:2[F:2]

За межами комплаєнсу, добре керованих даних є каталізатором для відкриття. Інші дослідники можуть відтворювати свої аналізи, тестувати альтернативні гіпотези або поєднувати ваші дані з власними досягнення нових інсайтів. У таких галузях як машинобудування, цивільна інженерія та електрична інженерія, спільні дані прискорили прогрес у сферах від проектування матеріалів до оптимізації енергетичних систем.

Кращі практики управління даними

Впровадження комплексних практик управління даними у вашій дослідницькій групі може значно підвищити ефективність та надійність. Нижче наведено основні компоненти.

Організувати дані прозоро

Прийняти логічну структуру папок і послідовні конвенції для нарювання. Наприклад, використовувати папку верхнього рівня для проекту, підпапки для експериментів або імітацій, а також підзапчасти для сирих даних, оброблених даних і сценарії аналізу. Ім'я файлів повинні включати проект, дату та версію інформації (наприклад, ). Це робить його легко для будь-якого, включаючи ваше майбутнє само - знайти певні файли без прокопування через сотні каталогів.

Використовуйте файли README в кожній папці для пояснення вмісту, змінних в даних, а також будь-яких скорочень або кодів, які використовуються. А також структуровані функції README як таблиця даних, економія часу та зменшення непорозуміння.

Документ даних

Документація виходить за межі організації папки. Створіть вичерпні метадані, які описують:

  • Що було вимірено або імітовано
  • Як зібрано дані (встановлення, версії програмного забезпечення, деталі калібрування)
  • Дата та час збору
  • Блоки та точність
  • Будь-які етапи обробки
  • Зв'язки між файлами

Інструменти, такі як електронні блокноти (ELNs) або виділені стандарти метаданих (наприклад, Принципи FAIR) можуть спрощувати цей процес. Мета полягає в тому, щоб зробити ваші дані, інтерпретовані без необхідності словесних пояснень, тому що інформований дослідник у вашому полі може зрозуміти і повторно використовувати його.

Забезпечити якість даних

Регулярно валідуйте свої дані для точності, повноти та консистенції. Автоматизовані сценарії можуть перевірити на носії, відсутні значення або форматні невідповідності. Виконувати крос-чеки від відомих стандартів або замірів реплікату для підтвердження точності. Зробіть документ будь-яких аномалії і як вони були вирішені. Якісні дані знижує ризик незлічених висновків і зміцнює довіру ваших публікацій.

Враховуйте, що всі дані повинні проходити до використання для аналізу. Це особливо важливо для забезпечення безпеки-критиків, таких як структурна або аерокосмічна інженерія.

Реалізація контролю версій

Відстежуйте зміни до сценаріїв даних та аналізу за допомогою систем керування версіями, таких як Git (для коду та невеликих файлів) або інструментів для редагування даних, таких як DVC. Це зберігає повну історію модифікацій, дозволяє зворотно відхиляти до попередніх станів, а також підтримує співпрацю між кількома дослідниками. Кожна версія повинна бути позначена дата та описом змін.

Для великих бінарних даних, які не добре підходять для Git, розглянемо використання платформ керування даними, які підтримують версії (наприклад, Dataverse, Zenodo) або магазину, які перевіряють Git, щоб перевірити цілісність.

Резервне копіювання даних надійно

Збиток даних може бути катастрофічною. Забезпечити принаймні три копії ваших даних: одну первинну, одну локальну резервну копію (наприклад, зовнішній жорсткий диск), і одну резервну копію сайту (наприклад, хмарний накопичувач або інституційний сервер). Використовуйте автоматизовані резервні інструменти для забезпечення консистенції. Зашифрувати конфіденційні дані для захисту від несанкціонованого доступу.

Регулярно перевірте процес відновлення резервної копії. Резервування є лише корисним, якщо ви дійсно можете відновити дані при необхідності.

Обмін даними в інженерних виданнях

Після того, як ви змогли зробити свої дані внутрішньо, наступний крок є обміном його з більшою спільнотою. Ефективне поширення передбачає вибір правої репозиторії, повагу конфіденційності та етики, а також надання чіткого ліцензування та інформації про цитування.

Вибір правої репозиторії

Виберіть репозиторію, яка є:

  • Trusted and persistent: Використовуйте добре створені репозиторії, які призначають стійких ідентифікаторів (DOIs). Приклади включають Zenodo, інституціональні репозиторії, а також спеціалізовані бази даних, такі як DataHub Engineering collection.
  • Компатету з вашими типами даних: Забезпечити репозиторію підтримує формати файлів та розміри даних, які вам потрібно. Деякі репозиторії спеціалізуються на великих технічних даних (наприклад, моделювання виходу, точка хмар).
  • Індексовані пошуковими системами: Репозиторії, які індексуються Пошуком Google Dataset або аналогічними інструментами, що підвищують ефективність ваших даних.

Перевірити вимоги до журналів - журнали інженерних установок вкажіть бажану репозиторію або прийняти будь-який, який відповідає політиці доступності даних.

Конфіденційність даних та етика

Інколи дослідження інженерних досліджень передбачає конфіденційні або майнові дані від галузевих партнерів, суб'єктів людини (наприклад, судові дослідження користувачів), або чутлива інфраструктура. Перед тим як обмінюватися, забезпечити вам право зробити це. Отримання дозволів, анонімізації персональних даних (наприклад, видалення імен, використання сукупної статистики), і аутектних торгових секретів або експорт керованої інформації. Якщо повне поширення неможливе, розглянемо надання анонімізованого підмножи або синтетичного набору даних, що зберігає ключові статистичні властивості.

Використовуйте угоди про використання даних або ліцензії, щоб вказати дозволене використання. Creative Commons licenses (CC0, CC BY 4.0) використовуються для відкритих даних; виберіть той, який вирівнюється з метою обміну.

Ліцензії та цитування даних

Використовуйте чітку ліцензію на ваші дані, щоб уникнути правової неоднозначності. CC0 (повідомлення публічного домену) максимізує повторну використання, в той час як CC BY 4.0 вимагає атрибуту. Якщо ваші дані виводяться з інших джерел, переконайтеся, що ви повинні відповідати їх ліцензіям. Забезпечити рекомендований формат цитування у метаданих даних, включаючи авторів, назву, репозиторію, DOI та дати. Це заохочує інших для правильної оплати вашої роботи.

Багато репозиторії автоматично генерують текст цитування; перевірте його для точності.

Написання звіту про доступність даних

Більшість інженерних журналів, які зараз вимагають заяви про наявність даних у вашому рукописі. Будьте явні: «Дата, що підтримують пошуки цього дослідження, відкриті в [Репозиторійне ім'я] в [DOI], посилання [X]. Якщо деякі дані не можуть бути розподілені, поясніть, чому (наприклад, завірені обмеження) і описайте будь-які умови доступу.

Виклики та рішення в управлінні даними

Впровадження цих практик не існує жодних проблем. До таких умов відносяться:

  • За час та тренінг: Оцінити час для управління даними, обробляти його як основний склад вашого дослідницького процесу. Багато установ пропонують майстер-класи або онлайн модулі.
  • Гетерогенні типи даних: Використовуйте гнучку структуру каталогів та schema метаданих, які можуть вмістити різні формати даних. Інструменти, такі як FAIRplus], що забезпечують керівництво.
  • Large файла: Compress файли, де можливо, або зберігати сирі дані в репозиторію та оброблені дані в іншому. Деякі репозиторії приймають великі файли (наприклад, Zenodo до 50 ГБ за данимисету).
  • Концерн про саппінг: Ви можете розмаїкувати дані за період (понад 12 місяців) для того, щоб дозволити час для первинних публікацій, поки не відкладаючи його з метаданих.

З метою забезпечення роботи офісу або бібліотеки, ми пропонуємо вам ознайомитися з цими проблемами та можливостями, які допоможуть вам зробити процес створення інформації.

Майбутні напрямки: FAIR та Open Science

Інжинірингова громада рухається до принципів FAIR (з'єднання, доступність, взаємопроникність, багаторазова) як еталон для хорошого управління даними. На практиці це означає:

  • Увімкнути: Призначають стійкі ідентифікатори (DOIs) та багаті метадані.
  • Доступна: Забезпечити дані можна отримати за допомогою стандартних протоколів (HTTP, FTP) навіть якщо доступ обмежений.
  • Інтероперабельний: Використання відкритого, загальнотипового форматів файлів (наприклад, HDF5, CSV, NetCDF) та керованих бокавлярів.
  • Повідомлений: Забезпечити чіткі ліцензії, документацію про допуск та метадані доменного профілю.

Прийняти практику FAIR не тільки переваги наукової спільноти, але й підвищує свій власний робочий процес, що полегшує ревізити старі дані, співпрацюючи з командами, задовольняє потреби видавців.

Висновок

Впровадження кращих практик управління даними і спільного доступу є інвестиціями, які оплачують дивіденди по всій вашій науковій кар'єрі. За допомогою організації даних чітко документооообігу, забезпечення якості, використання контролю версій і резервного копіювання надійно, ви захистите свою роботу і підвищите його значення. Поширення даних у перевірених репозиторіїв з чіткими ліцензіями і цитуваннями поширюється вплив на ваші дослідження, колаборацію кадрів, і будує довіру в інженерній галузі. Як фінансистів, журналів, і інститутів продовжують підкреслювати відкритість і відтворюваність, ті, хто приймає ці практики будуть найкращими позиціоновані для свинцю і сприяння життєзнаванню, прозорим і інноваційним дослідницьким співтовариством.