Giới thiệu: Tại sao quản lý dữ liệu là vấn đề trong việc nghiên cứu kỹ thuật?

Nghiên cứu kỹ thuật tạo ra một lượng lớn dữ liệu từ việc đọc và mô phỏng kết xuất ra các dữ liệu nhạy cho phép thử nghiệm các phép đo lường và tập tin thiết kế. Tuy nhiên, không có khả năng quản lý thiết kế, tài nguyên quý giá này có thể bị phân hủy, hoặc không thể sử dụng được. [FLT: 0] Trình quản lý và chia sẻ dữ liệu không phải là tùy chọn; chúng có nền tảng để hỗ trợ, đáng tin cậy và có tác động khoa học kỹ thuật. Bài này đưa ra các thực hiện tốt nhất để quản lý và chia sẻ dữ liệu trong các ấn phẩm kỹ thuật, cung cấp hướng dẫn hoạt động cho các nhà nghiên cứu tại mỗi giai đoạn văn phòng.

Các thực hành dữ liệu tốt cho phép xác minh kết quả, hỗ trợ các phân tích siêu vi, máy học nhiên liệu tập huấn, và thúc đẩy đổi mới bằng cách cho phép người khác xây dựng trên công việc hiện có. họ cũng đồng thời với các yêu cầu của các cơ quan tài trợ, chính sách tổ chức, và nhiều tạp chí chuyên gia yêu cầu các tuyên bố có sẵn dữ liệu. bằng cách áp dụng các thực hành, các nhà nghiên cứu kỹ thuật đóng góp cho một hệ sinh thái khoa học minh bạch hơn và hợp tác hơn.

Tầm quan trọng của việc quản lý dữ liệu trong ngành kỹ thuật

Nghiên cứu kỹ thuật thường bao gồm những bộ dữ liệu lớn, phức tạp được tạo ra từ các thí nghiệm vật lý hoặc mô hình tính toán. Nếu không có một phương pháp tiếp cận có cấu trúc, dữ liệu có thể nhanh chóng trở nên vô tổ hợp, dẫn đến việc lãng phí thời gian, lỗi và không thể sửa chữa. [FLT: 0] Trình quản lý dữ liệu [FLT: 1] tăng cường độ trong suốt [FLT: 1] bằng cách đảm bảo rằng mỗi quan sát, tham số và bước xử lý là có thể theo dấu vết. Nó cũng hỗ trợ việc hỗ trợ các nhà tài trợ các nguồn tài trợ như [FL: 2] dữ liệu chia sẻ chính sách [F: FL: FL: FT] [F:] và các yêu cầu như tạp chí như thế]

Bên cạnh sự tuân thủ, dữ liệu được quản lý tốt là chất xúc tác cho việc khám phá. các nhà nghiên cứu khác có thể sao chép các phân tích, thử nghiệm giả thuyết thay thế, hoặc kết hợp dữ liệu của bạn với những dữ liệu của riêng họ để đạt được những sự hiểu biết mới. trong các lĩnh vực như kỹ thuật cơ khí, kỹ thuật dân sự, kỹ thuật điện tử, các bộ dữ liệu chia sẻ đã tăng tốc trong các khu vực từ vật liệu thiết kế cho đến hệ thống năng lượng tối ưu hóa.

Các thực hành tốt nhất để quản lý dữ liệu

Thực hiện một tập hợp các thực hành quản lý dữ liệu nhất quán trong nhóm nghiên cứu của bạn có thể cải thiện đáng kể hiệu quả và đáng tin cậy.

Quản lý dữ liệu rõ ràng

Nhận một cấu trúc thư mục hợp lý và các tập lệnh phân tích. Lấy thí dụ, sử dụng thư mục cấp cao cho dự án, thư mục con cho thí nghiệm hay mô phỏng, và thư mục con cho dữ liệu thô, xử lý dữ liệu và phân tích. Tên tập tin nên bao gồm dự án, ngày tháng và thông tin phiên bản. Việc này làm cho mọi người dễ dàng định vị tập tin cụ thể mà không cần đào sâu trong hàng trăm thư mục.

Dùng tập tin readME trong mỗi thư mục để giải thích nội dung, biến trong bộ dữ liệu, và bất kỳ mã hay ký tự nào dùng. Một bộ mã đọc có cấu trúc hoạt động như một bảng dữ liệu, tiết kiệm thời gian và giảm sự hiểu lầm.

Dữ liệu Tài liệu

Tài liệu đi xa hơn tổ chức thư mục. Tạo siêu dữ liệu toàn cục mô tả:

  • Những gì đã được đo hoặc mô phỏng
  • Dữ liệu đã được thu thập như thế nào ( thiết lập kinh doanh, phiên bản phần mềm, chi tiết cân chỉnh)
  • Ngày và Giờ Tập hợp
  • Đơn vị và độ chính xác
  • Bất kỳ bước xử lý nào áp dụng
  • Mối quan hệ giữa các tập tin

Những công cụ như sổ ghi chép phòng thí nghiệm điện tử (ELNs) hoặc tiêu chuẩn siêu dữ liệu đã được dành riêng (v. d., [FLT: 0] Nguyên tắc có thể đơn giản hóa tiến trình này. Mục tiêu là làm cho dữ liệu của bạn dễ hiểu mà không cần lời giải thích bằng lời nói.

Bảo đảm chất lượng dữ liệu

Kiểm tra thường xuyên dữ liệu của bạn để độ chính xác, hoàn chỉnh và nhất quán. Các tập lệnh tự động có thể kiểm tra xem có những giá trị, hoặc định dạng không khớp. Thực hiện kiểm tra chéo lại các tiêu chuẩn đã biết hoặc sao chép các phép đo để xác thực độ chính xác. Tài liệu có bất thường và cách giải quyết không. Dữ liệu chất lượng cao giảm nguy cơ kết luận sai và làm tăng uy tín của ấn phẩm của bạn.

Hãy xem xét việc thực hiện một danh sách bảo đảm chất lượng rằng tất cả các bộ dữ liệu phải được thông qua trước khi được sử dụng để phân tích. điều này đặc biệt quan trọng trong các lĩnh vực nghiêm trọng an toàn như cấu trúc hoặc không gian vũ trụ.

Điều khiển phiên bản xúc tác

Theo dõi các thay đổi trong bộ dữ liệu và tập lệnh phân tích bằng cách sử dụng hệ thống điều khiển phiên bản như Git (để mã và tập tin nhỏ) hoặc phiên bản dữ liệu như DVC. Tính năng này duy trì lịch sử đầy đủ của các thay đổi, cho phép cuộn ngược lại các trạng thái trước đó, và hỗ trợ sự hợp tác giữa nhiều nhà nghiên cứu. Mỗi phiên bản nên được đánh dấu bằng ngày tháng và mô tả của các thay đổi.

Đối với những bộ dữ liệu nhị phân lớn không thích hợp với Git, hãy xem xét sử dụng các nền tảng quản lý dữ liệu giúp phiên bản (v. d., Datavert, Zeno) hoặc kiểm tra tổng số dữ liệu trong kho Git để kiểm tra sự trung kiên.

Dữ liệu sao lưu được bảo mật

Thiếu dữ liệu có thể gây thảm họa. Giữ ít nhất ba bản sao dữ liệu của bạn: một bản sao chính, một bản sao sao (v. d., ổ cứng bên ngoài), và một bản sao lưu không có địa điểm (v. d., cất giữ mây hay trình phục vụ tập tin) tự động để đảm bảo tính kiên định. Dữ liệu nhạy để bảo vệ chống truy cập không hợp lệ.

Thường xuyên kiểm tra tiến trình sao lưu của bạn. Một bản sao lưu chỉ có ích nếu bạn có thể thực sự phục hồi dữ liệu khi cần thiết.

Chia sẻ dữ liệu trong ấn phẩm kỹ thuật

Một khi bạn quản lý dữ liệu bên trong, bước kế tiếp là chia sẻ nó với cộng đồng lớn hơn. chia sẻ hiệu quả bao gồm việc chọn đúng kho, tôn trọng sự riêng tư và đạo đức, và cung cấp thông tin rõ ràng và trích dẫn.

Chọn đúng nơi tổ chức

Chọn một kho chứa:

Kiểm tra yêu cầu của tạp chí - nhiều tạp chí kỹ thuật chỉ ra một kho đã yêu cầu hoặc chấp nhận bất cứ điều gì đáp ứng các chính sách có sẵn dữ liệu của họ.

Quyền riêng tư và đạo đức của dữ liệu

Nghiên cứu kỹ thuật đôi khi bao gồm dữ liệu bí mật hoặc độc quyền từ các đối tác công nghiệp, đối tượng người (v. d., thử nghiệm người dùng) hoặc cấu hình nhạy. Trước khi chia sẻ, hãy đảm bảo bạn có quyền làm như vậy. Hiển thị quyền hạn, ẩn danh dữ liệu cá nhân (v. d. gỡ bỏ tên, sử dụng thống kê tổng hợp, và các bí mật thương mại, hoặc thông tin được quản lý xuất khẩu. Nếu chia sẻ đầy đủ, hãy xem xét việc cung cấp một tập hợp phụ thuộc vô danh hoặc tập hợp dữ liệu tổng hợp chứa các tính năng thống kê.

Sử dụng dữ liệu dùng thỏa thuận hoặc giấy phép để xác định sử dụng. Quyền chung [FLT: 0] [FLT] [FLT: 1] (CC 0, C B BG 4. 0) được phổ biến cho dữ liệu mở; chọn cái tương ứng với mục tiêu chia sẻ của bạn.

Giấy phép dữ liệu và cách gõ

Áp dụng giấy phép rõ ràng cho dữ liệu của bạn để tránh mơ hồ pháp lý. CC0 (sự hiến dâng miền công cộng) tối đa hóa lại, trong khi CCA4 đòi hỏi quyền truy cập. Nếu dữ liệu của bạn có nguồn khác, hãy đảm bảo bạn tuân thủ với giấy phép của họ. Cung cấp một định dạng thông tin được khuyến khích trong tập dữ liệu siêu dữ liệu, bao gồm tác giả, tiêu đề, tài, tài liệu và ngày tháng. Điều này khuyến khích người khác tin công việc của bạn.

Nhiều bộ phận tự động tạo ra văn bản trích dẫn; ôn lại nó một cách chính xác.

Viết một bài phát biểu đầy đủ về tính khả thi

Hầu hết các tạp chí kỹ thuật hiện cần một lời tuyên bố có sẵn trong bản chép tay của bạn, hãy giải thích rõ ràng: “Các dữ liệu ủng hộ việc tìm ra bản này được công khai trong [Danh mục Hiến chương] [DRI], số tham khảo [X], nếu một số dữ liệu không thể chia sẻ, hãy giải thích tại sao (v., hạn chế quyền sở hữu) và miêu tả bất cứ điều kiện nào có thể truy cập.

Những thử thách và giải pháp trong việc quản lý dữ liệu

Thi hành những thực hành này không phải là dễ, mà là những trở ngại thông thường:

Hãy nhớ rằng nhiều thách thức này trở nên dễ dàng hơn với thực hành và với sự hỗ trợ của văn phòng quản lý dữ liệu của tổ chức của bạn hoặc thư viện.

Hướng đi tương lai: Khoa học mở và khám phá

Cộng đồng kỹ thuật đang hướng tới các nguyên tắc FAIR (có thể tìm thấy, khả năng truy cập, khả năng can thiệp, Repable) như một dấu chấm đông cho việc quản lý dữ liệu tốt. Trong thực tế, điều này có nghĩa là:

  • Có thể tìm: Chỉ định các bộ nhận diện bền bỉ (DOIs) và siêu dữ liệu phong phú.
  • Có thể:) Dữ liệu bảo mật có thể lấy lại thông qua giao thức chuẩn (HTTP, FTP) ngay cả khi truy cập bị hạn chế.
  • Không thể:) Dùng định dạng tập tin mở, chuẩn cộng đồng (v. d., HDF5, CSV, NetCDF) và kiểm soát từ vựng.
  • [FLT: 0] Có thể: cung cấp giấy phép rõ ràng, tài liệu chứng thực và siêu dữ liệu đặc trưng miền.

Nhận nuôi các thực hành của FAIR không những có lợi cho cộng đồng khoa học mà còn nâng cao khả năng làm việc của bạn, giúp bạn dễ dàng xem xét lại dữ liệu cũ, hợp tác qua các nhóm, và thỏa mãn các đòi hỏi của người công bố.

Kết luận

Việc thực hiện tốt nhất trong quản lý dữ liệu và chia sẻ là một sự đầu tư có thể chi trả lợi nhuận trong suốt sự nghiệp nghiên cứu của bạn bằng cách sắp xếp dữ liệu rõ ràng, tài liệu đầy đủ, tài liệu bảo đảm, sử dụng kiểm soát phiên bản, và hỗ trợ lên một cách an toàn, bạn bảo vệ công việc của bạn và tăng giá trị của nó. chia sẻ dữ liệu trong các kho đáng tin cậy với giấy phép rõ ràng và các bản thảo mở rộng mở sẽ mở rộng tầm ảnh hưởng của nghiên cứu, và trong sạch, và nghiên cứu trong cộng đồng sáng tạo.