Kết hợp Internet của những thứ (IoT) dữ liệu cảm biến vào một hệ thống cơ sở dữ liệu kỹ thuật không còn tùy chọn nữa - đó là một điều bắt buộc chiến lược cho các tổ chức cần thiết thời gian thực, bảo trì dự đoán, và việc tạo dữ liệu có định hướng. Với sự bùng nổ của các thiết bị kết nối, các kỹ sư phải xây dựng các ống dẫn có thể phân tích, bảo mật, và linh hoạt mà chuyển đổi cảm biến cảm biến thô đọc được thành thông minh hành động. Điều này mở rộng hướng dẫn này đi qua toàn bộ quá trình, từ dữ liệu cảm biến để điều khiển một nền tảng quản lý dữ liệu hiện đại như là trung tâm quản lý dữ liệu như là trung tâm cho việc ăn uống, lưu trữ và giao thông tin.

Hiểu dữ liệu cảm biến IoT

Cảm biến IoT tạo ra luồng giá trị số liệu được nhãn thời gian - trạng thái, áp lực, rung động, độ ẩm, cường độ ánh sáng, và nhiều cách khác nữa. Dữ liệu này khác với hồ sơ kinh doanh truyền thống theo ba cách then chốt:

  • Volume: hàng ngàn hoặc hàng triệu điểm dữ liệu mỗi ngày có thể nhanh chóng lấn át cơ sở dữ liệu thông thường nếu không xử lý đúng.
  • Velocity:) Dữ liệu đến liên tục, thời gian thực, yêu cầu ăn ít nhiệt độ và xử lý thông qua cao.
  • Các bộ cảm biến sử dụng các giao thức đa dạng (MQTT, HTTP, CoAP, Modbus) và định dạng dữ liệu (JSON, CSV, nhị phân).

Để áp dụng cho kỹ thuật, cần phải làm sạch dữ liệu thô, làm sạch và thường tổng hợp trước khi nó trở nên hữu ích.

Các bước lõi để kết hợp dữ liệu Iot vào cơ sở dữ liệu kỹ thuật của bạn

1. Bộ sưu tập dữ liệu từ thiết bị IoT

Bắt đầu với việc chọn và triển khai thiết bị cảm biến. Tùy thuộc vào môi trường của bạn-trong công nghiệp công nghiệp, tòa nhà thông minh, trường nông nghiệp, hoặc đội ngũ xe có thể gắn kết các cảm biến cần thiết với phạm vi, độ chính xác và mẫu. Nút điện toán có thể chạy trước khi xử lý địa phương để giảm băng thông và độ trong suốt. Ví dụ, lò sưởi công nghiệp có thể có 50 cảm biến nhiệt độ mỗi lần đọc 1 giây. Một cổng ra có thể nén hoặc những thông tin trung bình trước khi truyền lên dòng.

2. Truyền dữ liệu qua giao thức bảo mật

Lớp truyền tải phải cân bằng tính đáng tin cậy, an ninh và hạn chế tài nguyên của thiết bị IoT. Những lựa chọn thông thường bao gồm:

  • : , Light weight, xuất bản giao thức lý tưởng cho các mạng băng tần thấp, có độ trễ cao. Hãy dùng mã hóa tiệc để tìm dữ liệu nhạy.
  • [FTTP/HTTPS: đơn giản để thực hiện nhưng ít hiệu quả hơn cho dòng liên tục; thích hợp cho việc tải lên tuần hoàn.
  • CoAP: Thiết kế cho các thiết bị ràng buộc trên UDP, thường được sử dụng trong hệ thống năng lượng và ánh sáng thông minh.
  • Giao thức di sản ) vẫn còn phổ biến trong sản xuất và xây dựng tự động.

Xác thực cập nhật cơ sở dữ liệu (v. d., chứng nhận khách hàng hay phím API) và kiểm tra dữ liệu toàn bộ (checksum, ký hiệu số) tại giai đoạn này. Một đường dẫn truyền được thiết kế tốt bảo đảm không mất dữ liệu ngay cả trong khi mạng bị ngắt kết nối - sử dụng bộ đệm lưu trữ và tua lại bên thiết bị.

3. Báo thù dữ liệu với ống dẫn có thể khắc

Để xử lý khối lượng và vận tốc của dữ liệu IoT, lớp ăn của bạn phải được tách ra khỏi kho lưu trữ. Người Apache Kafka là tiêu chuẩn của ngành công nghiệp để đệm và truyền tải dữ liệu cảm biến, nhưng quản lý các dịch vụ như Redpanda và các lễ vật có mây (AS Kinesis, Azure event Hubs) cũng có thể thực hiện được.

  • Nhận tin nhắn từ nhà môi giới MQTT hoặc HTTP points.
  • Kiểm tra lại số tải (hãy kiểm tra JSON, phạm vi nhãn thời gian).
  • Các đơn vị (v. d., chuyển đổi °F sang °C) và làm giàu với các siêu dữ liệu (địa điểm định sẵn, ngày tháng cân chỉnh).
  • Publishes làm sạch hồ sơ cho một hay nhiều đề tài của Kafka.

Chỉ thị sau đó có thể đăng ký với các chủ đề của Kafka bằng một lệnh công nhân hoặc móc móc hoặc đặt hồ sơ cá nhân, đưa vào cơ sở dữ liệu quan hệ hay thời gian của bạn. Cách tiếp cận này giữ hiệu quả và bảo mật.

4. Lưu trữ dữ liệu:

Lựa chọn lưu trữ phụ thuộc vào các mẫu truy vấn.

  • Cơ sở dữ liệu thời gian như InfuxDB hoặc Time AcyDB vượt trội tại phạm vi các truy vấn và xuống dưới chân trời dài.
  • Cơ sở dữ liệu quan hệ (Biểu đồ tần xuất, MyQL) là lý tưởng cho siêu dữ liệu có cấu trúc: danh mục cảm biến, bản ghi bảo trì, quyền hạn người dùng.
  • Các cửa hàng ) (S3, MinIO) có thể lưu dữ liệu thô hoặc thường truy cập với chi phí thấp.

Chỉ dẫn, một hệ thống CD không đầu được xây dựng trên cơ sở dữ liệu quan hệ (GreSQL, MyQL, QL, MariaDB), cung cấp một lớp ADI hợp nhất mà trừu tượng hóa cơ sở dữ liệu ẩn trong khi vẫn cho phép cấu hình thô cho các thiết bị truy cập dữ liệu có độ phân tích cao. Bạn có thể lưu trữ các dữ liệu siêu dữ liệu và cấu hình ghép trong các bảng điều khiển trực tiếp, và liên kết đến dữ liệu thời gian được lưu trữ trong một giao diện điều khiển của TSBSB qua cơ sở dữ liệu của Cơ quan chỉ huy ATI. Điều này cho các kỹ sư cho phép một cổng ATI duy nhất cho tất cả dữ liệu IT, giảm sự phức tạp.

5 Xử lý dữ liệu và phân tích

Một khi dữ liệu được lưu trữ, giá trị thực sự xuất hiện thông qua xử lý.

  • Cảnh báo thời gian ngược lại: phát hiện dị thường (sudden thân nhiệt) và kích hoạt thông báo thông báo qua webhoook hoặc email.
  • Sự phân biệt đối xử: tính giờ / ngày trung bình, min/max, hoặc biến đổi thống kê cho bảng điều khiển.
  • Học suy luận: ) áp dụng mô hình dự đoán để duy trì sự sống hữu ích (RUL) của máy móc.

Chỉ đạo của dòng tự động hóa ([FLT: 0]Flows ) có thể dàn xếp các tiến trình này mà không cần viết mã keo riêng. Để nâng cao, tích hợp tiếng Apache hoặc một dịch vụ Python đọc từ Kafka hoặc Directus's API, tiến trình tiến trình, và viết kết quả vào cơ sở dữ liệu.

Tập tốt nhất cho việc hợp nhất sản xuất

Bảo mật từ thiết bị sang bảng áp dụng

Thiết bị iot thường xuyên tấn công véc tơ. Enforce:

  • TIS 1. 2. 2. 0 cho mọi liên lạc qua mạng.
  • Xác thực thiết bị dùng máy khách hoặc căn cứ vào danh tính của hiệu ứng.
  • Phần còn lại mã hóa dữ liệu được lưu, đặc biệt nếu nó chứa thông tin có thể nhận diện cá nhân (PAll) hoặc bí mật thương mại.
  • Điều khiển truy cập dựa trên vai trò (RBAC) cho người dùng và hệ thống truy vấn cơ sở dữ liệu. Chỉ huy tàu RBAC có mã nguồn chính và hỗ trợ việc tìm kiếm hiệu ứng kênh ARI.

Khả năng bảo đảm chất lượng dữ liệu

Sự trôi dạt, trục trặc giao tiếp, và mất điện sản xuất ra nhiều thứ tốt hơn.

  • Từ chối tin nhắn với nhãn thời gian không hợp lệ (ngày tháng, giá trị ngoài tầm nhìn).
  • Lưu bản ghi lỗi cho việc bắn lỗi.
  • Áp dụng phép vô danh bằng cách dùng mã nhận diện thông điệp độc nhất (v. d., trình nhận diện gói MQTT).
  • Sử dụng các quy tắc xác thực dữ liệu của Directus tại cơ sở dữ liệu cho độ nhất quán.

Thiết kế tỷ lệ và mức độ tối ưu của mây

Hạm đội Iot của bạn sẽ phát triển. Thiết kế hệ thống của bạn để có thể đo theo chiều ngang từ ngày đầu tiên:

  • Dùng khả năng kết nối kết nối và đọc bản sao.
  • Phân chia dữ liệu theo thời gian và nhóm cảm biến để tránh bị phát hiện nóng.
  • Hãy xem xét sử dụng Directus hướng dẫn thăm dò cho công-te-la hóa, tự động hóa môi trường.

Hợp nhất với ADI- đầu tiên

Đưa ra dữ liệu nhạy và siêu dữ liệu thông qua một hệ thống kiểu RETyful hay DL APL API để trao quyền trao đổi các bảng điều khiển, ứng dụng di động và hệ thống thứ ba. Chỉ thị cung cấp một hệ thống igic, cấu hình được cấu hình cho bất kỳ bộ điều hành cơ sở dữ liệu nào. Bằng cách kết hợp dữ liệu iT từ hệ thống TSDB với siêu dữ liệu cấu trúc trong trực tiếp, bạn có thể phục vụ điểm kết thúc hợp nhất như [FLT: 0] mà không cần phải viết mã hậu phương pháp.

Trường hợp sử dụng thế giới thực: Quản lý năng lượng xây dựng thông minh

Một công ty quản lý bất động sản triển khai nhiệt độ, độ ẩm, CO2, và cảm biến nội trú trên 50 tầng văn phòng mục tiêu là tối ưu hóa tiêu thụ năng lượng HVAC trong khi duy trì sự thoải mái.

Dòng chảy Data:

  1. Cảm biến dựa trên ý thức32 gửi tin nhắn MQTT mỗi 30 giây tới nhà môi giới Mosquito.
  2. Một cây cầu MQTT-to-Kafka (dùng dịch vụ Telegaf hay tùy chỉnh) nuốt những tin nhắn và xuất bản cho một chủ đề .
  3. Kafka luồng bình thường hóa các giá trị và tính toán trung bình 5 phút, lưu trữ kết quả trong Time sizeDB (thời gian-series) và sao chép siêu dữ liệu (ý định ID, sàn, vùng) vào PostgreSQL quản lý bởi Directus.
  4. Chỉ dẫn này kích hoạt quy tắc nếu-điều này-thì-sau-đó-đó: nếu mức CO2 trung bình trong 10 phút, gọi hệ thống quản lý tòa nhà là ADI để tăng lượng khí sạch.
  5. Các kỹ sư xây dựng một bảng điều khiển thời gian thực trong Retool or Directus Studio mà thiết lập chỉ thị cho các dữ liệu thời gian-truyện liệu, hiển thị trên các bảng lắp tường.

Kiến trúc này giảm thiểu năng lượng dùng cho mục tiêu của HVAC và cải thiện điểm số không khí, tất cả được cung cấp bởi một đường ống dữ liệu sạch, bị kiểm toán.

Kết luận

Tập hợp dữ liệu cảm biến IoT vào hệ thống cơ sở dữ liệu kỹ thuật là một thách thức đa mặt nhưng với các công cụ và mẫu thiết kế đúng, nó trở thành một bộ điều chỉnh cho hoạt động thông minh hơn. Bắt đầu với sự hiểu biết rõ ràng về các tính năng nhạy cảm của bạn, chọn các lớp ăn có thể vi mô và lưu trữ, và áp dụng an ninh và chất lượng từ cạnh đến doanh nghiệp. Các nền tảng như Directus đơn giản hóa việc tổng hợp của quản lý siêu dữ liệu và phơi nhiễm ARI, cho phép đội kỹ thuật của bạn tập trung vào việc xây dựng giá trị thay vì khâu lại cơ sở hạ tầng.

Bắt đầu hành trình tích hợp I gián tiếp bằng cách khám phá tài liệu ) ) và [FLT:] [FLT:] [FLDB-series co sở dữ liệu thời gian [FLT:] để xem cách họ bổ sung lẫn nhau. Để có một tiến hành sâu sắc hơn vào mục đích tốt nhất của MQTT, hãy nhắc đến tài nguyên [FLDB] [FT:5]. Cẩn thận với kế hoạch và nó, cơ sở dữ liệu kỹ thuật của bạn sẽ không chỉ mở cửa hàng thông minh thật mà thôi.