Vượt qua những thử thách về di sản

Hệ thống di truyền- khung, cơ sở dữ liệu hiện đại, hoặc nền tảng iP cũ hàng thập niên - thời đó giữ dữ liệu kinh doanh quan trọng nhưng thiếu tính linh hoạt, khả năng tăng cường, hiệu quả của môi trường đám mây hiện đại. Việc phân tích dữ liệu này mà không làm gián đoạn các hoạt động hàng ngày là một nỗ lực cao. Azure Data ieary (ADF) cung cấp một dịch vụ tổng hợp dữ liệu không máy chủ đầy đủ, mà địa chỉ về các thách thức đầu, cho phép tổ chức tạo ra dàn nhạc và tự động di chuyển dữ liệu từ nguồn xuống mức tối thiểu và an ninh tối thiểu.

Hiểu được cơ sở dữ liệu Azure

Azure Data isony là công cụ thu thập dữ liệu từ các nguồn gốc dựa trên mây của Microsoft, siêu dữ liệu, tải (TL) và tải về, siêu tải, chuyển dạng (ELT). Nó cung cấp một giao diện trực quan và mã hóa đầu tiên để xây dựng các đường dẫn dữ liệu từ một hệ thống truyền tải dữ liệu rộng lớn, cung cấp một cầu nối an toàn giữa các hệ thống di sản và Azure.

  • Ppelines:
  • Dịch vụ liên kết [FLT: 0]: ) chuỗi kết nối chỉ tới hệ thống nguồn và đích.
  • Các bộ dữ liệu: ) có tên các ô xem cấu trúc dữ liệu dùng trong hoạt động.
  • Các cơ chế thời gian ) hoặc các cơ chế dựa trên sự kiện để thực hiện các đường ống dẫn.

Bản chất không có máy chủ của ADF có nghĩa là không có cơ sở hạ tầng để quản lý--Microsoft quản lý việc tăng trưởng, vá và có nhiều người, điều này đặc biệt hấp dẫn đối với các tổ chức có nguồn thông tin mật hạn chế.

Explore the official Azure Data Factory documentation →

Khả năng chuyển đổi tài sản bằng khóa

Name

ADF hỗ trợ hơn 100 kết nối có sẵn, bao gồm cả những máy phục vụ [FLT: 0], Nhà tiên tri, SAP, IBM Db2, MySQL, PostgreS [FLT: 1], tập tin phẳng, và dữ liệu máy chủ. Dùng các nguồn tự mã hóa chạy tự động, bạn có thể truy cập chặt chẽ trên hệ thống tường lửa. Việc này loại bỏ nhu cầu về mã hoặc phần ba tùy biến.

Chuyển đổi Dữ liệu ở tỷ lệ

Các dòng dữ liệu nổi bật cho phép chuyển đổi bằng hình ảnh, không mã hóa với các tính năng như tham gia, phối hợp, kiểm tra chất lượng và chất lượng dữ liệu. Để [FLT: 0], không có biến đổi bằng hình ảnh hoặc ) khả năng tổng hợp (Azuure Databrricks, HDIight). Có thể thực hiện các biến đổi trong trí nhớ [FLT: 1], hoặc cố gắng làm cho các khu vực được cải thiện, dữ liệu được sửa sạch và trước khi tải vào hệ thống tập tin Azuure, Azuseuse, ADUre, ADSure, ASure, ASure, ABy, hoặc AG.

Name

Chương trình đào thải ít ỏi cho phép bạn tăng số lượng đổ, tải đầy đủ ban đêm, hoặc hoàn thành, tạo ra các dòng công việc hoạt động mạnh mẽ. Theo dõi các bảng điều khiển và [FLT:] Trình theo dõi cho phép bạn liên kết các đường ống dẫn chuỗi dựa trên sự thành công, thất bại, hoặc hoàn thành, tạo ra các dòng công việc mạnh.

An ninh và sự thỏa thuận

ADF hỗ trợ mã hóa tại phần còn lại và khi đi lại, Các xác định [FLT: 1] [FLT:] để xác thực chắc chắn, và hòa nhập với Liên kết riêng [FLT:] để giữ cho giao thông khỏi Internet công cộng. Tính tổng hợp [FLT: 1] để làm cho nó thích hợp cho ngành công nghiệp quản lý.

View Azure Data Factory pricing and tiers →

Một bước tiến đến sự di sản di truyền

Giai đoạn 1: Phát hiện và tìm ra

Bắt đầu bằng cách kiểm kê hệ thống di sản - chỉnh sửa bộ điều hòa, tập dữ liệu, mẫu truy cập và quan hệ phụ thuộc. Hãy dùng [FLT: 0] [ Bản đồ [FLT: 1] [FLT:] hoặc tùy chỉnh phân tích tập lệnh để đánh giá c tương thích. Xác định các vấn đề chất lượng, hồ sơ ghi chú, và quy tắc kinh doanh nhúng vào các thủ tục hoặc kích hoạt. Tài liệu đích [FL:2]

Giai đoạn 2: Thiết kế ống nước và phát triển

Tạo dịch vụ liên kết cho mỗi nguồn và đích. Bắt đầu với một đường ống kiểm tra để chiết xuất một tập dữ liệu nhỏ, áp dụng các biến đổi đơn giản, và xác định kết nối. Hãy dùng [FLT: 0] để hiệu lực khả năng sắp xếp [FLT: 0] [FLT: 1] để xử lý nhiều bảng hoặc phân vùng. Đối với tập tin lớn, thực hiện [FL:2] đánh dấu [FL:] [FL:] để tăng dần] khả năng nạp] khả năng nạp] dùng cột hay các trường thay đổi thời gian.

Giai đoạn 3: Thử và kiểm tra

Chạy các ống dẫn chạy khô chống lại hoạt động sao chép và biến đổi. So sánh các hàng đếm, hath kiểm tra, và hồ sơ mẫu giữa nguồn và đích. Hãy dùng ADFFFFT [FLT: 0] Xem thử [FLT: 1] và ) Chế độ giảm dần ) để tách các vấn đề ra. Thiết lập khung Xem thử mà hợp lệ hóa tự động qua nhiều môi trường (v, prod).

Giai đoạn 4: Hành quyết và bị chém giết

Lên lịch cuộc di cư cuối cùng trong khi cửa sổ được lên kế hoạch thời gian. Để có chiến lược không- xuống, hãy dùng một [FLT: 0] mẫu viết [FLT: 1] ):]: tiếp tục ghi vào hệ thống di sản trong khi ADF đồng bộ hoá thay đổi dần thành Azure. Sau khi đồng bộ, thẩm tra dữ liệu có hiệu lực và chuyển chuỗi kết nối ứng ứng ứng dụng. Theo dõi hệ thống ống dẫn ADF chạy cho bất kỳ lỗi nào và xử lý lại khi cần thiết.

Giai đoạn 5: Làm báp têm và theo dõi

Sau khi di cư, xem lại hiệu suất ống dẫn. Điều chỉnh Phân vùng phun , ] khả năng quản lý ống dẫn (Data Intecation Unit) , và định vị. Đặt Theo dõi [FLT:] thông báo về sự thất bại và sự lưu thông tin. [FL: FL] [FL: 6] Chính sách [FL: ire] [FL] để xác [FL] và đặt tiêu chuẩn bảo mật và đặt tên của các địa điểm an ninh.

Những sự suy xét cấp cao về sự phân chia phức tạp

Đang giải mã các nhóm lớn và Điều chỉnh )

Đối với terabytes dữ liệu, sử dụng các hoạt động sao chép [FLT: 1] với nhiều bản sao song song. Chiến lược phân vùng (theo ngày, hash, hoặc vùng) cải tiến thông qua. Hãy dùng [t2] di chuyển qua kho lưu trữ [FLT:] để cho phép lời tuyên bố đa hợp pháp hay igh hay ips I ith cho phép hàng lớn vào Syzare. [FT: T] Trong khi chạy bộ nhớ [Ft] [FT] và nếu cần thiết.

Độ phức tạp chuyển dạng dữ liệu

Hệ thống di sản thường có các bảng phân cấp, dữ liệu cơ bản, hoặc định dạng tập tin tùy thích. Hãy dùng để tìm lý luận về sự tiến hóa cho Python/Scala- biến đổi, hoặc dùng Hàm [FLT:] [FLT: 3] cho việc làm ăn sáng. Để tiến hóa, hãy xem xét việc đọc Hồ [FL: FL] [FL: 5] vào một hồ cấu trúc mà cấu trúc được hỗ trợ bởi linh kiện.

An ninh và lãnh đạo trong lúc chuyển đến

Thu nhỏ phơi nắng dữ liệu nhạy cảm bằng cách dùng Cổng Khóa Azure để xác định. Tính năng [FLT:] [FLN-LT:] [FLT:] mặt nạ trong Azure] nếu môi trường cần phải che mờ PII. Hãy dùng [FT:4] Chính sách [FL: t] [FL:5] để thực thi HTTPS và phiên bản. Giữ nguyên một bản [L: bản [L] trong AzUM] Bản ghi chú [Fud].

Trường hợp thành công thật trên thế giới

  • Công ty Phục hồi: Đánh giá một hệ thống kiểm kê 20 tuổi đến cơ sở dữ liệu Azure L. ADF xử lý hàng đêm, và dữ liệu bản đồ lưu trữ dữ liệu lịch sử. Di trú hoàn tất trong 6 tuần với 99.9% độ chính xác.
  • Nhà cung cấp Heubre:) đã di chuyển dữ liệu EHR từ một cơ sở dữ liệu tiên tri trên trang web đến Azure Synapse. Dùng ADF với chính mình IR để bơm hàng triệu hồ sơ bệnh nhân mỗi ngày, áp dụng mã hóa và kiểm toán HIPAA-A.
  • Công ty Nhân tạo:) Dữ liệu thống nhất từ SAP ECC, máy chủ di sản (z/OS) và máy phục vụ hệ thống con chạy vào một hồ dữ liệu duy nhất Azure. ADF thiết lập một di trú đa giai đoạn mà không làm cản trở hệ thống sản xuất.

So sánh ADF với những phương pháp khác

Trong khi Nhà máy dữ liệu Azuure vượt trội tại sự dàn dựng có thể có mã hóa, không mã hóa, những công cụ khác có thể phù hợp với những nhu cầu cụ thể:

  • Dịch vụ Hợp nhất máy phục vụ XLS: ) tốt nhất cho các tổ chức đã đầu tư vào ngăn xếp Microsoft DI, nhưng cần thêm sự quản lý cơ sở hạ tầng.
  • Phòng thu dữ liệu dữ liệu Azure + dbt: [FLT: 1] nhiều hơn nữa tâm phát triển, hữu ích khi chuyển đổi logic là phức tạp và cần kiểm soát phiên bản.
  • Công cụ đã được thu thập (nămran, Stitch): ) đề nghị thiết lập đơn giản hơn cho nguồn SaaS nhưng có thể thiếu sự biến đổi tiên tiến và sự kết hợp bản địa Azure.

ADF đánh dấu sự cân bằng chặt chẽ giữa việc sử dụng, sự hòa nhập hệ sinh thái bản địa Azure, và kiểm soát cấp độ kinh doanh.

See a detailed comparison of Azure Data Factory vs. other migration tools →

Những thực hành tốt nhất để làm cho dễ uốn nắn

  • Ngôi sao nhỏ: Chứng minh đường ống với một bảng duy nhất trước khi phóng to lên đến hàng trăm.
  • Dùng tham số và siêu dữ liệu [FLT: 1] xây dựng lại đường ống có thể sử dụng được, được điều khiển bởi các bảng cấu hình.
  • Trình biên tập có báo động: thiết lập ) Trình theo dõi [FLT:] bảng điều khiển cho sức khỏe và chi phí ống dẫn.
  • Plan for Rollback:) Giữ cho hệ thống di sản được truy cập đến khi hoàn tất khả năng xác thực.
  • Mọi thứ [FLT: 1) Giữ dòng dõi dữ liệu, sơ đồ ống dẫn và các quy trình sai sót.

Kết luận

Hệ thống dữ liệu Azure là một nền tảng mạnh mẽ, có khả năng chuyển hóa đám mây để hiện đại hóa cơ sở hạ tầng dữ liệu của họ với sự tự tin. bằng cách theo dõi một phương pháp tiếp cận giai đoạn và đòn bẩy của các tính năng tiên tiến của ADF, các doanh nghiệp có thể đạt được mức tối thiểu thời gian thấp, chi phí thấp hơn, và một con đường rõ ràng để tạo ra sự thay đổi dựa trên phân tích. khi hệ thống tiếp tục phá hủy dưới các yêu cầu hiện đại, ADF cung cấp một hệ thống cung cấp dữ liệu sẵn sàng cho các tài sản trong tương lai.