Kỹ Thuật Dữ Liệu 101 – Phương pháp tiếp cận thực tế cho người mới bắt đầu

Đây là bài viết về Kỹ thuật Dữ liệu mà bạn tìm thấy khi tìm kiếm chủ đề trên Google và được chuyển hướng sau khi nhấp vàoCảm thấy May mắn.

Ngoài ra, bài viết này là quan điểm của một kỹ sư phát triển web có kinh nghiệm bắt đầu một chủ đề mới trong sự nghiệp của mình, điều đó có nghĩa:
đây là nghiên cứu của tôi, nếu bạn có điều gì muốn thêm, hãy thoải mái dạy tôi trong phần bình luận bên dưới!
Tôi rất muốn học hỏi thêm!

Mục lục

• 1. Lời mở đầu
• 2. Ấn tượng đầu tiên: Khám phá Cấu trúc của Bruin
  • 2.1.
    Tệp cốt lõi:.bruin.yml
  • 2.2.
    Pipeline:
    Apache Airflow Dễ dàng hơn nhiều
  • 2.3.
    Tài sản:
    Các Khối xây dựng của Sản phẩm Dữ liệu
  • 2.4.
    Chính sách:
    Thực thi Chất lượng và Quản trị
  • 2.5.
    Bảng thuật ngữ:
    Nói cùng một Ngôn ngữ
• 3. Xây dựng Pipeline Đầu tiên của Chúng tôi
  • 3.1.
    Bước 1:
    Thu thập từ Nguồn của Bạn đến Hồ Dữ liệu
  • 3.2.
    Bước 2:
    Định dạng và Xác thực Dữ liệu (Lớp Staging)
  • 3.3.
    Bước 3:
    Thiết kế Lớp Phân tích (Mart)
• 4. Luồng Dữ liệu Xem trước Đầy đủ
• 5. Tiện ích VS Code Mạnh mẽ
• 6. Kết luận

1. Lời mở đầu

Tôi phải thừa nhận:
bất cứ khi nào ai đó nhắc đếnKỹ thuật Dữ liệu, tôi thường bỏ qua.
Nó luôn nghe có vẻ như một thứ gì đó phức tạp đến mức không tưởng — gần nhưkỳ diệu.

Tuần này, tôi cuối cùng đã quyết định lao vào.
Tôi nghĩ nó sẽ khá đơn giản, nhưng không mất nhiều thời gian để nhận ra cái hố thỏ sâu đến mức nào.

Lĩnh vực này không chỉ là một vài tập lệnh hoặc truy vấn SQL;
đó là toàn bộhệ sinh tháicủa các công cụ, khái niệm và trách nhiệm liên kết với nhau tạo thành xương sống của các hệ thống dữ liệu hiện đại.

Các khái niệm như:

• Danh mục và Quản trị Dữ liệu:hiểu ai sở hữu dữ liệu, cách đảm bảo chất lượng và cách theo dõi nguồn gốc.
• Điều phối:phối hợp các phụ thuộc và quy trình làm việc với các công cụ nhưApache AirflowhoặcDagster.
• Biến đổi (ETL/ELT):làm sạch và chuẩn hóa dữ liệu bằng các công cụ nhưdbthoặcFivetran.
• Thu thập và Truyền phát:kết nối các nguồn và di chuyển dữ liệu trong thời gian thực vớiKafka,Airbyte, hoặcConfluent Cloud.
• Khả năng quan sát và Chất lượng:giám sát sức khỏe dữ liệu với các giải pháp nhưMonte CarlovàDatafold.

Đối với mỗi bài viết được nhấp, chỉ cần mở ra một thế giới mới của các công cụ, từ ngữ, khung, kiến trúc và phương pháp hay nhất.
Và bằng cách nào đó, tất cảphải hoạt động cùng nhau— quản trị, điều phối, biến đổi, thu thập, khả năng quan sát, cơ sở hạ tầng.

Là một nhà phát triển, tôi quen với việc học mộtngôn ngữvà mộtkhungvà sau đó bắt tay vào làm việc.
Nhưng trong kỹ thuật dữ liệu, nó khác.

Đó là về việc hiểu toàn bộhệ sinh tháivà cách mỗi phần kết nối với phần tiếp theo.

Sau nhiều giờ đọc tài liệu, theo đuổi các kho lưu trữ GitHub và nhảy qua lại giữa các công cụ, bài viết và vô số định nghĩa, cuối cùng tôi đã tìm thấycông cụlàm mọi thứ trở nên rõ ràng —Bruin.

Hãy tưởng tượng một khung duy nhất mà:

• Pipeline dưới dạng Mã— Mọi thứ tồn tại trong văn bản được kiểm soát phiên bản (YAML, SQL, Python).
  Không có giao diện người dùng hoặc cơ sở dữ liệu ẩn.
  Có thể tái tạo, xem xét và tự động hóa.
• Đa Ngôn ngữ Tự nhiên— Hỗ trợ gốc cho SQL và Python, cộng với khả năng cắm các tệp nhị phân hoặc container cho các trường hợp sử dụng phức tạp hơn.
• Pipeline Có thể Kết hợp— Kết hợp các công nghệ, nguồn và đích trong một luồng liền mạch — không có mã kết dính, không có thủ thuật.
• Không Ràng buộc— 100% mã nguồn mở (được cấp phép Apache) CLI chạy ở mọi nơi:
  cục bộ, trong CI hoặc trong sản xuất.
  Bạn giữ toàn quyền kiểm soát pipeline và dữ liệu của mình.
• Được xây dựng cho Nhà phát triển và Chất lượng Dữ liệu— Chạy cục bộ nhanh, kiểm tra tích hợp và vòng phản hồi nhanh chóng.
  Các sản phẩm dữ liệu được kiểm tra, đáng tin cậy và dễ dàng triển khai.

…và nóphù hợp với tất cả các khái niệm cốt lõi về Kỹ thuật Dữ liệumà tôi vừa đề cập trước đó.

Tôi thừa nhận — tôi là kiểu người chấp nhậnsự lười biếng hiệu quả.
Nếu có cách để làm nhiều hơn với ít công cụ hơn và ít ma sát hơn, tôi sẽ tham gia.

Vì vậy, trước khi chúng ta bắt đầu, đây là kế hoạch:

Trong hầu hết các thiết lập, dữ liệu chảy từ cơ sở dữ liệu OLTP → thu thập → hồ/kho dữ liệu → biến đổi → mart → bảng điều khiển phân tích.

Các công cụ nhưAirbytexử lý việc thu thập,dbtxử lý biến đổi,Airflowđiều phối các phụ thuộc — và Bruin kết hợp các lớp đó
thành một khung thống nhất.

Bài viết này sẽ hướng dẫn quacác nguyên tắc cơ bản của Kỹ thuật Dữ liệu, đồng thời khám phá cáchBruinkết hợp tất cả chúng lại với nhau thông qua một pipeline đơn giản, trong thế giới thực.

2. Ấn tượng đầu tiên: Khám phá Cấu trúc của Bruin

Tôi thành thật — tôi từng có một chút định kiến với các dự án Khoa học/Kỹ thuật Dữ liệu.
Mỗi khi tôi nhìn vào một dự án, nó cảm thấy lộn xộn và không có cấu trúc, với các tệp và sổ ghi chép nằm rải rác khắp nơi.
Xuất thân từ nền tảng phát triển phần mềm, sự hỗn loạn đó luôn làm tôi khó chịu.

Nhưng một khi tôi bắt đầu nhìn vàocấu trúc dự án của Bruin, nhận thức đó hoàn toàn thay đổi.
Mọi thứ đột nhiên cảm thấycó tổ chức và có chủ đích.
Khung tự nhiên thực thi cấu trúc thông qua các lớp của nó — và một khi bạn tuân theo chúng, mọi thứ bắt đầu có ý nghĩa.

Ví dụ:
Cấu trúc Dự án

├── duckdb.db ├── ecommerce-mart │ ├── assets │ │ ├── ingestion │ │ │ ├── raw.customers.asset.yml │ │ │ ├── raw.order_items.asset.yml │ │ │ ├── raw.orders.asset.yml │ │ │ ├── raw.products.asset.yml │ │ │ └── raw.product_variants.asset.yml │ │ ├── mart │ │ │ ├── mart.customers-by-age.asset.py │ │ │ ├── mart.customers-by-country.asset.yml │ │ │ ├── mart.product_performance.sql │ │ │ ├── mart.sales_daily.sql │ │ │ └── mart.variant_profitability.sql │ │ └── staging │ │ ├── stg.customers.asset.yml │ │ ├── stg.order_items.sql │ │ ├── stg.orders.sql │ │ ├── stg.products.sql │ │ └── stg.product_variants.sql │ └── pipeline.yml ├── glossary.yml ├── policy.yml └── .bruin.yml 

bruin run ecommerce/pipeline.yml --config-file /path/to/.bruin.yml 

môi_trường_mặc_định:mặc_địnhcác_môi_trường:mặc_định:các_kết_nối:postgres:-tên:pg-mặc_địnhtên_người_dùng:postgres# (cũng được mã hóa cứng)mật_khẩu:${PG_PASSWORD}máy_chủ:${PG_HOST}cổng:${PG_PORT}cơ_sở_dữ_liệu:${PG_DATABASE}duckdb:-tên:duckdb-mặc_địnhđường_dẫn:duckdb.db

- ecommerce-mart/ ├─ pipeline.yml -> bạn đang ở đây └─ assets/ ├─ some-asset.sql ├─ definitely-an-asset.yml └─ another-asset.py 

name:product_ecommerce_martsschedule:daily# liên quan đến triển khai Bruin Clouddefault_connections:duckdb:"duckdb-default"postgres:"pg-default"

# raw.orders.asset.ymlname:raw.orderstype:ingestrdescription:Ingest OLTP orders from Postgres into the DuckDB raw layer.parameters:source_connection:pg-defaultsource_table:"public.orders"destination:duckdb

# raw.order_items.asset.ymlname:raw.order_itemstype:ingestrdescription:Ingest OLTP order_items from Postgres into the DuckDB raw layer.depends:-raw.orders# declares a dependency on the 'raw.orders' assetparameters:source_connection:pg-defaultsource_table:"public.order_items"destination:duckdb

graph TD raw.orders --> raw.order_items; 

rulesets:-name:standardselector:-path:.*/ecommerce/.*rules:-asset-has-owner-asset-name-is-lowercase-asset-has-description

bruin validate ecommerce # Validating pipelines in 'ecommerce' for 'default' environment...# Pipeline:
ecommerce_pg_to_duckdb (.)# raw.order_items (assets/ingestion/raw.order_items.asset.yml)# └── Asset must have an owner (policy:standard:asset-has-owner)

custom_rules:-name:asset-has-ownerdescription:every asset should have an ownercriteria:asset.Owner != ""

entities:Customer:description:A registered user or business in our platform.attributes:ID:type:integerdescription:Unique customer identifier.

# raw.customers.asset.ymlname:raw.customerstype:ingestrcolumns:-name:customer_idextends:Customer.ID

touchassets/ingestion/raw.customers.asset.yml 

# assets/ingestion/raw.customers.asset.ymlname:raw.customerstype:ingestrdescription:Ingest OLTP customers from Postgres into the DuckDB raw layer.parameters:source_connection:pg-defaultsource_table:"public.customers"destination:duckdbcolumns:-name:idtype:integerprimary_key:truechecks:-name:not_null-name:unique-name:emailtype:stringchecks:-name:not_null-name:unique-name:countrytype:stringchecks:-name:not_null

bruin run ecommerce/assets/ingestion/raw.customers.asset.yml 

Analyzed the pipeline 'ecommerce_pg_to_duckdb' with 13 assets. Running only the asset 'raw.customers' Pipeline: ecommerce_pg_to_duckdb (../../..) No issues found ✓ Successfully validated 13 assets across 1 pipeline, all good. Interval: 2025-10-12T00:00:00Z - 2025-10-12T23:59:59Z Starting the pipeline execution... PASS raw.customers ........ bruin run completed successfully in 2.095s ✓ Assets executed 1 succeeded 

bruin query --connection duckdb-default --query"SELECT 
* FROM raw.customers LIMIT 5"

┌────┬───────────────────┬───────────────────────────┬───────────┬──────────────────┬──────────────────────────────────────┬──────────────────────────────────────┐ │ ID │ FULL_NAME │ EMAIL │ COUNTRY │ CITY │ CREATED_AT │ UPDATED_AT │ ├────┼───────────────────┼───────────────────────────┼───────────┼──────────────────┼──────────────────────────────────────┼──────────────────────────────────────┤ │ 1 │ Allison Hill │ donaldgarcia@example.net │ Uganda │ New Roberttown │ 2025-10-10 18:19:13.083281 +0000 UTC │ 2025-10-10 00:42:59.71112 +0000 UTC │ │ 2 │ David Guzman │ jennifermiles@example.com │ Cyprus │ Lawrencetown │ 2025-10-10 07:52:47.643619 +0000 UTC │ 2025-10-10 06:23:42.864287 +0000 UTC │ │ 3 │ Caitlin Henderson │ eric51@example.org │ Hong Kong │ West Melanieview │ 2025-10-10 21:06:02.639412 +0000 UTC │ 2025-10-10 19:23:17.540169 +0000 UTC │ │ 4 │ Monica Herrera │ smiller@example.net │ Niger │ Barbaraland │ 2025-10-11 01:33:43.032929 +0000 UTC │ 2025-10-10 02:29:27.22515 +0000 UTC │ │ 5 │ Darren Roberts │ wyattmichelle@example.com │ Fiji │ Reidstad │ 2025-10-10 12:05:18.734246 +0000 UTC │ 2025-10-10 00:51:13.406526 +0000 UTC │ └────┴───────────────────┴───────────────────────────┴───────────┴──────────────────┴──────────────────────────────────────┴──────────────────────────────────────┘ 

touchecommerce/assets/staging/stg.customers.asset.sql 

/
* @bruin name:
stg.customers type:
duckdb.sql materialization:
type:
table depends:

- raw.customers checks:
columns:
id:

- not_null email:

- not_null 
- unique country:

- not_null @bruin */SELECTid::INTAScustomer_id,COALESCE(TRIM(email),'')ASemail,COALESCE(TRIM(country),'Unknown')AScountry,created_at,updated_atFROMraw.customersWHEREemailISNOTNULL;

bruin validate ecommerce/assets/staging/stg.customers.asset.sql 

Pipeline: ecommerce_pg_to_duckdb (.) No issues found ✓ Successfully validated 13 assets across 1 pipeline, all good. 

bruin run ecommerce/assets/staging/stg.customers.asset.sql 

bruin run ecommerce/assets/staging/stg.customers.asset.sql Analyzed the pipeline 'ecommerce_pg_to_duckdb' with 15 assets. Running only the asset 'stg.customers' Pipeline: ecommerce_pg_to_duckdb (../../..) No issues found ✓ Successfully validated 15 assets across 1 pipeline, all good. Interval: 2025-10-12T00:00:00Z - 2025-10-12T23:59:59Z Starting the pipeline execution... [21:28:16] Running: stg.customers [21:28:16] Finished: stg.customers (41ms) ================================================== PASS stg.customers bruin run completed successfully in 41ms ✓ Assets executed 1 succeeded 

bruin query "SELECT country, COUNT(*) AS customers FROM stg.customers GROUP BY country ORDER BY customers DESC;"

country | customers --------------+----------- BRAZIL | 420 GERMANY | 255 UNITED STATES | 198 ARGENTINA | 190 SOUTH KOREA | 182 

touchecommerce/assets/mart/mart.customers_by_country.asset.sql 

/
* @bruin name:
mart.customers_by_country type:
duckdb.sql materialization:
type:
table depends:

- stg.customers @bruin */SELECTcountry,COUNT(*)AStotal_customersFROMstg.customersGROUPBYcountryORDERBYtotal_customersDESC;

bruin run ecommerce/assets/mart/mart.customers_by_country.asset.sql 

Pipeline: ecommerce_pg_to_duckdb (.) Running mart.customers_by_country ✓ Table materialized successfully in DuckDB 

bruin query --connection duckdb-default --query"SELECT 
* FROM mart.customers_by_country LIMIT 5;"

┌───────────────┬───────────────────┐ │ COUNTRY │ TOTAL_CUSTOMERS │ ├───────────────┼───────────────────┤ │ BRAZIL │ 420 │ │ GERMANY │ 255 │ │ UNITED STATES │ 198 │ │ ARGENTINA │ 190 │ │ SOUTH KOREA │ 182 │ └───────────────┴───────────────────┘ 

touchecommerce/assets/mart/mart.customers_by_age.asset.sql 

/
* @bruin name:
mart.customers_by_age type:
duckdb.sql materialization:
type:
table depends:

- stg.customers @bruin */WITHsrcAS(SELECTCASEWHENage<25THEN'18-24'WHENageBETWEEN25AND34THEN'25-34'WHENageBETWEEN35AND49THEN'35-49'ELSE'50+'ENDASage_groupFROMstg.customers)SELECTage_group,COUNT(*)AStotal_customersFROMsrcGROUPBYage_groupORDERBYtotal_customersDESC;

bruin run ecommerce/assets/mart/mart.customers_by_age.asset.sql 

bruin run ecommerce/assets/mart/mart.customers_by_age.asset.sql Analyzed the pipeline 'ecommerce_pg_to_duckdb' with 15 assets. Running only the asset 'mart.customers_by_age' Pipeline: ecommerce_pg_to_duckdb (../../..) No issues found ✓ Successfully validated 15 assets across 1 pipeline, all good. Interval: 2025-10-12T00:00:00Z - 2025-10-12T23:59:59Z Starting the pipeline execution... [21:10:24] Running: mart.customers_by_age [21:10:24] Finished: mart.customers_by_age (39ms) ================================================== PASS mart.customers_by_age bruin run completed successfully in 39ms ✓ Assets executed 1 succeeded 

bruin query --connection duckdb-default --query"SELECT 
* FROM mart.customers_by_age;"

┌─────────────┬───────────────────┐ │ AGE_GROUP │ TOTAL_CUSTOMERS │ ├─────────────┼───────────────────┤ │ 25-34 │ 460 │ │ 35-49 │ 310 │ │ 18-24 │ 250 │ │ 50+ │ 225 │ └─────────────┴───────────────────┘ 

graph TD raw.customers --> stg.customers stg.customers --> mart.customers_by_country stg.customers --> mart.customers_by_age