Hồi quy tuyến tính là một thuật toán học có giám sát được sử dụng để tính toán các mối quan hệ tuyến tính giữa đầu vào (X) và đầu ra (Y).
Nội dung chính
1. Các bước liên quan đến hồi quy tuyến tính thông thường là:
Giai đoạn đào tạo: Tính toán O để giảm thiểu chi phí.
Dự đoán đầu ra: cho điểm truy vấn đã x cho,
Như rõ ràng từ hình ảnh bên dưới, thuật toán này không thể được sử dụng để đưa ra dự đoán khi tồn tại mối quan hệ phi tuyến tính giữa X và Y. Trong những trường hợp như vậy, hồi quy tuyến tính có trọng số cục bộ được sử dụng.
Hồi quy tuyến tính có trọng số cục bộ:
Hồi quy tuyến tính có trọng số cục bộ là một thuật toán không tham số, có nghĩa là, mô hình không học một tập hợp các tham số cố định như được thực hiện trong hồi quy tuyến tính thông thường. Các tham số thay vì được tính riêng cho từng điểm truy vấn. Trong khi tính toán, “ưu tiên” cao hơn được đưa ra cho các điểm trong tập huấn luyện nằm ở vùng lân cận so với các điểm nằm ở xa.
Chi phí Hàm được sửa đổi là:
trong đó, w(i) là “trọng số” không âm được liên kết với x(i) điểm rèn luyện.
Đối với x(i) nằm gần điểm x truy vấn hơn, giá trị của w(i) là lớn, trong khi đối với x(i) nằm ở xa giá trị của là nhỏ.
Một lựa chọn điển hình w(i) là:
trong đó, T được gọi là tham số băng thông và kiểm soát tốc độ giảm theo W(i) khoảng cách từ x
Rõ ràng, |x(i) – x| nếu là nhỏ w(i) gần bằng 1 và nếu |x(i) – x| lớn w(i) gần bằng 0.
Do đó, các điểm tập hợp đào tạo nằm gần điểm truy vấn đóng góp nhiều hơn vào j(0) chi phí so với các điểm nằm ở xa x.
Ví dụ
Hãy xem xét một điểm truy vấn x = 5,0 và cho x^(1)và x^(2) là hai điểm trong tập huấn luyện sao cho x^(1)= 4,9 và x^(2)= 3,0.
Sử dụng công thức với W^(i)= 0,5:
Do đó, các trọng số giảm theo cấp số nhân khi khoảng cách giữa x và x^(i) tăng lên và do đó, sự đóng góp của sai số trong dự đoán đối với x^(i) chi phí.
Do đó, trong khi tính toán 0, chúng ta tập trung nhiều hơn vào việc giảm bớt các điểm nằm gần điểm truy vấn hơn (có giá trị lớn hơn w^(i)).
2. Các bước liên quan đến hồi quy tuyến tính có trọng số cục bộ là:
Tính toán để giảm thiểu chi phí.
Dự đoán đầu ra: cho điểm truy vấn đã cho,
Những điểm cần nhớ:
- Hồi quy tuyến tính có trọng số cục bộ là một thuật toán học có giám sát.
- Nó là một thuật toán phi tham số.
- Không có giai đoạn đào tạo. Tất cả công việc được thực hiện trong giai đoạn thử nghiệm / trong khi đưa ra dự đoán.
Cài ứng dụng cafedev để dễ dàng cập nhật tin và học lập trình mọi lúc mọi nơi tại đây.
Nguồn và Tài liệu tiếng anh tham khảo:
Tài liệu từ cafedev:
- Full series tự học Python từ cơ bản tới nâng cao tại đây nha.
- Tự học ML bằng Python từ cơ bản tới nâng cao.
- Ebook về python tại đây.
- Các series tự học lập trình MIỄN PHÍ khác
- Nơi liên hệ hợp tác hoặc quảng cáo cùng Cafedevn tại đây.
Nếu bạn thấy hay và hữu ích, bạn có thể tham gia các kênh sau của cafedev để nhận được nhiều hơn nữa:
Chào thân ái và quyết thắng!
 và đầu ra (Y).){kind=link}