Việc sử dụng các công cụ AI trong quy trình làm việc của nhà phát triển ngày càng trở nên phổ biến, với các công cụ lập trình cặp dựa trên mô hình ngôn ngữ lớn được nhà cung cấp (ít nhất là họ) cho là cải thiện đáng kể tốc độ và hiệu quả của lập trình viên.
Tuy nhiên, mộtthử nghiệm ngẫu nhiên có đối chứng nhỏvề các công cụ AI cho thấy rằng trong các dự án phần mềm lớn, phức tạp và quan trọng (trên một triệu dòng mã), các nhà phát triển sử dụng AI không chỉ mất nhiều thời gian hơn so với những người không sử dụng mà còn giữ niềm tin sai lầm rằng AI giúp họ làm việc nhanh hơn.
Các tác giả củabài báocho biết các đánh giá về hiệu quả của AI thường không xem xétbối cảnhcông việc của nhà phát triển.
Ví dụ, trong các dự án lớn, rất ít nhiệm vụ
– như thêm tính năng mới hoặc gỡ lỗi mã hiện có
– tồn tại một cách riêng lẻ:
các nhà phát triển cần hiểu rõ về dự án tổng thể để công việc của họ không ảnh hưởng hoặc phá vỡ các tính năng khác.
Việc không đánh giá đúng rủi ro của mã chưa được kiểm duyệt đi vào các dự án lớn là điều mà các tiêu chuẩn đánh giá tự động không tính đến, khiến kết quả đánh giá được công bố trở nên không phù hợp trong nhiều trường hợp.
Thử nghiệm ngẫu nhiên có đối chứng (RCT) sử dụng 16 nhà phát triển có kinh nghiệm làm việc trên các kho mã nguồn mở lớn, họ được giao các vấn đề thực tế cần giải quyết để cải thiện phần mềm
– sửa lỗi, thêm tính năng mới và tái cấu trúc.
Nói cách khác, xử lý danh sách lỗi, yêu cầu tính năng và cải tiến chung luôn hiện diện trên bàn làm việc của mọi lập trình viên.
Người tham gia được chọn ngẫu nhiên để sử dụng hoặc không sử dụng công cụ AI mà họ tự chọn.
Các nhà phát triển sử dụng AI mất nhiều hơn 19% thời gian để hoàn thành nhiệm vụ so với nhóm đối chứng, trong khi người dùng AI vẫn tin rằng năng suất của họ nhanh hơn 20% so với lập trình thông thường không có AI.
Nhìn chung, các nhà phát triển nghĩ rằng công cụ AI sẽ cải thiện hiệu suất của họ về mặt thời gian lên đến 24%.
Sự chậm lại xuất hiện ở các loại nhiệm vụ khác nhau, trái ngược với các tiêu chuẩn đánh giá được công bố bởi nhà cung cấp AI lập trình cặp và kỳ vọng của nhà phát triển.
Các tác giả thừa nhận rằng việc sử dụng lâu dài một công cụ hoặc nền tảng duy nhất (trong trường hợp này là Cursor) có thể mang lại kết quả tốt hơn so với vài giờ sử dụng trong thử nghiệm, vì có thể có “hiệu ứng học tập mạnh” đối với AI về lâu dài.
Họ cũng thừa nhận rằng công nghệ này còn tương đối non trẻ và kết quả tốt hơn có thể đạt được khi các nền tảng này phát triển nhờ cải tiến lặp đi lặp lại từ nhà cung cấp, tiếp cận vớikho dữ liệuhọc tập lớn hơn, v.v.
Một trong những lý do chính dẫn đến việc giảm năng suất của nhà phát triển là nhu cầu kiểm tra, sửa đổi và gỡ lỗi mã đầu ra từ Cursor, điều này thường liên quan đến việc phải gửi nhiều truy vấn để giải quyết vấn đề ban đầu hoặc thu hẹp đầu ra kết quả.
Mã lệnh vốn ít biến đổi về phong cách và cấu trúc hơn so với văn bản thông thường, và do đó có vẻ hợp lý khi cho rằng đầu ra của AI sẽ ít sai sót hơn so với đầu ra dễ “ảo giác” của các AI ‘chính thống’.
Nhưng theo Baldur Bjarnason,viết vào năm 2023,tất cảđầu ra của AI đều là ảo giác
– nhưng với tư cách là con người, chúng ta có xu hướng tin tưởng vào những gì AI nói.
Mặt khác, máy tính và phần mềm hoàn toàn nhị phân:
một giải pháp hoặc là đúng hoặc là sai.
Và trong bối cảnh các dự án phần mềm lớn, ngay cả mã ‘đúng’ cũng có thể không phù hợp, không an toàn và được tạo ra bởi một hệ thống không biết đến các yếu tố quan trọng đang diễn ra ở nơi khác trong dự án.
Trong khi sử dụng trợ lý AI có thể mang lại cho nhà phát triển cảm giác về hiệu quả, trong nhiều trường hợp, việc sử dụng nó có lẽ là không khôn ngoan
– ít nhất là ở những nơi quan trọng.
Microsoft, một công ty có sản phẩm chạy trên phần lớn thế giới làm việc, đãtuyên bố đầy tự hàorằng 30-40% mã mới của họ được viết bởi AI.
Điều đó mang lại hy vọng tài chính cho tương lai của những người hoài nghi như Baldur Bjarnason.
“Nhưng…
điều tốt nhất vẫn chưa đến.
Vài năm nữa, khi hiệu ứng của bong bóng ‘AI’ cuối cùng tan biến…
ai đó sẽ được trả tiền để sửa chữa những thứ tệ hại mà nó để lại.”
(Nguồn ảnh:
“Spanner in the Works” của Kapungo được cấp phép theoCC BY-NC 2.0)
Xem thêm:Meta chỉ trích phán quyết DMA của EU là ‘không chính xác và bất hợp pháp’
