Trong phần khách mời đặc biệt này, Aparna Dhinakaran, Giám đốc sản phẩm của Arize AI, giải thích năm quan niệm sai lầm lớn nhất xung quanh khả năng quan sát của máy học. Nghiên cứu Machine Learning (ml) là một công ty khởi nghiệp tập trung vào ML Observability. Aparna trước đây là kỹ sư ML tại Uber, Apple và Tubemogul (được Adobe mua lại).
Trong thời gian làm việc tại Uber, cô đã xây dựng một số nền tảng Cơ sở hạ tầng ML cốt lõi bao gồm cả Michaelangelo. Cô có bằng cử nhân từ chương trình Khoa học Máy tính và Kỹ thuật Điện của Berkeley, nơi cô đã xuất bản nghiên cứu với nhóm Nghiên cứu AI của Berkeley. Cô ấy đang nghỉ việc lấy bằng Tiến sĩ Thị giác Máy tính. chương trình tại Đại học Cornell.
Trong năm qua, chúng tôi đã dành vô số giờ cùng các kỹ sư Machine Learning (ml) để hiểu và cải thiện kết quả của các sáng kiến máy học của họ.
Từ những công ty mới thành lập đang xây dựng toàn bộ doanh nghiệp của họ bằng cách sử dụng ML cho đến một số tổ chức tài chính lớn nhất thế giới, các kỹ thuật ML đang ngày càng cung cấp năng lượng cho các phần công nghệ quan trọng mà mọi người tương tác hàng ngày.
Bất chấp các khoản đầu tư lớn vào Machine Learning (ml), chúng tôi vẫn đang trong giai đoạn thử nghiệm cao và tỷ lệ thành công rất khác nhau giữa các ứng dụng.
Một câu hỏi phổ biến mà chúng tôi nhận được từ khách hàng là: Một khi các mô hình trên thế giới đưa ra quyết định, làm thế nào để chúng tôi đảm bảo rằng những công nghệ này đang thực sự hoạt động? Sự thật là, việc cung cấp liên tục các mô hình ML chất lượng cao đã khó, và đảm bảo các mô hình này tiếp tục hoạt động tốt trong thời gian dài trong quá trình sản xuất còn khó hơn.
ML Khả năng quan sát là chìa khóa để thu hẹp khoảng cách này. Khả năng quan sát ML là khả năng cơ bản để xem xét hiệu suất của mô hình ML của bạn để tìm hiểu sâu vấn đề đang xảy ra và giải quyết vấn đề cơ bản. Do đó, khả năng quan sát ML cho phép các nhóm liên tục cung cấp các kết quả chất lượng cao từ phòng nghiên cứu thông qua quá trình sản xuất.
Thật không may, sự xuất hiện của các công cụ khả năng quan sát ML đã không dẫn đến một cuốn sách hay về việc phải làm gì khi mô hình của bạn hoạt động thất thường trong phòng thí nghiệm hoặc trong quá trình sản xuất. Do tính chất phức tạp của nhiều tình huống ứng dụng Machine Learning (ml), mỗi tình huống có một tập hợp phức tạp riêng, không có một kích thước phù hợp với tất cả các giải pháp cho tất cả các nhóm.
Nếu chúng ta nghĩ về nó, điều này không có gì đáng ngạc nhiên vì thường việc sử dụng các công nghệ mới liên quan đến việc tìm kiếm qua các lãnh thổ chưa được thăm dò với rất nhiều ngã rẽ và sai lầm.
Khi các công cụ xuất hiện để tạo điều kiện thuận lợi cho ba giai đoạn của quy trình làm việc học máy – chuẩn bị dữ liệu, xây dựng mô hình và sản xuất – thì các nhóm thường phát triển các quan niệm sai lầm khi họ cố gắng tìm hiểu không gian Cơ sở hạ tầng ML đông đúc, khó hiểu và phức tạp. Có vẻ như đáng giá khi loại bỏ một vài điều phổ biến nhất trong không gian khả năng quan sát Machine Learning (ml).
Dưới đây là năm quan niệm sai lầm lớn nhất:
1. Phát hiện ra một vấn đề là một nửa của trận chiến
Mặc dù nhiều người thường nói rằng biết được là một nửa trận chiến khi giải quyết một vấn đề với mô hình của bạn, nhưng biết được rằng có điều gì đó đang xảy ra chỉ đơn giản là trận chiến.
Giống như 90% tảng băng trôi nằm dưới mực nước, phần lớn các thách thức trong việc quản lý các hệ thống ML phức tạp không nằm ở việc hiểu rằng tảng băng trôi đang ở phía chân trời (theo dõi), mà vấn đề thực sự là những gì ẩn giấu bên dưới (khả năng quan sát).
Các nhóm dựa vào mô hình giám sát “đèn đỏ / đèn xanh” sẽ phải vật lộn để giữ cho các mô hình quan trọng của họ hoạt động tốt trong quá trình sản xuất do một số cách mà hiệu suất của mô hình có thể chậm đi sai hướng.
Với khả năng quan sát Machine Learning (ml), các nhóm có thể đẩy nhanh thời gian giải quyết bằng cách vượt ra ngoài việc biết một vấn đề tồn tại để hiểu tại sao vấn đề lại xuất hiện ngay từ đầu và cách giải quyết nó.
2. Vòng đời Machine Learning (ml) là tĩnh
Trong môi trường ML, các mô hình ML liên tục được cung cấp dữ liệu mà về cơ bản không phải là đầu vào tĩnh. Trên hết, một số mô hình được thiết kế để liên tục phát triển trong quá trình sản xuất, thường được gọi là mô hình trực tuyến.
Hơn nữa, nhiệm vụ mà một mô hình đang cố gắng thực hiện có thể thay đổi theo thời gian. Vào cuối ngày, tất cả chúng ta đang cố gắng xây dựng các mô hình phản ánh chính xác một số hiện tượng trong thế giới thực. Như hầu hết mọi người đều biết thay đổi là điều không thể tránh khỏi trong thế giới thực, và nghĩ khác đi là bạn đang tự đặt mình vào thất bại.
Bản chất năng động của các mô hình Machine Learning (ml) và môi trường mà họ hoạt động đòi hỏi các nhóm ML phải theo dõi chặt chẽ hiệu suất của mô hình để hiểu cách mô hình của họ phản ứng với việc thay đổi dữ liệu và nhiệm vụ thay đổi.
3. Khả năng quan sát Machine Learning (ml) chỉ là về sản xuất
Đúng là có nhiều vấn đề mà các nhóm gặp phải khi sử dụng ML trong sản phẩm của họ trong quá trình sản xuất; tuy nhiên, các nguyên tắc về khả năng quan sát ML cũng thực sự có thể giúp loại bỏ một số vấn đề này sớm hơn trong quá trình phát triển mô hình.
Khả năng quan sát ML cũng có thể được áp dụng trong các bước đào tạo và xác nhận của quá trình xây dựng mô hình để hiểu rõ hơn về cách các mô hình của bạn đang mắc lỗi. Ví dụ, các công cụ khả năng quan sát có thể giúp dự đoán liệu các mô hình có đáp ứng được các kỳ vọng về chất lượng và hiệu suất khi được đưa vào sản xuất hay không.
Trên hết, khả năng quan sát Machine Learning (ml) có thể cung cấp các tín hiệu ban đầu về thành công hoặc các vấn đề bề mặt bằng cách so sánh hiệu suất của mô hình của bạn với hiệu suất của các phiên bản mô hình trước đó. Ngoài ra, chúng cũng có thể giúp cung cấp các cụm ví dụ mà bạn đang hoạt động kém, cung cấp các đường dẫn để cải thiện trước khi bạn triển khai mô hình của mình.
Các công cụ khả năng quan sát cho phép các nhóm machine learning (ml) thiết lập một tham chiếu cơ bản để so sánh hiệu suất sản xuất với (mô hình có hoạt động theo cách mà tôi nghĩ trong quá trình đào tạo / xác nhận không?). Nếu không, khả năng quan sát trong mô hình của bạn có thể nhanh chóng giúp bạn phát hiện ra các vấn đề và tìm ra gốc rễ tại sao vấn đề lại nảy sinh ngay từ đầu.
4. Khả năng quan sát machine learning (ml) chỉ quan trọng khi bạn có các mô hình thời gian thực / phục vụ trong thời gian thực
Mặc dù nhiều ứng dụng tận hưởng sự thật cơ bản theo thời gian thực cho các dự đoán của mô hình của họ, nhưng dữ liệu hiệu suất cho một số mô hình không có sẵn ngay lập tức do bản chất của ứng dụng.
Ví dụ, trong hoạt động cho vay tiêu dùng, không thể tiếp cận hiệu suất mô hình thời gian thực vì có sự chậm trễ giữa thời điểm khoản vay được phê duyệt và khi khách hàng trả hết hoặc vỡ nợ.
Trong ngành thẻ tín dụng, các hệ thống Machine Learning (ml) được đào tạo để phát hiện các giao dịch thẻ tín dụng bất thường, chẳng hạn như các giao dịch mua lớn hoặc bất thường về địa lý. Trong nhiều trường hợp; tuy nhiên, hoạt động gian lận không bị gắn cờ cho đến khi thẻ tín dụng được báo cáo là bị đánh cắp. Điều này có thể xảy ra vài ngày, vài tuần hoặc thậm chí vài tháng sau khi giao dịch bị xóa.
Những tình huống này và một số kịch bản khác, nêu bật những thách thức mà chủ sở hữu mô hình phải đối mặt khi có một khoảng thời gian đáng kể để nhận kết quả dự đoán về mô hình của họ.
Tuy nhiên, khả năng quan sát machine learning (ml) có thể khắc phục các hạn chế về độ trễ trong dữ liệu hiệu suất mô hình thông qua việc sử dụng các số liệu proxy có thể xác định vị trí / tại sao các phần dự đoán có vấn đề phát sinh.
Ví dụ: khi dự đoán người tiêu dùng nào có nhiều khả năng vỡ nợ nhất đối với khoản nợ thẻ tín dụng của họ, một số liệu ủy nhiệm tiềm năng cho sự thành công có thể là tỷ lệ người tiêu dùng thanh toán trễ.
Các chỉ số này và các chỉ số proxy khác đóng vai trò là các tín hiệu thay thế có thể tương quan với sự thật cơ bản mà bạn đang cố gắng ước tính và đóng vai trò như một công cụ mạnh mẽ trong việc cung cấp chỉ báo cập nhật hơn về cách mô hình của bạn đang hoạt động.
5. Bạn cần sự thật về mặt bằng sản xuất
Đối với nhiều mô hình Machine Learning (ml) sản xuất, sự thật nền tảng được hiển thị cho mọi dự đoán, cung cấp khả năng hiển thị theo thời gian thực về hiệu suất của mô hình. Ví dụ: trong quảng cáo kỹ thuật số, chủ sở hữu mô hình có thể phân tích độ chính xác của các dự đoán của thử nghiệm quảng cáo A / B và kết quả có thể được sử dụng để tối ưu hóa các chiến dịch dựa trên mức độ tương tác của người dùng.
Tuy nhiên, trong trường hợp không có sự thật cơ sở, các nhóm vẫn có thể đánh giá hiệu suất của mô hình theo thời gian bằng cách sử dụng các phương pháp proxy sau:
Thuê người chú thích hoặc người gắn nhãn để cung cấp phản hồi về hiệu suất của mô hình của họ. Cách tiếp cận này có thể tốn kém và mất thời gian; tuy nhiên, phần thưởng cho việc có một tập hợp dữ liệu sự thật mặt đất chất lượng cao là rất lớn.
Các chỉ số hiệu suất trễ này không hoàn toàn tốt trong việc báo hiệu sự hồi quy hiệu suất mô hình đột ngột trong ứng dụng thời gian thực, chúng cung cấp phản hồi có ý nghĩa để đảm bảo rằng hiệu suất của mô hình đang đi đúng hướng theo thời gian. kết quả dự đoán.
Drift có thể đóng vai trò như một đại diện cho hiệu suất và cảnh báo cho nhóm về hành vi của mô hình sai lệch ngay cả khi không có sự thật cơ bản nào. Một số chỉ số bạn có thể sử dụng để định lượng độ lệch dự đoán của mình là số liệu khoảng cách phân phối, chẳng hạn như Phân kỳ Kullback-Leibler, Chỉ số ổn định dân số (PSI), Phân kỳ Jensen-Shannon và các chỉ số khác.
Khi khả năng quan sát Machine Learning (ml) nổi lên như một phần cơ sở còn thiếu của cơ sở hạ tầng ML, các ứng dụng và lợi ích của nó liên tục được tiết lộ. Với tư cách là những người thực hành, chúng tôi mời bạn khám phá cách có thể sử dụng khả năng quan sát ML để cung cấp và liên tục cải tiến các mô hình một cách tự tin và đạt được lợi thế cạnh tranh về ML.
Từ khóa:
- Machine learning
- Machine Learning Python
- Machine Learning cơ bản
- Machine learning algorithms
- Machine learning vs deep learning
- Machine learning Coursera
- Machine Learning tutorial
- Machine learning AI
Nội dung liên quan:
- Cách giám sát đối thủ cạnh tranh của bạn để tăng chuyển đổi
- 13 trong số những sai lầm khi sử dụng Instagram mà các nhà tiếp thị phải tránh
- 21 công cụ quảng cáo trên Facebook sẽ giúp công việc của bạn dễ dàng hơn
