Các nhà nghiên cứu khoa học máy tính đã chứng minh rằng một kỹ thuật được sử dụng rộng rãi có tên là cắt tỉa mạng thần kinh có thể ảnh hưởng xấu đến hiệu suất của các mô hình học sâu, nêu chi tiết nguyên nhân gây ra các vấn đề về hiệu suất này và trình bày một kỹ thuật để giải quyết thách thức.
Học sâu là một loại trí tuệ nhân tạo có thể được sử dụng để phân loại mọi thứ, chẳng hạn như hình ảnh, văn bản hoặc âm thanh. Ví dụ, nó có thể được sử dụng để xác định các cá nhân dựa trên hình ảnh khuôn mặt.
>> Tham khảo: Nền tảng cảm biến để nghiên cứu hệ thống mạch máu trong ống nghiệm mở ra khả năng thử nghiệm thuốc.
Tuy nhiên, các mô hình học sâu thường yêu cầu nhiều tài nguyên máy tính để hoạt động. Điều này đặt ra những thách thức khi một mô hình học sâu được đưa vào thực tế cho một số ứng dụng.
Để giải quyết những thách thức này, một số hệ thống tham gia vào quá trình “cắt tỉa mạng lưới thần kinh”. Điều này làm cho mô hình học sâu trở nên nhỏ gọn hơn một cách hiệu quả và do đó có thể hoạt động trong khi sử dụng ít tài nguyên máy tính hơn.
“Tuy nhiên, nghiên cứu của chúng tôi cho thấy rằng việc cắt xén mạng này có thể làm giảm khả năng xác định một số nhóm của các mô hình học sâu”, Jung-Eun Kim, đồng tác giả của bài báo về công trình và là trợ lý giáo sư khoa học máy tính tại bang Bắc Carolina, cho biết. Trường đại học.
“Ví dụ: nếu một hệ thống bảo mật sử dụng học sâu để quét khuôn mặt của mọi người nhằm xác định xem họ có quyền truy cập vào một tòa nhà hay không, mô hình học sâu sẽ phải được làm nhỏ gọn để có thể hoạt động hiệu quả.
Điều này có thể hoạt động tốt trong hầu hết các trường hợp thời gian, nhưng việc cắt tỉa mạng cũng có thể ảnh hưởng đến khả năng nhận dạng một số khuôn mặt của mô hình học sâu.”
>> Tham khảo: Xác định cấu trúc của vật liệu anion.
Trong bài báo mới của họ, các nhà nghiên cứu đưa ra lý do tại sao việc cắt xén mạng có thể ảnh hưởng xấu đến hiệu suất của mô hình trong việc xác định các nhóm nhất định — mà tài liệu gọi là “các nhóm thiểu số” — và chứng minh một kỹ thuật mới để giải quyết những thách thức này.
Hai yếu tố giải thích cách cắt xén mạng có thể làm giảm hiệu suất của các mô hình học sâu.
Về mặt kỹ thuật, hai yếu tố này là: sự chênh lệch về định mức độ dốc giữa các nhóm; và sự chênh lệch trong các tiêu chuẩn Hessian liên quan đến sự không chính xác của dữ liệu của một nhóm.
Về mặt thực tế, điều này có nghĩa là các mô hình học sâu có thể trở nên kém chính xác hơn trong việc nhận dạng các danh mục hình ảnh, âm thanh hoặc văn bản cụ thể. Cụ thể, việc cắt tỉa mạng có thể khuếch đại những thiếu sót về độ chính xác đã tồn tại trong mô hình.
Ví dụ: nếu một mô hình học sâu được đào tạo để nhận dạng khuôn mặt bằng cách sử dụng tập dữ liệu bao gồm khuôn mặt của 100 người da trắng và 60 người châu Á, thì mô hình đó có thể nhận dạng khuôn mặt da trắng chính xác hơn nhưng vẫn có thể đạt được hiệu suất phù hợp để nhận dạng khuôn mặt người châu Á . Sau khi cắt tỉa mạng, mô hình có nhiều khả năng không thể nhận ra một số khuôn mặt châu Á.
>> Tham khảo: Nghiên cứu phát hiện ra việc chặt phá rừng già của Thụy Điển trên diện rộng và đang diễn ra.
Kim cho biết: “Sự thiếu sót có thể không đáng chú ý trong mô hình ban đầu, nhưng vì nó được khuếch đại bởi việc cắt tỉa mạng, nên sự thiếu sót có thể trở nên đáng chú ý”.
Kim cho biết: “Để giảm thiểu vấn đề này, chúng tôi đã trình diễn một phương pháp sử dụng các kỹ thuật toán học để cân bằng các nhóm mà mô hình học sâu đang sử dụng để phân loại các mẫu dữ liệu. “Nói cách khác, chúng tôi đang sử dụng các thuật toán để giải quyết khoảng cách về độ chính xác giữa các nhóm.”
Trong thử nghiệm, các nhà nghiên cứu đã chứng minh rằng việc sử dụng kỹ thuật giảm thiểu của họ đã cải thiện tính công bằng của một mô hình học sâu đã trải qua quá trình cắt tỉa mạng, về cơ bản đưa nó trở lại mức độ chính xác trước khi cắt tỉa.
“Tôi nghĩ khía cạnh quan trọng nhất của công việc này là giờ đây chúng tôi đã hiểu rõ hơn về cách chính xác cách cắt tỉa mạng có thể ảnh hưởng đến hiệu suất của các mô hình học sâu để xác định các nhóm thiểu số, cả về mặt lý thuyết và thực nghiệm”, Kim nói.
“Chúng tôi cũng sẵn sàng hợp tác với các đối tác để xác định những tác động chưa biết hoặc bị bỏ qua của các kỹ thuật rút gọn mô hình, đặc biệt là trong các ứng dụng trong thế giới thực cho các mô hình học sâu.”
>> Tham khảo: Tạo ra một ‘điểm tựa’ mới cho liệu pháp RNA, liệu pháp tế bào và chẩn đoán.
Bài báo “Việc cắt tỉa có tác động khác nhau đến độ chính xác của mô hình” sẽ được trình bày tại Hội nghị lần thứ 36 về Hệ thống xử lý thông tin thần kinh (NeurIPS 2022), được tổ chức từ ngày 28 tháng 11 đến ngày 28 tháng 12. 9 ở New Orleans.
Tác giả đầu tiên của bài báo là Cường Trần của Đại học Syracuse. Bài báo được đồng tác giả bởi Ferdinando Fioretto của Syracuse và Rakshit Naidu của Đại học Carnegie Mellon.
Công việc được thực hiện với sự hỗ trợ của Quỹ khoa học quốc gia, dưới sự tài trợ SaTC-1945541, SaTC-2133169 và CAREER-2143706; cũng như Giải thưởng Học giả Nghiên cứu Google và Giải thưởng Nghiên cứu Amazon.
