Theo dõi các chỉ số hiệu năng GPU phù hợp có thể giúp bạn bám sát quá trình đào tạo và triển khai các ứng dụng deep learning. Dưới đây là 5 chỉ số hàng đầu bạn nên theo dõi:
1. Mức sử dụng GPU (GPU utilization)
GPU utilization là một trong những chỉ số chính cần quan sát trong một phiên đào tạo deep learning. Chỉ số này có thể truy cập dễ dàng thông qua các giao diện giám sát GPU phổ biến, chẳng hạn như “NVIDIA-smi” của NVIDIA. Việc sử dụng GPU được định nghĩa là phần trăm thời gian một hoặc nhiều nhân GPU đang chạy trong giây cuối cùng, tương tự như GPU được sử dụng bởi một chương trình deep learning.
Theo dõi GPU utilization của các phiên đào tạo deep learning của bạn là một trong những chỉ số tốt nhất để xác định xem GPU của bạn có thực sự được sử dụng hay không. Hơn nữa, theo dõi xu hướng sử dụng thời gian thực có thể giúp xác định các tắc nghẽn trong quá trình tiền xử lý và các pipeline kỹ thuật featuring có thể làm chậm quá trình đào tạo của bạn.
2. Mức sử dụng và truy cập bộ nhớ GPU
Giống như việc sử dụng GPU, trạng thái bộ nhớ GPU của bạn cũng là một chỉ số rất tốt cho thấy GPU của bạn đang được sử dụng tốt như thế nào trong quá trình deep learning của bạn. NVIDIA-smi có một danh sách đầy đủ các chỉ số bộ nhớ có thể được sử dụng để tăng tốc đào tạo mô hình của bạn.
Tương tự như việc sử dụng GPU, chỉ số sử dụng bộ nhớ GPU là một trong những chỉ số chính để theo dõi quá trình đào tạo. Số liệu này biểu thị phần trăm thời gian trong giây cuối cùng mà bộ điều khiển bộ nhớ của GPU đang được sử dụng để đọc hoặc ghi từ bộ nhớ. Các chỉ số khác như bộ nhớ khả dụng, bộ nhớ đã sử dụng và bộ nhớ trống cũng có thể chứng minh tầm quan trọng, vì chúng cung cấp cái nhìn sâu sắc về hiệu quả của chương trình deep learning của bạn. Ngoài ra, các chỉ số này có thể được sử dụng để tinh chỉnh kích thước lô cho các mẫu đào tạo của bạn.
3. Sử dụng năng lượng và nhiệt độ
Sử dụng năng lượng là một khía cạnh quan trọng của hiệu năng GPU. Sức mạnh trên một trong các GPU của bạn cho bạn biết mức độ hoạt động của nó, cũng như mức độ sử dụng năng lượng của ứng dụng. Điều này có thể đặc biệt quan trọng để thử nghiệm các ứng dụng deep learning cho thiết bị di động, trong đó mức tiêu thụ điện là một mối quan tâm đáng kể.
Việc sử dụng năng lượng có liên quan chặt chẽ với nhiệt độ môi trường mà GPU đang được sử dụng. Mức tiêu thụ năng lượng được đo bằng các công cụ như NVIDIA-smi thường được theo dõi tại bộ cấp nguồn của card và bao gồm năng lượng tiêu thụ bởi các bộ phận làm mát, bộ nhớ và đơn vị xử lý.
Khi nhiệt độ GPU của bạn tăng lên, điện trở ohmic của các linh kiện điện tử tăng lên và quạt quay nhanh hơn, tăng khả năng rút điện. Đối với deep learning, mức tiêu thụ năng lượng của GPU cũng rất quan trọng vì việc điều tiết nhiệt khi gặp nhiệt độ cao có thể làm chậm quá trình đào tạo.
4. Thời gian đào tạo
“Time to solution”, còn được gọi là thời gian đào tạo, là một trong những chỉ số chính được sử dụng trong các mô hình deep learning để đánh giá hiệu năng của GPU. Điều quan trọng là giữ định nghĩa của solution nhất quán giữa tất cả các GPU khác nhau. Đối với các vấn đề phân loại như phân loại hình ảnh bằng cách sử dụng mạng neural tích chập (convolutional neural networks – CNN) và ứng dụng NLP sử dụng mạng thần kinh tái phát (recurrent neural networks – RNN), đây có thể là độ chính xác được xác định trước mà mô hình phải đáp ứng. Các tính năng của GPU như cho phép tối ưu hóa độ chính xác hỗn hợp và mô hình như điều chỉnh kích thước lô đầu vào đóng vai trò quan trọng trong thời gian đào tạo.
5. Thông lượng (throughput)
Mặc dù thời gian đào tạo là quan trọng trong quá trình học tập, thời gian suy luận rất quan trọng đối với một mô hình được triển khai trong môi trường production. Trong các mạng neural, thời gian suy luận là thời gian cần thiết để thực hiện chuyển tiếp qua mạng thần kinh để đưa ra kết quả. Thông lượng thường được sử dụng để đo hiệu năng của GPU khi muốn triển khai hệ thống suy luận nhanh.
Số liệu chung cho thông lượng được đưa ra bằng số lượng mẫu được xử lý mỗi giây theo mô hình trên GPU. Tuy nhiên, chỉ số chính xác có thể thay đổi tùy thuộc vào kiến trúc mô hình và ứng dụng deep learning.
Ví dụ, thông lượng cho các CNN để phân loại hình ảnh sẽ được tính bằng image/s. Ngược lại, thông lượng cho RNN được sử dụng trong ứng dụng NLP có thể được tính bằng chỉ số token/s.
Tóm lại
Theo dõi các chỉ số hiệu năng GPU phù hợp có thể giúp bạn tiết kiệm rất nhiều thời gian và công sức, vì vậy bạn có thể tập trung vào đào tạo hoặc triển khai các ứng dụng deep learning của mình.
