Đạo hàm của hàm ReLU trong Python
ReLU là viết tắt của Rectified Linear Activation Function, đây là giải pháp thay thế chức năng kích hoạt phổ biến nhất trong phạm vi học sâu. ReLU là một phần của hàm tuyến tính sẽ xuất đầu vào giống nhau nếu giá trị đầu vào là dương; nếu không, nó sẽ cho đầu ra bằng không.