Đầu tiên thể hiện của giấy nhám là trong thế kỷ 13 Trung Quốc khi vỏ nghiền, hạt giống và cát đã được ngoại quan tấm da dê bằng cách sử dụng kẹo cao su tự nhiên.
Da cá mập cũng được sử dụng như giấy nhám. Quy mô thô của hóa thạch sống cá vây tay được sử dụng bởi người bản xứ của Comoros như giấy nhám. Luộc và sấy khô, Horsetail thô được sử dụng ở Nhật Bản như một loại vật liệu đánh bóng truyền thống, tốt hơn so với giấy nhám.
Giấy nhám ban đầu được biết đến như giấy kính, vì nó sử dụng các hạt thủy tinh. Thủy tinh frit có hạt và cắt giảm sắc nét lưỡi, hạt cát được vuốt xuống và đã không làm việc cũng giống như giấy nhám được làm từ thủy tinh. Giấy nhám giá rẻ giả mạo từ lâu đã được thông qua như giấy kính loại xịn. Stalker và Parker cũng cảnh báo chống lại nó trong thế kỷ 17.
Giấy kính được sản xuất bởi John Oakey của công ty tại London năm 1833, người đã phát triển kỹ thuật chất kết dính và quy trình mới, cho phép sản xuất hàng loạt. Một quá trình làm giấy nhám đã được cấp bằng sáng chế tại Hoa Kỳ vào ngày 14/6/1834 bởi Isaac Fischer, Jr, Springfield, Vermont.
Năm 1921, nhà sản xuất 3M đã phát minh ra giấy nhám với sự ủng hộ không thấm nước, được gọi là ướt và khô. Điều này cho phép sử dụng với nước, mà sẽ phục vụ như là một chất bôi trơn để thực hiện các hạt mà nếu không sẽ làm tắc nghẽn các grit. Ứng dụng đầu tiên của nó đã được sơn sửa chữa lại ô tô.