Phật giáo bắt đầu chính thức suy tàn khi vương triều Kushan bị sụp đổ, và vương triều Bà la môn Gupta chiếm Magadha vào đầu thế kỷ thứ Tư. Nhiều việc bức hại Phật tử bắt đầu xẩy ra. Thành và đại học Nalanda (Na Lan Đà) bị khủng bố. Người Bà la môn sát hại Aryadeva (A Li Da Đề Bà), đại đệ tử của Narajuna (Long Thọ Bồ tát), vì họ thua ông trong việc tranh luận về tôn giáo. Rồi vua Sasanka đuổi tất cả tăng chúng Phật giáo ra khỏi Kusinagara (Câu Thi Na), là nơi Phật Thích Ca nhập Niết bàn. Ông ta cũng cho bật gốc và đốt cây Bồ đề ở Bodhi Gaya (Bồ Đề Đạo Tràng) ra tro, rồi thay thế bằng một tượng Shiva.

Đại sư Trung Hoa Pháp Hiền khi đến Tây Trúc từ năm 399 đến 414 thấy Phật Giáo còn được hưng thịnh ở vài nơi như Kapilavasu (Ca Tỳ La Vệ) và Gaya (Già da). Nhưng nhìn tổng thể thì Phật giáo ở Ấn Độ lúc bấy giờ đã suy vi nhiều rồi.

Rồi người Hung Nô tràn vào Gandhara (Kabul – Càn Đà) cuối thế kỷ thứ Năm. Các tu viện và di tích thiêng liêng của Phật giáo ở vùng Đông-bắc Ấn Độ bị tiêu diệt. Tăng chúng, học giả, kinh sách và các kiến trúc bị tàn sát và thiêu hủy. Cả Đại học Taksasila ở đây cũng bị vĩnh viễn im tiếng. Bình bát thiêng liêng của đức Phật cũng biến khỏi Gandhara và được truyền sang Persia (Ba Tư) lúc đó.

Cuộc xâm lăng của người Hung làm Đế quốc Gupta bị phân tán thành nhiều tiểu quốc. Phật giáo lại tiếp tục tranh chấp một cách yếu ớt với Bà la môn ở Bengal, miền Tây và miền Nam Ấn Độ. Chỉ vào khoảng cuối thế kỷ thứ Bẩy, khi vua Harsha (Giới Nhật Vương) thống nhất lãnh thổ rộng lớn gồm miền Tây và Bắc Ấn Độ, và đóng đô ở Kanauj, thì Phật giáo lại được tạm cường thịnh một thời gian ngắn, dù lúc nào cũng vẫn bị kèn cựa bởi người Bà la môn. Giai đoạn này là lúc nhà sư Huyền Trang người Trung Quốc sang Tây Trúc thỉnh kinh. Ngài được vua Harsha tôn kính, và giúp nhà vua Phật tử này hoằng pháp. Ngài Pháp Hiển chỉ thấy hai ngôi chùa ở Kanauj vào thế kỷ thứ Năm, nhưng ngài Huyền Trang đề cập đến cả trăm ngôi chùa với hơn 10,000 vị Tỳ Kheo ở đó. Khi vua Harsha băng hà năm 647 thì Phật giáo lại bị người Bà la môn lấn áp.

Trong thời kỳ này, bên đạo Bà la môn có sự thay đổi tư tưởng lớn, được giới sử gia ngày nay gọi là “Pauranik Hinduism” (Tân Ấn giáo). Nổi bật nhất là hệ thống phân chia giai cấp xã hội được hệ thống hóa khe khắt hơn. Nhưng cũng cùng lúc đó thuyết Luân hồi được phổ biến rộng rãi giữa các tín đồ Ấn giáo. Trong các Purana (Thánh điển) cũ của đạo Bà la môn, Phật Thích Ca bị coi là người dụ dỗ người ta vào đường hủy diệt. Nhưng các Purana mới từ giai đoạn này, như Garuda, lại cho rằng Phật là hóa thân của Vishnu. Và Phật giáo Ấn Độ cũng lại có thêm ảnh hưởng của tư tưởng Bà la môn từ đây.

Phật giáo có được một thời kỳ dễ thở ngắn nữa trong triều đại Pala ở Magadha trong thế kỷ thứ Mười. Nhưng từ cuối thế kỷ này, khi các triều đại Hồi giáo thống trị Ấn Độ, Phật giáo lại quay về vị thế thiểu số cho đến nay.