Nama Candi Badut telah disinggung berulangkali oleh beberapa ahli yang dihubungkan dengan Prasasti Dinoyo yang berangka tahun 682 caka atau 760 Masehi. Secara ringkas prasasti ini mula-mula menyatakan bahwa dahulu ada seorang raja yang bijaksana lagi berkuasa, bernama Dewasinga. DI bawah naungannya, maka api Putekecwara yang memancarkan sinar menerangi sekelilingnya. Anaknya, Raja Gajayana membuat prasasti ini untuk memperingati didirikannya sebuah kuil indah untuk Sang Resi Agung (Maharsibhawana) dengan sebutan Walahajiridyah, dan diresmikannya Arca Agastya yang baru, terbuat dari batu hitam yang indah, sebagai pengganti arca lama yang terbuat dari kayu cendana yang lapuk.
Pada kesempatan ini sang raja menghibahkan tanah, lembu, budak, perlengkapan saji, mengadakan berbagai upacara (“Brandoffer en wesschingen”) untuk menghormati Sang Resi. Pada baris keempat Prasasti Dinoyo disebutkan pula bahwa Raja Gajayana membuat bangunan candi yang amat indah untuk membinasakan penyakit yang menghilangkan semangat (kekuatan). Menurut Dr. Bosch semua bagian Candi Badut itu bersifat asli seni Jawa Tengah.
Bangunan induk Candi Badut menghadap ke barat dan terbuat dari batu andesit. Di depan candi induk terdapat tiga candi perwara yang diperkirakan bentuknya sama seperti candi induk. Candi perwara ini berjajar utara-selatan dan menghadap ke timur.