Melihat isi Konfigurasi File Robot.txt

File robot.txt adalah sebuah file yang berfungsi sebagai pelindung sebuah web dari berbagai webcrawler.sintaks yang digunakan, berfungsi supaya anda dapat melihat isi atau sistem arsitekturnya. Anda bahkan dapat mengetahui link apa saja yang tidak boleh diakses oleh google.Dari hal ini, Anda bisa mengetahui terdapat link tersembunyi apa saja dalam situs tersebut. sintaks: (inurl:"robot.txt | inurl:"robot"robot.txt") intext:disallow filetype