Asp.Net Mvc uygulamasına robots.txt nasıl eklenir?

Öncelikle herhangi bir Controler içerisinde bir ActionMethod'a ihtiyacımız olacak,  örneğimizde HomeController kullanacağız.

HomeController içerisine Robots adında bir ActionMethod ekleyin.

public ActionResult Robots()
{
    Response.ContentType = "text/plain";
    return View();
}

Robots ActionMethod'u için Robots.cshtml View'ini oluşturun. İçeriğini kendinize göre düzenleyebilirsiniz.

@{
    Layout = null;
}
# robots.txt for uzmanim.net 
User-agent: *
Disallow: /Admin/
Disallow: /Account/

App_Start altındaki RouteConfig.cs dosyasına gerekli route ilave edin. Bugun için Global.asax dosyasını da kullanabilirsiniz.

 public static void RegisterRoutes(RouteCollection routes)
        { 
routes.MapRoute("Robots.txt","robots.txt",  new { controller = "Home", action = "Robots" });
        }

Uygulamanızı derleyin ve test edin.