Asp.Net Mvc uygulamasına robots.txt nasıl eklenir?

Yeni web uygulamalarında en çok unutulan  konulardan birtanesi de Robots.txt dosyasının uygulamaya eklenmesidir. Robots.txt dosyası arama motorlarına sitenin hangi bölümlerinin indekslenmesi gerektiğine dair bilgiler içerir.

MVC uygulamanıza doğrudan Robots.txt dosyanı ilave ederseniz, sunucu  bunu "text/plain" olarak değil "text/html" olarak sunar. Oysa arama motorlarının beklediği düz txt dosyasıdır.

Öncelikle herhangi bir Controler içerisinde bir ActionMethod'a ihtiyacımız olacak,  örneğimizde HomeController kullanacağız.

HomeController içerisine Robots adında bir ActionMethod ekleyin.

public ActionResult Robots()
{
    Response.ContentType = "text/plain";
    return View();
}

Robots ActionMethod'u için Robots.cshtml View'ini oluşturun. İçeriğini kendinize göre düzenleyebilirsiniz.

@{
    Layout = null;
}
# robots.txt for uzmanim.net 
User-agent: *
Disallow: /Admin/
Disallow: /Account/

App_Start altındaki RouteConfig.cs dosyasına gerekli route ilave edin. Bugun için Global.asax dosyasını da kullanabilirsiniz.

 public static void RegisterRoutes(RouteCollection routes)
        { 
routes.MapRoute("Robots.txt","robots.txt",  new { controller = "Home", action = "Robots" });
        }

Uygulamanızı derleyin ve test edin.