robots.txt karakter kodlaması ne olmalı?

robots.txt dosyasının karakter kodlaması unicode, UTF-8 veya ANSI türlerinden hangisi olmalı?

Robots.txt dosyasının içindeki karakterlerin ASCII olması beklenir. Bu sebepten karakter kodlamasının türü önemli değildir. 

Fakat not defteri ile robots.txt oluşturursanız ve türünü unicode, utf-8 seçerseniz not defteri buna ilave bilgiler ekler. Bu da robots.txt dosyasının geçersiz olmasına sebep olabilir. Bu sebepten dosya karakter kodlamasını türünü ANSI seçmelisiniz.

Robots.txt dosyasının türünü ANSI yaptığınızda bu tür sorunların önüne geçersiniz.