Możesz sprawdzić, czy nie ma błędów w konfiguracji pliku robots.txt. - strony indeksowanie ręczne - Narzędzie pozwala także na kontrolę problemów związanych z plikami robots.txt.