Back to Question Center
0

Semalt всех роботов robots.txt

1 answers:

В моих роботах. txt file У меня есть список роботов, которые не могут быть проиндексированы на моем сайте, а для остальных я должен разрешить все другие роботы, но я хотел бы знать реальную разницу между этими двумя правилами:

     Пользовательский агент: *
Disallow:    

и это:

     Пользовательский агент: *
Позволять: /    
- CP7130 DIVERSEN
February 13, 2018
Семат всех роботов robots.txt
Reply