5
: : , ,
: , , .
:
, , ftp-, -, Usenet.
Google - , , , , . . , . , , . .
- -, - . , 30 . , . , , , , . .
.
, , , , .
, - Standart for Robot Exclusion (SRE), - . , -. , , - - .
, - .
Google:
Google: . . Google , , . . . Google , . , , - . , , .
. , .
|
|
- , , .
. , ' . .
3. , , .
,, .
: , . - .
. https://yandex.ua/images/search?text=&parent-reqid=1482671866159736-9435661638323729125314733-iva1-0880
4. .
, -, , . - . .
, . , . , , .