Благодаря современным технологиям стало возможно хранить массивы данных в режиме онлайн. Для доступа к старым материалам СМИ теперь не нужно идти в библиотеку — они всегда под рукой, стоит только набрать интересующий запрос в поисковике и перейти по ссылке.
Правда, как показало небольшое исследование «МБХ медиа», далеко не все статьи и не всех изданий индексируются поисковыми системами. Люди и роботы В корневом каталоге каждого сайта есть текстовый файл под названием «robots.txt» — это касается и СМИ.
Как правило, с помощью этого файла можно исключить контент из результатов выкладки поисковиков, таких как Google и «Яндекс».
Читать на newsland.com