Всем привет! Сегодня мы посмотрим, как создать текстовый документ (.txt) на компьютере. Плюс подобного формата в том, что он открывается любыми программами и поддерживается во всех продвинутых операционных системах. Таким образом вы можете переслать любую текстовую информацию между различными ОС. В статье я подробно описал 5 простых способов.
Содержание
- Вариант 1: Прямое создание файла
- Способ 2: Через Блокнот
- Способ 3: Командная строка
- Способ 4: WordPad
- Способ 5: Word
- Задать вопрос автору статьи
Вариант 1: Прямое создание файла
Давайте посмотрим, как проще всего создать текстовый файл или документ. Обычный текстовый файл в формате TXT можно использовать в любой программе, которая работает с текстом. Если же вам нужно создать документ форматов DOC – то для этого нужно, чтобы на компьютере был установлен Word. После этого процедура создания будет одинаковая.
- В папке, на рабочем столе или любом другом разделе, где хранятся данные – кликните правой кнопкой мыши по пустому месту.
- Из дополнительного вспомогательного меню выберите команду «Создать». Далее вы можете увидеть несколько вариантов. Для создания txt-файла – выбираем «Текстовый документ». Если же вам нужно создать doc-файл, кликаем по названию «Документ Microsoft Word».
- Останется с клавиатуры ввести необходимое название.
- Чтобы открыть файл для редактирования, кликните по нему два раза левой кнопкой мыши.
Напомню, что таким образом можно создать файл на компьютере любого формата, от архива до ярлыка или папки.
Способ 2: Через Блокнот
Создать файл TXT можно и напрямую через программу «Блокнот», которая встроенна во все версии операционных систем Windows XP, 7, 8, 10 и 11.
- Для начала нам нужно открыть сам текстовый редактор. Рассмотрим два способа. Первый – откройте поисковую строку Виндовс, кликнув по значку лупы. Далее в адресную строку вводим название:
Блокнот
- Выбираем команду «Открыть».
- Второй способ – откройте меню «Пуск» и раскройте список всех установленных программ. Найдите папку «Стандартные – Windows» и в ней откройте «Блокнот».
- Чтобы фал не потерялся, давайте сразу же его сохраним – в самом верху выбираем «Файл» – «Сохранить как…». Или используем клавиши:
Ctrl + Shift + S
- Сначала выберите место, куда будет сохранен документ. В строку «Имя файла» вводим будущее наименование. Обязательно проверьте, чтобы в строке «Тип файла» стоял формат «Текстовый документ (*.txt)». В конце жмем «Сохранить».
Способ 3: Командная строка
- Нам нужно открыть консоль с правами администратора – это можно сделать, как через поиск, так и через меню «Пуск». Самое главное, выбрать запуск от имени администратора.
Читаем – как отрыть консоль с правами администратора.
- Вводим команду:
copy con d:wifigid.txt
- Вместо диска d: – можете указать другой том. Вместо wifigid – укажите свое название.
- После того как вы нажмете Enter каретка перейдет на следующую строку – дальше вводите текст, который вы хотите ввести в сам документ.
ВНИМАНИЕ! Русский язык командная строка не поддерживает, поэтому, если вы захотите таким образом ввести какие-то символы, то использует исключительно английскую раскладку. Я для примера ввел текст по-русски, чтобы показать, что в таком случае получится в итоге.
- А вот и сам результат. Как видите, вместо русских букв мы видим иероглифы.
Способ 4: WordPad
Еще один встроенный редактор текста, который по своему функционалу превышает «Блокнот». Он аналогично есть во всех версиях Виндовс.
- Через поиск открываем WordPad.
- После того как вы введете хоть какой-то текст и захотите его сохранить – выберите вкладку «Файл».
- В меню кликаем по пункту «Сохранить как» – «Обычный текст». Дальше все делается по аналогии – сначала выбираем место, потом вводится имя файла и жмем по кнопке сохранения.
Способ 5: Word
Ну и конечно же мы не могли обойти один из самых популярных текстовых редакторов.
- Откройте программу любым доступным способом.
- Создайте новый, пустой документ.
- Введите любой текст.
- Кликните по надписи «Файл».
- «Сохранить как» – «Обзор».
Читаем – как правильно сохранять файлы в Word.
- Вводим имя файла. Самое главное укажите в строке «Тип файла» – формат «Обычный текст».
Вот и все, дорогие друзья. Теперь вы знаете, как можно создать текстовый документ разными способами. Надеюсь, они помогут вам в ваших задачах. Если я что-то упустил и не рассказал – напишите об этом в комментариях. До новых встреч на портале WiFiGiD.RU.
Здравствуйте, если вы заглянули на страничку моего блога, значит, вам нужна помощь в общении с компьютером. Помогу, чем смогу. Тема сегодняшнего обсуждения «Как создать файл txt?». Мне было удивительно видеть в комментариях к одной из статей данный вопрос, так как действия, производимые при создании основных форматов типа txt, doc, xls у меня доведены до автоматизма. И если требуется выполнить такую задачу, я просто это делаю, не задумываясь о том, как именно. Посмотрел статистику запросов в «Гугле». Выяснилось, что множество людей задают подобные вопросы — как создать txt файл на Windows 7, 10 и других операционных системах (MacOS, MS-DOS, Linux), как создать текстовый файл txt в командной строке, в папке, в «Ворде», как создать txt файл на телефоне. Порыскав в своей голове и на просторах интернета, я собрал всё, что смог найти на данную тему. Так и родилась эта статья, которую я решил начать с самой распространённой операционной системы — Windows.
Windows
Итак, поговорим о том, как создать файл.txt на компьютерах с операционной системой windows 10, 7 и более ранними, устаревшими, но вполне дееспособными версиями. Друзья, мне кажется, что будет вполне уместным сначала объяснить, что такое текстовый файл с расширением txt, а уж потом переходить к разговору о том, как его создать.
Определение
Файл – это исходный элемент на компьютере, содержащий некоторую информацию. Он имеет имя и расширение. С именем, думаю, всё понятно и объяснять не стоит. Расширение – это продолжение имени, указывающее системе на формат документа и на то, какой программой его открывать. Формат – это специфика информации, которая есть в содержании, то есть текст, графика, таблицы. Текстовый файл в формате txt – это документ, содержащий только чистый текст, без какого-либо форматирования и картинок, открывается который любыми текстовыми редакторами (по умолчанию стандартной программой «Блокнот»), а как его создать в подробностях рассмотрим ниже.
Контекстное меню
Самый простой и распространенный способ создать текстовый файл, которым пользуюсь я, как и большинство пользователей «Винды», содержит следующие шаги:
Текстовый документ готов. Открыть его можно двумя быстрыми щелчками или через соответствующий пункт контекстного меню, которое вызывается правым щелчком мыши на документе.
Папка
Друзья, хотя вышеописанным способом можно создать файл txt в любом месте, но всё-таки давайте я расскажу о том, как это сделать ресурсами конкретной папки:
- Заходим в нужную папку.
- В верхней части окна выбираем раздел «File» и раскрываем его меню.
- Среди предложенных вариантов выбираем действие «Создать» и затем «Текстовый документ».
Word
Как я уже упоминал, текстовый файл по умолчанию открывается программой «Блокнот», но создать документ txt можно и другими текстовыми редакторами, а также переделать из уже имеющихся документов с расширением docx. Получить из элемента doc или docx документ с заданным расширением можно тремя способами:
- Первый способ – открываем «Блокнот» (находится в списке стандартных программ меню «Пуск») и копируем в него содержимое документа docx.
- Второй способ:
- Нажимаем правой кнопкой мыши на чём-то.docx и выбираем действие «Переименовать».
- Удаляем имеющееся расширение и вместо него пишем tхt.
- Нажимаем для подтверждения Enter.
- На предупредительный вопрос системы об опасности смены расширения отвечаем утвердительно.
- Третий способ:
- Открываем имеющийся документ docx в «Ворде» или другом текстовом редакторе.
- Открываем меню «File» и выбираем пункт «Сохранить как».
- В списке предложенных вариантов выбираем пункт «Другие форматы», в результате чего откроется новое окно.
- Внизу окна имеются две строки «Имя» — его нужно задать и «Тип» — здесь необходимо установить расширение.
- Нажав на стрелочку в углу строки «Тип» раскрываем перечень возможных расширений и устанавливаем «Обычный текст (*.tхt)».
- Подтверждаем сохранение документа в заданном формате нажатием кнопки «Сохранить».
Кстати, третий способ вполне сгодится не только для изменения расширения у имеющегося документы, но и для создания нового в требуемом формате.
Командная строка
Создать файл txt можно и с помощью приложения cmd.exe. Это не так-то просто и не всегда понятно, а ещё необходимо знать команды. Но всё-таки я расскажу об этом вкратце, может, кому и пригодится. Итак, с помощью командной строки можно создать два вида файлов txt – пустой и заполненный, то есть имеющий содержимое.
Пустой
Чтобы создать пустой файл с расширением txt, посредством командной строки, необходимо для начала её запустить. Сделать это можно несколькими способами, вот самые простые:
- Нажимаем Win и R, в результате чего откроется окно «Выполнить», вводим команду cmd.exe и нажимаем OK.
- В меню «Пуск» выбрать пункт «Командная строка (администратор)».
- В поисковой строке «Пуска» набрать cmd и запустить найденное приложение от имени администратора.
Далее, необходимо ввести команду для создания нулевого (пустого) текстового документа, их много, предлагаю вашему вниманию две самые популярные из них:
- copy con filename.tхt – создаст нужный документ в открытой директории, для его появления в другом месте вместе с именем вводим полный путь до нужной папки.
- echo off > C:111.txt, где «echo» — команда «создать», «off» означает отсутствие текста, а C:111.tхt – это имя и путь к расположению.
С текстом
Теми же командами, но с некоторыми изменениями, можно создать файл.txt и сразу же записать в него данные:
- Вводим copy con filename.tхt, затем пишем необходимый текст, нажимаем CTRL и Z, жмём Enter и получаем то, что требуется.
- Во второй команде — echo off > C:111.tхt – требуемый текст нужно написать вместо «off».
Кстати, если вы ищете ответ на вопрос «как создать файл с расширением txt в MS-DOS?», то ознакомьтесь с описанными выше способами, так как они актуальны и для этой операционной системы.
Linux
Друзья, давайте поговорим о том, как создать txt файл в операционной системе linux. Сделать это можно посредством терминала, который является аналогом командной строки в. Существует несколько команд, я расскажу о самых коротких. Итак, как и в случае с командной строкой в Windows, для создания текстового файла.txt в linux сначала потребуется запустить терминал. Для этого нажимаем одновременно три клавиши – CTRL, ALT и T. Затем вводим одну из следующих команд:
- Для нулевых — > a или >a (наличие пробела необязательно), где, а – это имя документа, который создастся в текущей папке. Если нужно сотворить сразу несколько подобных документов, то вместо «> b > c > d > e > f > g» удобнее будет написать touch b c d e f g.
- Для заполненных — echo tekst > h или то же, но без пробелов (никакой разницы) — echo tekst>h. В этом случае мы получим документ с именем h и с текстом tekst в текущей папке.
MacOS
Пришло время поговорить о том, как создать txt файл на устройствах с операционкой MacOs. Способов, как всегда, уйма. Поведаю самый простой:
- Запускаем терминал — проще всего через поисковую строку Spotlight (нажимаем одновременно пробел и CTRL, пишем «Терминал»).
- Вводим команду $ touch some_text_file.tхt, но только предварительно перейдя в нужную директорию.
Android
Очень часто люди спрашивают в интернете, как создать текстовый файл txt на «Андроиде». Отвечаю – ресурсами самого телефона этого не сделать. Необходимо устанавливать специальные приложения, которых навалом в сервисе Play Market – «Простой текстовый редактор» (аналог блокнота), Text Editor. Есть такие, в которых текст можно надиктовывать голосом, а он будет преобразован в нужный формат (Речь текстовый редактор). Или, наоборот, выбранные фрагменты текста приложение преобразует в речь и прочтёт их в голос (Text Editor).
FAR Manager
Среди самых популярных поисковых запросов в «Гугле» есть и такой – «как создать txt файл в far». Расскажу в двух словах и об этом — помогу людям. Для сотворения нужного документа в FAR Manager выполняем следующие действия:
- Нажимаем одновременно две клавиши, одна из которых SHIFT, а другая F4.
- Появится пустой запрос на создание.
- Пишем любое имя и ставим нужное расширение — 12345.tхt и получаем то, что хотели.
Друзья, вот я и поделился всем, чем хотел. Получилось довольно много информации. Надеюсь, она кому-нибудь пригодится. Если что-то непонятно, пишите в комментариях, будем разбираться вместе. Тем более мне и самому приятен этот процесс, так как в поисках исчерпывающих ответов на ваши вопросы я узнаю много нового и полезного для себя. До свиданья.
Очень часто в моей практике встречаются текст в формате *.txt. Например, необходим нормативный документ, который создан и сохранён в те времена, когда Word попросту не существовал. Кстати такие документы в изобилии находятся в Консультанте.
Открываем мы такой текст в формате *.txt либо
непосредственно в Word
либо через контекстное меню:
Есть ещё один способ: открыть текст в формате *.txt через
системное меню папки (Системное меню папки → группа команд Открыть → команда
Открыть (Открытие выбранного файла с помощью программы, используемой по
умолчанию) → Word):
Последний способ – самый быстрый. Но при любом способе на
экраны выскочит окно:
Отмечаем «Обычный текст» и нажимаем ЛМ «ОК».
Здесь я могу вас отправить к уроку 17 «Настройка Word», где я настоятельно просила вас отметить галочкой режим «Подтверждать преобразование при открытии» на вкладке «Дополнительно» окна «Параметры Word».
В результате мы увидим окно:
Разумеется «ОК» и любуемся:
Каждая новая строчка образована нажатием клавиши . Красная строчка создана пробелами. Применение всех возможностей работы со стилями практически невозможна. Неужели вручную удалять символы конца абзаца? Хорошо, если 2-3 страницы, а если 50?
По окончании этого урока вы сможете:
- Преобразовать текст в формате *.txt в абзацы
- Привести текст в порядок используя диалоговое окно «Найти и заменить»
Скачайте файл тут и откройте его программе Word . Текст очень интересный, сейчас вы можете найти его в Интернете в читабельном виде. Но впервые я у видела этот текст в формате *.txt именно таким. Сохраните файл как документ Word.
Прежде всего определим, что является идентификатором абзаца:
Шаг 1. Отмечаем особым символом начало
каждого абзаца (лента Главная → группа команд Редактирование → команда Заменить
→ команда Больше для разворачивания диалогового окна «Найти и заменить» во всём
великолепии):
Подробно об этом диалоговом окне «Найти и заменить» я рассказала на уроке 57.
Шаг 2. Работаем с диалоговым окном. В поле
«Найти:» набираем 5 пробелов. В поле «Заменить на:» устанавливаем знак
табуляции (команда Специальный → Знак табуляции). После чего ЛМ на
команду «Заменить все»:
Неплохо, да? В течении 5 секунд сделали 1312 замен!
Шаг 3. Заменяем все символы конца абзаца на
пробел:
Появляется предупреждение:
Представляете: вручную удалить 10 165 символов конца абзаца!
Не закрывайте диалоговое окно «Найти и заменить»!
Шаг 4. Заменяем знак табуляции на символ
конца абзаца
- В поле «Найти:» ставим знак табуляции
- В поле «Заменить на:» ставим знак абзаца
Шаг 5. Удаляем лишние пробелы (в поле «Найти:»
ставим два пробела → в поле «Заменить на:» ставим один пробел).
Почему два пробела? Мне
некогда считать сколько пробелов и где они в тексте находятся. А так, в
результате последовательного нажатия команды «Заменить все» я получаю нужный
результат. В этом документе действий было всего три:
Закрываем диалоговое
окно «Найти заменить».
Шаг 6. Задаём тему документу (лента
Конструктор → группа команд → Форматирование документа → выбираем тему):
На уроке 58 я рассказала, как создать собственные темы документов. Вот я и выбрала свою тему, а восклицательным знаком я отметила список стилей, которые я создала в своей теме.
В документе могут быть
заголовки, списки, но наиболее часто встречающийся стиль текста – это «Основной».
Поэтому…
Шаг 7. Выделяем весть текст сочетание клавиш Ctrl+А (буква «А» – английская вне зависимости от раскладки клавиатуры) и щёлкаем ЛМ по стилю в рабочей области «Стили»:
Ну вот, уже вполне читабельно. Теперь остаётся «пробежаться» взглядом по документу, определить заголовки и списки. Но, поскольку абзацев с такими стилями намного меньше, чем абзацев со стилем «Основной», то работы будет немного.
Давайте посмотрим, что ещё можно сделать с документом, используя моё любимое диалоговое окно «Найти и заменить». Перейдите на страницу 3:
Я отметила:
- Кавычки, доставшиеся в наследство от печатных машинок. В русской типографике приняты в качестве кавычек – «ёлочки». К сожалению, до сих пор можно встретить и не так уж и редко несколько видов кавычек в одном тексте.
- Двойной дефис в качестве тире. Даже если бы дефис был один – это грубейшая пунктуационная ошибка. Опять-таки, к сожалению, применение дефис в качестве тире встречается сплошь и рядом.
- «ее» вместо «её». И если на все слова, в которых предполагается буква «ё», есть предлагаемое правильное написание слова, то в слове «ее» такого нет. Нажмите ПМ поочерёдно на такие слова:
Вот с этим сейчас и будем бороться.
2. Приводим текст в порядок
используя диалоговое окно «Найти и заменить»
Шаг 1. Открываем диалоговое окно «Найти и
заменить». Особенность этого окна – можно его не закрывать и при этом работать
с документом.
Шаг 2. Ставим кавычку «ёлочку» в начале
слова и копируем её в буфер обмена:
- Вводим кавычки с клавиатуры в поле «Найти:»
- Вставляем содержимое буфера обмена в поле «Заменить на:»
И не забудем отметить «Параметры поиска» «Везде». Щёлкаем команду «Заменить все»:
Количество замен даже комментировать не буду. Причём обратите внимание, что в конце «закавыченного» слова кавычки автоматически стали закрытыми
Шаг 3. Выделяем двойной дефис «—» и вставляем
символ «тире» через Панель быстрого доступа и копируем в буфер обмена:
- Вводим пробел, два дефиса, пробел с клавиатуры в поле «Найти:»
- Вставляем содержимое буфера обмена в поле «Заменить на:»
ОК.
Шаг 4. В этом тексте много прямой речи.
Согласно правилам написания прямая речь начинается с тире. Но в тексте начало
прямой речи обозначается двойным дефисом и пробелом:
Значит в диалоговом окне «Найти и заменить» в начале каждого поля надо стереть пробел:
После замены смотрим на количество замен:
Тоже неплохо.
Шаг 5. Заменяем «ее» на её» (вводим слова в
соответствующие поля с клавиатуры):
Обязательно отмечаем
режим «Только слово целиком», так как может случится, «ее» является частью
слова, например, «длиннее».
Заменяем всё:
Количество замен впечатляет! Но что интересно: «Ее» заменилось на «Её»! Правильно: ведь мы не отметили режим «Учитывать регистр». Вот при выполнении операции «Заменить все» программе было всё равно: прописная буква или строчная.
Если вы не установили параметры
поиска «Везде», то ничего страшного. В этом случае выскочить окно:
Вы просто подтвердите
поиск с начала.
| Понять и запомнить! | Запись поля «Найти:» должна быть уникальной! |
Теперь вы сможете:
- Преобразовать текст в формате *.txt в абзацы
- Привести текст в порядок используя диалоговое окно «Найти и заменить»
Возможности диалогового окна «Найти и заменить» очень велики. Главное внимательно проанализировать документ.
Обратная связь
Если не удалось найти инструкцию, то Вы можете заказать её на нашем сайте. Мы постараемся найти нужную Вам инструкцию в электронном виде и отправим ее по электронной почте.
Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:
Email: Onlinemanuals@ya.ru
Мы в социальных сетях
Социальные сети давно стали неотъемлемой частью нашей жизни. Мы узнаем из них новости, общаемся с друзьями, участвуем в интерактивных клубах по интересам
ВКонтакте >
Что такое Onlinemanuals.ru?
Onlinemanuals.ru – это сайт, где собраны инструкции и руководства пользователя на все случаи жизни: для бытовой техники, для лекарственных препаратов, для автомобилей, по строительству и ремонту.
Для правообладателей >
1 сентября 2019 года Google прекратит поддержку нескольких директив в robots.txt. В список попали: noindex, crawl-delay и nofollow. Вместо них рекомендуется использовать:
-
Мета-тег noindex, как наиболее эффективный способ удалить страницу из индекса.
-
404 и 410 коды ответа сервера. В ряде случаев, 410 отрабатывает значительно быстрей для удаления URL из индекса.
-
Защита паролем. Страницы, требующие авторизации, также обычно удаляются из индекса (важно — именно страницы, полностью скрытые под логином, а не часть контента).
-
Временное удаление страницы из индекса с помощью инструмента в Search Console.
-
Disallow в robots.txt.
Тем не менее, robots.txt по-прежнему остаётся одним из главных файлов для SEO-специалиста. Давайте вспомним самые полезные директивы от простых, до менее очевидных.
robots.txt
Это простой текстовый файл, который содержит инструкции для поисковых краулеров — какие страницы сайта не следует посещать, где лежит наш Sitemap.xml и для каких поисковых роботов распространяются правила.
Файл размещается в корневой директории сайта. Например:
-
https://tools.pixelplus.ru/robots.txt
-
https://www.mozilla.org/robots.txt
Прежде чем начать сканирование сайта, краулеры проверяют наличие robots.txt и находят правила специфичные для их User-Agent, например Googlebot. Если таких нет — следуют общим инструкциям.
Действующие правила robots.txt
User-Agent
У каждой поисковой системы есть свои «агенты пользователя». По сути, это имя краулера, которое помогает дать определённые указания конкретному ему.
Если брать шире, то User-Agent — клиентское приложение на стороне поисковой системы, в некотором смысле имитирующее браузер или, например, мобильное устройство.
Примеры:
-
User-agent: *— символ астериск используются для обозначения сразу же всех краулеров. -
User-agent: Yandex— основной краулер Яндекс-поиска. -
User-agent: Google-Image— робот поиска Google по картинкам. -
User-agent: AhrefsBot— краулер сервиса Ahrefs.
Важно: если в файле указаны правила для конкретных User-Agent, то роботы будут следовать только своим инструкциям, игнорируя общие правила.
В примере ниже краулер DuckDukcGo сможет сканировать папки сайта /api/ и /tmp/, несмотря на астериск («звёздочку»), отвечающий за инструкции всем роботам.
User-agent: * Disallow: /tmp/ Disallow: /api/ User-agent: DuckDuckBot Disallow: /duckhunt/
Disallow
Директива, которая позволяет блокировать от индексации полностью весь сайт или определённые разделы.
Может быть полезно для закрытия от сканирования служебных, динамических или временных страниц (символ # отвечает за комментарии в коде и игнорируется краулерами).
User-agent: * # Закрываем раздел /cms и все файлы внутри Disallow: /cms # Закрываем папку /images/resized/ (сами изображения разрешены к сканированию) Disallow: /api/resized/
Упростить инструкции помогают операторы:
-
*— любая последовательность символов в URL. По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *. -
$— символ в конце URL-адреса, он используется чтобы отменить использование * на конце правила.
User-agent: * # Закрываем URL, начинающиеся с /photo после домена. Например: # /photos # /photo/overview Disallow: /photo # Закрываем все URL, начинающиеся с /blog/ после домена и заканчивающиеся /stats/ Disallow: /blog/*/stats$
Важно: в robots.txt не нужно закрывать JS и CSS-файлы, они понадобятся поисковым роботом для правильного отображения (рендеринга) контента.
Allow
С помощью этой директивы можно, напротив, разрешить каталог или конкретный адрес к индексации. В некоторых случаях проще запретить к сканированию весь сайт и с помощью Allow открыть нужные разделы.
User-agent: * # Блокируем весь раздел /admin Disallow: /admin # Кроме файла /admin/css/style.css Allow: /admin/css/style.css # Открываем все файлы в папке /admin/js. Например: # /admin/js/global.js # /admin/js/ajax/update.js Allow: /admin/js/
Также Allow можно использовать для отдельных User-Agent.
# Запрещаем доступ к сайту всем роботам User-agent: * Disallow: / # Кроме краулера Яндекса User-agent: Yandex Allow: /
Crawl-delay
Директива, теряющая актуальность в случае Goolge, но полезная для работы с другими поисковиками.
Позволяет замедлить сканирование, если сервер бывает перегружен. Устанавливает интервал времени для обхода страниц в секундах (для Яндекса). Чем выше значение, тем медленнее краулер ходит по сайту.
User-agent: * Crawl-delay: 5
Несмотря на то, что Googlebot игнорирует подобные правила, настроить скорость сканирования можно в Google Search Console проекта.
Интересно, что китайский Baidu также не обращает внимание на Crawl-delay в robots.txt, а Bing воспринимает команду как «временное окно», в рамках которого BingBot будет сканировать сайт только один раз.
Важно: если установлено высокое значение Crawl-delay, убедитесь, что ваш сайт своевременно индексируется. В сутках 86 400 секунд, при Crawl-delay: 30 будет просканировано не более 2880 страниц в день, что мало для крупных сайтов.
Sitemap
Одно из ключевых применений robots.txt в SEO — указание на расположение карты сайты. Обратите внимание, используется полный URL-адрес (их может быть несколько).
Sitemap: https://www.example.com/sitemap.xml Sitemap: https://www.example.com/blog-sitemap.xml
Нужно иметь в виду:
-
Директива Sitemap указывается с заглавной S.
-
Sitemap не зависит от инструкций User-Agent.
-
Нельзя использовать относительный адрес карты сайта, только полный URL.
-
Файл XML-карты сайта должен располагаться на том же домене.
Также убедитесь, что ссылка возвращает статус 200 OK без редиректов. Проверить можно с помощью инструмента, определяющего ответ сервера или анализа XML-карты сайта.
Типичный robots.txt
Ниже представлены простые и распространенные шаблоны команд для поисковых роботов.
Разрешить полный доступ
Обратите внимание, правило для Disallow в этом случае не заполняется.
Полная блокировка доступа к хосту
User-agent: * Disallow: /
Запрет конкретного раздела сайта
User-agent: * Disallow: /admin/
Запрет сканирования определенного файла
User-agent: * Disallow: /admin/my-embarrassing-photo.png
Распространенная ошибка
Установка индивидуальных правил для User-Agent без дублирования инструкций Disallow.
Как мы уже выяснили, при указании директивы User-Agent, соответствующий краулер будет следовать только тем правилам, что установлены именно для него. Не забывайте дублировать общие директивы для всех User-Agent.
В примере ниже — слегка измененный robots.txt сайта IMDB. Общие правила Disallow не будут распространяться на бот ScoutJet. А вот Crawl-delay, напротив, установлена только для него.
# отредактированная версия robots.txt сайта IMDB # # Задержка интервала сканирования для ScouJet # User-agent:ScouJet Crawl-delay: 3 # # # # Все остальные # User-agent: * Disallow: /tvschedule Disallow: /ActorSearch Disallow: /ActressSearch Disallow: /AddRecommendation Disallow: /ads/ Disallow: /AlternateVersions Disallow: /AName Disallow: /Awards Disallow: /BAgent Disallow: /Ballot/ # # Sitemap: https://www.imdb.com/sitemap_US_index.xml.gz
Противоречия директив
Общее правило — если две директивы противоречат друг другу, приоритетом пользуется та, в которой большее количество символов.
User-agent: * # /admin/js/global.js разрешён к сканированию # /admin/js/update.js по-прежнему запрещён Disallow: /admin Allow: /admin/js/global.js
Может показаться, что файл /admin/js/global.js попадает под правило блокировки содержащего его раздела Disallow: /admin/. Тем не менее, он будет доступен для сканирования, в отличие от всех остальных файлов в каталоге.
Список распространенных User-Agent
| User-Agent | # |
|---|---|
| Googlebot | Основной краулер Google |
| Googlebot-Image | Робот поиска по картинкам |
| Bing | |
| Bingbot | Основной краулер Bing |
| MSNBot | Старый, но всё ещё использующийся краулер Bing |
| MSNBot-Media | Краулер Bing для изображений |
| BingPreview | Отдельный краулер Bing для Snapshot-изображений |
| Яндекс | |
| YandexBot | Основной индексирующий бот Яндекса |
| YandexImages | Бот Яндеса для поиска по изображениям |
| Baidu | |
| Baiduspider | Главный поисковый робот Baidu |
| Baiduspider-image | Бот Baidu для картинок |
| Applebot | Краулер для Apple. Используется для Siri поиска и Spotlight |
| SEO-инструменты | |
| AhrefsBot | Краулер сервиса Ahrefs |
| MJ12Bot | Краулер сервиса Majestic |
| rogerbot | Краулер сервиса MOZ |
| PixelTools | Краулер «Пиксель Тулс» |
| Другое | |
| DuckDuckBot | Бот поисковой системы DuckDuckGo |
Советы по использованию операторов
Как упоминалось выше, широко применяются два оператора: * и $. С их помощью можно:
1. Заблокировать определённые типы файлов.
User-agent: * # Блокируем любые файлы с расширением .json Disallow: /*.json$
В примере выше астериск * указывает на любые символы в названии файла, а оператор $ гарантирует, что расширение .json находится точно в конце адреса, и правило не затрагивает страницы вроде /locations.json.html (вдруг есть и такие).
2. Заблокировать URL с параметром ?, после которого следуют GET-запросы (метод передачи данных от клиента серверу).
Этот приём активно используется, если у проекта настроено ЧПУ для всех страниц и документы с GET-параметрами точно являются дублями.
User-agent: * # Блокируем любые URL, содержащие символ ? Disallow: /*?
Заблокировать результаты поиска, но не саму страницу поиска.
User-agent: * # Блокируем страницу результатов поиска Disallow: /search.php?query=*
Имеет ли значение регистр?
Определённо да. При указании правил Disallow / Allow, URL адреса могут быть относительными, но обязаны сохранять регистр.
User-agent: * # /users разрешены для сканирования, поскольку регистр разный Disallow: /Users
Но сами директивы могут объявляться как с заглавной, так и с прописной: Disallow: или disallow: — без разницы. Исключение — Sitemap: всегда указывается с заглавной.
Как проверить robots.txt?
Есть множество сервисов проверки корректности файлов robots.txt, но, пожалуй, самые надёжные: Google Search Console и Яндекс.Вебмастер.
Для мониторинга изменений, как всегда, незаменим «Модуль ведения проектов»:
-
Контроль индексации на вкладке «Аудит» — динамика сканирования страниц сайта в Яндексе и Google.
-
Контроль изменений в файле robots.txt. Теперь точно не упустите, если кто-то из коллег закрыл сайт от индексации (или наоборот).
Держите свои robots.txt в порядке, и пусть в индекс попадает только необходимое!