Бывают случаи, когда необходимо добавить сайт с большим количеством страниц в известную биржу ссылок sape. Одно дело, когда страниц не много и сайт статичный, тогда особых проблем с нахождением всех страниц роботом биржи не возникает. А вот если сайт на CMS, плюс ко всему на нем множество страниц, возникает небольшая проблемка.

Такую проблему решить не составляет особого труда, правда, если знать как. Лично я склоняюсь к тому, что оптимальнее всего использовать бесплатные способы создания карты сайта, причем в сети вариантов создания карты сайта более чем предостаточно.

Я рассмотрю в данном посте несколько вариантов создания карты сайта. Ну а вы решите сами, какой наиболее оптимален для вас.

Итак, начнем, пожалуй, с бесплатных сервисов онлайн. Стоит отметить, что некоторые сервисы вводят ограничение на количество просматриваемых страниц. Как правило, это порядка 500-1000 страниц. Снятие ограничений решается с помощью оплаты досканирования страниц.

О первом сервисе, о котором пойдет речь – htmlweb.ru. Преимущества сервиса в том, что он создает уже готовую карту сайта в форматах .xml, .html, .txt. Вам лишь остается ввести url сайта и получить ожидаемый результат.

Ограничение на количество сканированных страниц – 1000. Однако вы всегда можете доплатить требуемую сумму и увеличить этот показатель до 3000.

Сервис отлично справляется со сканированием страниц до 1000, потом начинаются проблемы. По крайней мере, у меня так было и не раз. Я заплатил 3 раза по 11 рублей, чтобы досканировать оставшиеся страницы на сайте, однако сервис просто выдавал следующее «Сканируется, пожалуйста, ждите». И на этом все.

Для маленьких сателлитов и сайтов данный сервис подойдет как-никак кстати. Пробуйте, по результатам можете отписаться в комментариях к посту.

Идем дальше. Весьма неплохой забугорный сервис xml-sitemaps.com, который формирует несколько вариантов карты вашего сайта: XML, HTML, Text Format. Как говорится, выбирайте тот вариант, который вам по душе.

В отличие от первого сервиса, здесь меньший лимит индексации страниц – 500. За индексирование большего количества страниц вам придется заплатить. Сколько? Всего ничего – $19.99.

Естественно, наш бедный вебмастер просто не в состоянии заплатить такую сумму, поэтому я советую прочитать о третьем варианте создания карты сайта.

Ну а теперь о самой продвинутой программе, с помощью которой все остальные сервисы просто стоят и курят в сторонке. Программа эта называется – gsitecrawler. Главное отличие от конкурентов заключается в ее бесплатности и бесперебойной работе. Теперь не нужно тратить деньги за воздух! Если программа, представленной мною и не справится с заданием (заглючит, например), то помимо времени вы ничего не теряете.
Дабы не томить вас, переходит непосредственно к делу. Скачиваем программу с официального сайта.

Несмотря на то, что программа на английском языке, я более чем уверен, что вам будет все понятно. А если нет, то я подробно расскажу, куда жать и что делать.

Устанавливаем gsitecrawler на свой компьютер. После установки запускаем программу.

После открытия программы жмем на клавишу «Add new project», так сказать добавляем новый проект. На следующей странице вводим url сайта, для которого будет создаваться карта сайта. В качестве примера я ввел урл своего блога.

После того, как программа проверить, доступен ли ваш сайт.  Лично я не снимаю галочки, оставляю как есть и перехожу к третьему шагу.

На третьем шаге подготовки проекта вам предлагают загрузить файл с картой сайта на хостинг посредством ftp. Я пропускаю данную опцию, но если вы желаете, можете воспользоваться ей.

И, последний, самый интересный момент. Здесь вам предложат пройтись по robots.txt, проверить информацию о страницах, которые не существуют, импортировать известные страницы поисковой системе Google, ну и, запустить выполнение задания прямо сейчас. Лично я пропускаю вариант с галочкой robots.txt только в том случае, если у меня в нем не стоят ограничения на индексацию ссылок, тегов и пр.

Запускаем выполнение задания простой кнопкой Finish и идем на кухню выпить чашечку кофе.

После того, как программа закончит с созданием карты, нам остается экспортировать ее на компьютер. Для этого переходим во вкладку Url list – Generate – Url list for export.

Перед вами откроется вот такой списочек.

Дабы не ходить вокруг да около, я выбираю графу «Simple text listing.txt», после чего просто экспортирую уже готовый вариант карты на свой компьютер. Если необходимо – дорабатываю карту.

Собственно на этом все. Ничего сложного нет. Программа просто великолепная, а главное – бесплатная.

В следующих постах я расскажу вам каким программным обеспечением лучше проверять страницы сайта на проиндексированность. Советую подписаться на RSS блога и быть в курсе всех событий.