До чего доводит безделье или очередная игрушка для оптимизатора.

Последние два дня с точки зрения SEO новостей оказались очень скучными, на мой сугубо личный взгляд. Все SEO блоггеры пишут только об  одном — ап тиц, возможный откат, возможный глюк или еще что-то. Одним словом — скукотища. Даже почитать нечего. (кстати у меня все относительно нормально, только один проект — этот блог в минус ушел). Ну решил я, что стоит замутить какой-то полезный (ну или не очень) инструмент-игрушку для оптимизатора. Поломал голову, подумал — вроде все есть, и платные, и бесплатные. Остановился на одном — конкуренция по заданному запросу. Пораскинул чуть мозгами и придумал новую программу (не стоит ее воспринимать как мега серьезную программу, это всего лишь игрушка для оптимизатора, хотя если будут хорошие идеи, то обещаю развить ее до полезного, очень полезного продукта). Назвал я ее KW Competition (Если у вас есть лучшее предложение насчет названия — отпишитесь в комментариях.), написал за парочку свободных вечеров. Она полностью бесплатная сейчас и останется таковою до конца своих дней.

Суть программы

В чем же суть программы? Программа представляет собой ничто иное, как простой парсер. Нет… Не так… Начну с начала. Когда мы оцениваем конкуренцию по какому либо запросу, мы в первую очередь смотрим на частотность, на сайты, которые есть в ТОП Яндекса, на их показатели. KW Competition не делает ничего особенного. Парсит первые 10 сайтов выдачи яндекса по заданному запросы и выдает их данные:

1. Страницы в Google
2. Страницы в Yandex
3. Страницы в Bing
4. Страницы в Yahoo
5. Ссылки в Yandex
6. Ссылки по Yahoo
7. Alexa Rank
8. ТИЦ
9. PR (морды, на самом деле нужно бы вычислять PR страницы, которая есть в выдаче, но я просто не нашел нормального он-лайн сервиса для определения PR внутренних страниц. Может подскажете?)
10. Возраст домена
11. xTool Trust. (хоть это и бред, но решил включить).
12. Наличие в DMOZ
13. Наличие в Yahoo Dir
14. Наличие в Я.Каталог.
15. Парсинг Wordstat (временно не работает. Отпуск )) . )
16. Импорт заголовков страниц
17. Импорт Мета KeyWords страницы.
18. Импорт Meta Description.

Примечание: Последние три функции работают с глюками, есть проблемы с распознаванием кодировок страниц — как только решу сообщу.

Теперь думаю, что ясна суть программы. Она просто собирает данные о сайтах в ТОП. Это только первая, пробная версия. Если такая программа действительно нужна оптимизаторам, то есть мысли сделать:

1. Парсинг SeoPult на предмет ссылочных бюджетов сайтов в ТОП.
2. Парсинг WebEffector для расчета стоимости продвижения данного запроса.

Буду также рад вашим идеям.Не забывайте, программа бесплатная, ничего мне за это не будет, а вам будет польза — получите необходимый вам инструмент.

Сама программа

Теперь покажу интерфейс программы:

Основной интерфейс программы максимально простой — одна таблица, пара кнопок и ничего лишнего. Ввели запрос, подождали и получили результат.

Настройки программы. Как видите можно настраивать данные, которые необходимо получать. Есть также возможность использования Proxy серверов, что особенно актуально тогда, когда Яндекс неожиданно выдаст Вам каптчу, заподозрив в автоматических запросах (об этом немного будет сказано ниже).

Есть также возможность экспорта полученных данных в HTML или в Excel (пока только пробная версия).

О багах (возможных и известных).

Теперь скажу о возможных багах. Продукт пока откровенно говоря — сырой. При обнаружении багов/ошибок, при любых предложениях отписывайтесь в комментариях. Это первая версия (0.1), в этой версии есть несколько недостатков:

1. Ошибочно определяется кодировка на многих страницах, из-за этого МЕТА данные подгружаются только на небольшом количестве сайтов.
2. Title тоже часто подгружается с ошибками.
3. Скорость загрузки не очень большая. Все данные для 10 сайтов со скоростью в 512 кбит/с загружаются примерно за 3 минуты. Много? Много… Связано это с тем, что необходимо делать тайм-ауты, дабы Яндекс не начал нам выдавать каптчу, вместо страницы выдачи.
4. Пока нету SeoPult и WebEffector, но это дело ближайшего времени.