Оптимизация и продвижение в интернете

8 правил, которые помогают улучшить и ускорить индексацию сайтов с огромным количеством страниц

Link to Сосновский.ру — оптимизатор по жизни

8 правил, которые помогают улучшить и ускорить индексацию сайтов с огромным количеством страниц

Posted: 26 Sep 2018 02:00 AM PDT

Когда на сайте 10, 100 или 1000 страниц, то о полноте индексации, как правило, переживать не стоит. Но если речь идет о большом проекте (в основном, это интернет-магазины) с сотнями тысяч документов (а порой и несколькими миллионами), то с индексированием могут возникнуть проблемы.

Ниже я расскажу, как улучшить индексацию, чтобы добиться максимального количества эффективных посадочных страниц в индексе поисковых систем.

много "людей"

Почему это важно?

Индексация — основа поискового трафика. Непроиндексированная страница не принесет посетителей из поиска. Плохое качество индексации — один из главных "звонков" о проблемах в ранжировании сайта.

Поисковые системы стали более избирательны, чем ранее. С каждым годом количество сайтов и, соответственно, страниц растет чуть ли не в геометрической прогрессии. Если добавлять в индекс все, что на них публикуется, то это будет дополнительными расходами на серверные мощности. Поэтому поисковики выбирают, что и сколько им индексировать.

Ниже мои советы и рекомендации, которые позволят достичь наиболее полной индексации для сайтов с большим количеством документов (кстати, для "мелких" проектов они тоже будут полезны :smile: ).

От чего отталкиваться?

Нельзя просто ввести, например, в google site:domen.ru, посмотреть результаты и сказать, что мой сайт плохо индексируется. Почему? Во-первых, количество проиндексированных страниц необходимо смотреть в Google Search Console и/или Яндекс.Вебмастер. Данные из поисковой выдачи могут серьезно отличаться от реальных.

Во-вторых, полученное количество документов в индексе нужно сравнивать с числом полезных страниц ресурса. Что сюда входит:

Категории/разделы;
Карточки товаров;
Статьи в блоге;
Фильтры, метки или теги (если индексируются);
Обзоры пользователей;
Отзывы;
Служебное меню ("О компании", "Услуги", "Оплата", "Доставка" и т. п.);
Бренды/производители;
Новости

В общем, необходимо проанилизировать структуру проекта и сложить количество всех полезных страниц. Затем полученную сумму сравнивать с числом документов в индексе по данным поисковых систем. Если:

цифры примерно совпадают — все в порядке (с учетом, если нет дублей и "мусора");
в индексе больше документов, чем на самом деле на сайте — есть дубли и "мусор";
проиндексировано меньше, чем на самом деле — вот это и будем разбирать ниже .

Главные задачи:

запретить к индексации все лишнее на сайте;
давать только измененный и непроиндексированный контент;
помочь поисковым системам найти важные страницы.

1. Настройте Last-Modified и If-Modified-Since

304 Not Modified

Это HTTP-заголовки, которые сообщают индексирующему роботу о последнем изменении страницы. Если она изменена, то он зайдет на нее и проиндексирует (в случае если о ней до этого не знал)/переиндексирует. Если нет (сервер возвращает ответ "304 Not Modified") — проигнорирует и перейдет к другой.

Зачем это делать? Дело в том, что у каждого ресурса имеются свои ограничения по количеству просканированных документов за раз — краулинговый бюджет. На его величину влияет качество проекта, актуальность контента, частота обновлений и т.п.

В итоге краулинговый бюджет не тратится на неизмененные страницы — увеличивается число проиндексированных документов.

2. Избавьтесь от дублей и "мусорных" страниц

Второй по счету, но не по важности пункт. Краулинговый бюджет может тратиться не только на неизмененный контент, но и также на дубли и "мусор". Что сюда входит? В основном это страницы:

поиска;
с ошибками 404;
календаря;
пагинации;
с сессиями в URL;
фильтров;
тегов/меток;
с некачественным контентом: пустые, спамные;
служебные (корзина, административная панель);
с версиями для печати;
сортировок.

Это далеко не полный список. Все случаи индивидуальны. Как правило, качественный аудит расставляет точки над i :smile: .

На заметку. Редиректы и альтернативные страницы (AMP, hreflang и, вероятно, Турбо) также забирают краулинговый бюджет.

3. Организуйте грамотную перелинковку

множественное рукопожатие

Пункт "лежит" на поверхности, но не все им пользуются. Грамотная перелинковка — сильный фактор для улучшения индексации. На что здесь можно обратить внимание:

блок "похожие товары";
сопутствующее;
популярные;
со скидкой и по акции;
предыдущий/следующий товар;
хлебные крошки

Чем меньше вложенность страниц, тем лучше для индексации. Следите, чтобы до любого документа можно было добраться с главной за 3-5 кликов.

4. Создайте Sitemap: XML + HTML

Тоже общеизвестный пункт, но со своими особенностями. Частые ошибки:

неработающие подкарты со старыми урлами (когда-то все работало, но спустя время перестало — необходимо иногда проверять sitemap);
все ссылки на одной странице (ограничение 50.000 URL на одну карту; если больше - создавать несколько подкарт);
sitemap на поддомене (нужно публиковать карту в рамках основного доменного имени).

Есть следующий интересный способ. В карту сайта добавляются не все, а только непроиндексированные документы. Сам такой метод не тестировал, но логика в нем несомненно имеется . Первое — реализовать подобное будет не совсем просто (необходима дополнительная разработка, взаимодействие с Яндекс.Вебмастером/Google Search Console). Второе — использовать только тогда, когда стоит задача добавить в индекс, действительно, большое количество URL's.

5. Уменьшите скорость загрузки сайта и оптимизируйте сервер

медленный сайт

Многие вебмастера знают, что если сканировать медленный сайт, например, Screaming Frog SEOSpider или XENU, то программы работают существенно дольше. У индексирующих роботов схожий принцип работы. Чем меньше 5хх-ошибок и быстрее:

ответ от сервера;
генерация страниц;
отдача контента;
и т. п.

тем легче поисковому пауку будет взаимодействовать с сайтом, тем полнее он будет индексироваться.

Пункт важен не только в индексации, но и в рамках ранжировании. Им в принципе пренебрегать не стоит.

6. Плавно увеличивайте число страниц

Если ваш контент уже опубликован на сайте, то переходите к следующему пункту. Бывают ситуации, когда небольшой каталог продукции (100-500 страниц) превращается в большой онлайн-магазин (например, выгружаются все позиции из 1С).

Поставьте планировщик, который будет публиковать все страницы постепенно. Например, можно разделить общее количество на 2-6 месяцев (в зависимости от масштабов). Так поисковому роботу будет легче индексировать ресурс. Дополнительный бонус — раз проект постоянно обновляется, то он развивается (сигнал для ранжирования).

7. Направьте трафик на непроиндексированные страницы

траффик

"Трафик и индексация, где здесь связь?" - спросите вы. Раньше, может быть и не было, но сейчас есть. 2 пункта:

Сервисы статистики (например, Яндекс.Метрика) могут отправлять непроиндексированные документы на индексацию. Что мешает Google Analytics делать то же самое (хотя официальных подтверждений я не нашел).
Браузеры (Яндекс.Браузер, Google Chrome) могут поступать аналогично.

Логика в следующем: раз страницу посещают, то, скорее всего, она полезная, а значит должна быть в индексе. Устанавливайте сервисы статистики от поисковых систем и приобретайте трафик. Не обязательно дорогой контекстный. Можно задействовать и другие источники:

социальные сети;
тизерные системы;
задания на почтовиках;
САРы.

Соответственно, "лить" трафик на непроиндексированные документы.

8. Поставьте ссылки

Еще один дополнительный сигнал поисковым системам о том, что сайт нужно индексировать наиболее полно. Вечные ссылки на каждую страницу, конечно же, не поставишь. Здесь больше важен общий уровень доверия со стороны поисковиков.

Можно использовать общую ссылочную стратегию для основных продвигаемых страниц (будет также полезно). Немного "рискованный" вариант — использование арендных ссылок, но без фанатизма (подбирать более-менее качественные площадки, высокий уровень вложенности и использовать естественные анкоры).

Добавить в индекс несколько миллионов документов не совсем простая задача. В каких-то случаях может помочь только 1-2 пункта, но лучше использовать весь комплекс. А какие способы вам кажутся самыми эффективными? Может быть, вы знаете другие варианты? Буду рад пообщаться с вами на эту тему в комментариях.

Статьи по теме:

Copyright © 2018, Sosnovskij.ru. Все права защищены. | Постоянная ссылка на пост
Хотите узнать больше? Посмотреть все записи в категории Продвижение сайтов.

⏩ Мне так стыдно ....

Мне очень стыдно перед тобой…

Давно хотел признаться в одной вещи, но все откладывал.

Вероятно ты уже скачивал и использовал мой SEO чек-лист

Везде я говорю, что использую его и сам и провожу аудиты клиентских проектов по нему, но это как-бы не совсем так....

Аудит, который я даю в свободном доступе является сильно упрощенной и обрезанной версией моего настоящего чек-листа, по которому я работаю над клиентскими проектами.

Я просто не мог позволить себе выложить в открытый доступ все свои наработки за много лет. Я собрал достаточно важные пункты в одном месте и выложил, но самую ценную информацию я все-таки утаил ;)

На самом деле, существуют такие правки, которые можно внедрить, к примеру, на интернет магазин, всего за 5 минут и они резко повышают коммерческость страниц-категорий и как следствие уже через пару месяцев сайт начинает получать больше коммерческого трафика (запросы с купить и т.д.).

Так же есть правки, которые увеличивают CTR сниппета практически в полтора раза, а следовательно и трафик из поисковиков. Все эти технологии я использую при работе над клиентскими проектами.

Рассказал и аж от сердца отлегло….

Ну не могу же я давать такую информацию в открытом доступе, вы должны понимать.

Кстати, уже завтра я проведу свой вебинар, так вот – его участникам в прямом эфире я раздам свой актуальный сео чек-лист!!!

Это будет моя благодарность за то что вы пришли, в то же время, мой аудит получит достаточно узкий круг лиц и мне нечего бояться, что информация разойдется по всему Рунету. Тем более, что я не планирую публиковать запись вебинара...

Если картинка не отображается - ссылка регистрации на вебинар.

Вы получили это сообщение, т.к. являетесь подписчиком проекта: SEO блог Антона Маркина (http://www.markintalk.ru/)

Письмо отправлено сервисом autoweboffice.com

Если Вы желаете отказаться от дальнейших рассылок автора, то, пожалуйста, нажмите ссылку для отписки.
Отписаться от рассылки: http://markintalk.autoweboffice.ru/?r=personal/newsletter/sub/unsubscribe&id=markintalk-34208-d3c42bf6a07de0d10214a6f77bd56ab7&email=voldemar372009.voldemar@blogger.com

Если Вы считаете, что данное сообщение является СПАМом, вы можете пожаловаться на СПАМ от компании markintalk

👀 Мастер-класс "Пошаговый план эффективного продвижения сайта от А до Я "

Приглашаю тебя на мой БЕСПЛАТНЫЙ мастер-класс:

Дата и Время: 26 Сентября 19:00 по МСК

ТЕМА вебинара:

«Пошаговый план эффективного продвижения сайта от А до Я + методы работы с активной семантикой»

Сам вебинар пройдет в формате мастер-класса, где я покажу правильные этапы действительно ЭФФЕКТИВНОГО продвижения и на некоторых остановлюсь максимально подробно, в частности, на методах работы с активной семантикой.

Краткая программа:

• Пошаговый план запуска МОЩНОГО SEO от А до Я
• С чего начать ЭФФЕКТИВНОЕ продвижение молодого/старого сайта и в чем отличия
• Методы работы с активной семантикой
• Как правильно готовить Title и H1
• Какие еще элементы оказывают наибольшее влияние на ранжирование
• Текстовая оптимизация шаблонных элементов
• Позиционка и трафиковый подход

Спеши, число мест строго ограничено! Записи не будет!

Кейс: с 0 до 30000 за 10 месяцев — создание нишевого сайта

Posted: 18 Sep 2018 04:02 AM PDT

Помните, несколько лет назад я публиковал пост "Можно ли поднять посещаемость только с помощью контента?". Сегодня продолжение темы — небольшой кейс.

Тот случай, когда выбор ниши — ключевой момент в создании и развитии сайта. Результаты получились не сногсшибательными в абсолютных значениях, но свои 1000 ежесуточных посетителей ресурс получил без большого бюджета в контент и абсолютно без покупных ссылок. Сейчас он практически не отнимает времени.

с 0 до 30000 за 10 месяцев

Откуда пришла идея?

Идея создать этот сайт у меня появилась после того, как на одном из информационников одна статья стала собирать много комментариев (и, соответственно, поисковой трафик). Я более детально проанализировал нишу и понял, что:

трафик в ниши есть — 185.000 по wordstat без кавычек по главному слову;
прямой конкуренции практически нет - в основном это отдельные статьи, но на крупных площадках + 1 неактивный форум;
основной пользовательский спрос распределен на 5-10 страниц + несколько десятков вспомогательных (не нужно делать большой проект).

Принял решение создать отдельный сайт. Собрал семантику, составил ТЗ (отправил копирайтеру), поставил WordPress, нашел бесплатную тему и немного доработал ее. Ресурс начал потихоньку наполняться (с ноября прошлого года).

Слышал, что случилось с Маркиным Антоном? Это невероятно!

Он написал самое полное пошаговое руководство (видео-урок) по продвижению сайта по позициям от А до Я ;)

Самая, самая огненная статья за все время существования моего блога!

В данном уроке я по шагам покажу все этапы продвижения сайта по позициям от А до Я в режиме "смотри и повторяй за мной".

💡Если повятся любые вопросы по данной теме - задавай в комментариях - на все подробно отвечу!

Ссылка на руководство

Продвижение сайтов без воды.

Руководство по позиционному продвижению (ВЧ запросы)

Posted: 12 Sep 2018 03:49 PM PDT

Ниже ты найдешь наиболее подробное руководство по позиционному продвижению, подробную пошаговую видео-инструкцию и все необходимые раздаточные материалы и ссылки на источники. Основа данной статьи именно детальная видео-инструкция, где все разложено по полочкам и даже новичок разберется! Данное руководство позволит тебе настроить на своем сайте продвижение основных ВЧ запросов (ранее немного писал про раскрутку по ВЧ), правильно распределить их по страницам и вывести в ТОП. Все описано предельно простым языком и по шагам в формате – "смотри и повторяй за мной". И все это полностью БЕСПЛАТНО, так что буду предельно признателен за посильное распространение данной статьи, лайки и репосты! Чем

Вебмастер «украл» сайт — что делать? 10-ка лучших вопросов от читателей

Posted: 11 Sep 2018 08:35 AM PDT

Сегодня 10 лучших вопросов от читателей блога и мои ответы на них. Садитесь поудобнее, выбирайте понравившийся вопрос и кликайте на него — автоматически попадете на ответ. Внизу же опубликую результаты мини-конкурса и буду ждать от вас отзывы и комментарии ;).

выпуск "Вопрос-ответ" №35

1. Использует ли Google "*" по-умолчанию в правилах robots.txt?

В справке Яндекса написано, что в robots.txt в правилах Disallow и Allow используется знак "*" (звездочка) по-умолчанию. Грубо говоря, чтобы запретить URL's, которые начинаются с musor, достаточно написать Disallow: /musor, а не Disallow: /musor*.

А как у Google?

Это легко проверить, хотя ответ напрашивается сам собой :smile: . Заходим в Google Search Console, далее "Инструмент проверки robots.txt" и, к примеру, проверяем такой URL.

проверка файла robots.txt в google

Получается, что в Google, также как и в Яндексе на конце правил в robots.txt "*" ставится по умолчанию.

2. Как приручить быстроробота?

Copyright © 2018, Sosnovskij.ru. Все права защищены. | Постоянная ссылка на пост
Хотите узнать больше? Посмотреть все записи в категории Вопрос-ответ.

706.000$ от PlayAttack: 2 щедрых конкурса для стримеров и вебмастеров

Posted: 04 Sep 2018 11:00 PM PDT

Нравятся мне конкурсы в гемблинг-тематике — призовые фонды просто ошеломляющие. Вот и сейчас партнерская программа PlayAttack проводит 2 конкурса с денежными призами на сумму 706.000$. Приглашаю принять участие и побороться за призовые места!

2 конкурса от playattack

На самой партнерке долго останавливаться не буду. Те, кто читает мой блог, знает о ней. Коротко напомню основные условия:

популярные и "незаезженные" слоты: SlotV, Frank, Columbus, Drift и Aplay (есть, где развернуться для тестов под определенный трафик);
лицензионный софт (все по-честному, SlotV и Frank с лицензией от MGA);
revshare: 60% в первую неделю и 40-55% в последующие (зависит от количества привлеченных игроков);
возможность работы по CPA-модели и гибридной (CPA + revshare);
большой выбор промо-материалов (индивидуальные промо по запросу);
стабильные выплаты (2 раза в месяц на webmoney, ЯД, skrill, epayments и wire transfer);
отрицательный баланс не переносится на следующий месяц.

Внимание! Скоро появится новый слот с акцентом на биткоины. Следите за обновлениями партнерской программы.

Конкурс №1 - Streamapocalypse X2 на 600.000$

Недавно я рассказывал про первую часть Streamapocalypse. Там разыгралось 300.000$. Конкурс удался, и в PlayAttack решили его повторить, но не просто так, а удвоив призовой фонд! Теперь это 600.000$ (более 40 млн рублей как никак :cool: ). Зарегистрироваться в конкурсе можно на этой странице.

Что нужно для участия? Совсем немного:

Войти под своим логином/паролем от PlayAttack;
Связать аккаунты;
Стримить свои игры.

Чем больше стримов и чем больше ваша аудитория, тем больше очков и выше место в ТОПе. Сейчас заканчивается второй этап, но последующие независимы и не связаны с предыдущими. Можно смело начинать, пройти в число финалистов и побороться за главные призы.

Конкурс №2: 106000$ вебмастерам

Для тех, кто не любит стримить, проходит второй конкурс тоже с немаленьким призовым фондом - более 7 млн рублей.

Конкурс продлится до 15 сентября. Время еще есть, но желающим советую поторопиться :smile: . Участие могут принять как работающие в системе партнеры, так и новые — в общем, все желающие.

2 основные номинации и 3 дополнительных. Партнеры соревнуются в сумме FTD (First Time Deposit - первый депозит привлеченных игроков).

Количество FTD СНГ:

1 место 20 000$;
2 место 10 000 $;
3 место 5000 $;
с 4-го по 6-е место - 60% revshare на один месяц.

Количество FTD Весь мир (кроме СНГ):

1 место 20 000 $
2 место 10 000 $
3 место 5000 $
с 4-го по 6-е место - 60% revshare на один месяц.

Дополнительные номинации:

Количество FTD Весь мир для новых партнеров;
Количество сыгранных раундов;
Сумма FTD за время проведения конкурса Весь мир (кроме СНГ).

Среди участников, не попавших в призовые места, будет разыгран MacBook Pro. Подробнее об условиях и призовом фонде смотрите на официальной странице конкурса.

Если у вас есть сайты по гемблинг тематике, любите стримить или умеете работать с трафиком в данной нише, то советую долго не раздумывать и участвовать в конкурсах. Во-первых, протестируете партнерскую программу, во-вторых, получите возможность побороться за денежные призы ;-) .

Как вам такие призовые фонды? Поделитесь впечатлениями в комментариях !

* на правах рекламы

Статьи по теме:

Анализ ТОП 1000 сайтов Рунета: влияет ли посещаемость сайта на ИКС?

Posted: 03 Sep 2018 07:06 AM PDT

31 августа Яндекс ввел новый показатель оценки качества — ИКС. Самый главный вопрос: "что влияет на этот показатель?". Популярное предположение, которое сразу бросается в глаза — посещаемость ресурса. А какие варианты есть у вас?

Я проанализировал ТОП 1000 проектов Рунета и проверил закономерность. Ниже результаты исследования и мои выводы.

исследование ТОП 1000 площадок рунета

В первую очередь, хотел бы немного уточнить заголовок поста. Корректнее говорить о корреляции нежели о влиянии того или иного показателя на величину ИКС.

Продвижение сайтов без воды.

Как правильно писать Тайтл страницы — новый взгляд

Posted: 02 Sep 2018 09:57 AM PDT

Сразу говорю, в этой статье ты не найдешь тупой набор бестолковых советов, вида указания размера Title или численного значения плотности ключа. Все это редкостная дичь, распространившаяся по сети, как вирус… Основа правильного написания meta Title именно понимание основ. Но эти основы понимают далеко не все, просто прочитай статью и все сам увидишь! Статья вышла большая, но оно того стоит, уж поверь. Какой элемент сео оптимизации страницы имеет наибольшее значение?! Думаю, что ты без труда ответишь на этот вопрос правильно – конечно же тайтл страницы! Ок, согласен, но как правильно его оптимизировать? Ну, надо в самом начале тайтла написать главное ключевое слово