Индексация сайта в поисковиках

Здесь можно обсудить сайт Far Manager и предложить идеи по его дальнейшему развитию.
Post Reply
kobri
Posts: 19
Joined: Fri 15 Nov, 2013 14:42
Been thanked: 1 time

Индексация сайта в поисковиках

Post by kobri »

А что случилось с индексацией в поисковиках? Встроенный поиск на форуме не очень удобный, хотел гуглом поискать, но оказалось, что со всего форума у гугла в индексе всего 9 страниц (смотрю запросом site:forum.farmanager.com)
А для яндекса, такое впечатление, что сайта вообще не существует, по запросу "FAR Manager" выдается что угодно, кроме farmanager.com
Last edited by kobri on Mon 04 Oct, 2021 23:21, edited 1 time in total.
User avatar
DrKnS
Posts: 6008
Joined: Thu 04 Aug, 2005 06:44
Location: Kyiv
Has thanked: 11 times
Been thanked: 390 times

Индексация сайта в поисковиках

Post by DrKnS »

Некоторое время назад нас ддосили китайцы и пришлось много банить.
Возможно, кого-то задело за компанию.

Боты вроде бы приходят:
image.png
kobri
Posts: 19
Joined: Fri 15 Nov, 2013 14:42
Been thanked: 1 time

Индексация сайта в поисковиках

Post by kobri »

Похоже боты яндекса и гугла заблокированы по User-Agent (смотрел этим инструментом)
Если там подставить User-Agent яндекса - страница вообще не грузится, сразу выдается "403 Forbidden"
Для гугла страницы грузятся, но вместо страниц форума выдается "You are not authorised to read this forum."
User avatar
HaRT
Moderator
Posts: 9916
Joined: Tue 30 Aug, 2005 17:21
Location: Санкт-Петербург
Has thanked: 141 times
Been thanked: 278 times

Индексация сайта в поисковиках

Post by HaRT »

kobri wrote: Tue 05 Oct, 2021 01:35 Похоже боты яндекса и гугла заблокированы
А что можете сказать про DuckDuckGo?
Фар есть инструмент, а не нянька. © 2009 DrKnS
kobri
Posts: 19
Joined: Fri 15 Nov, 2013 14:42
Been thanked: 1 time

Индексация сайта в поисковиках

Post by kobri »

У DuckDuckGo, если я правильно понял, User-Agent

Code: Select all

DuckDuckBot/1.0; (+http://duckduckgo.com/duckduckbot.html)
С ним форум грузится сейчас, проверяю так:

Code: Select all

curl -A "DuckDuckBot/1.0; (+http://duckduckgo.com/duckduckbot.html)" https://forum.farmanager.com/viewtopic.php?t=11911 >1.htm

Но вообще, как я слышал, он не столько сам сайты индексирует, сколько берет результаты других поисковиков, и обрабатывает по своим алгоритмам.
Post Reply

Return to “Обсуждение www.farmanager.com”