The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

GitLab заблокировал BPC, браузерное дополнение для обхода Paywall, opennews (??), 15-Апр-24, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


103. "GitLab заблокировал BPC, браузерное дополнение для обхода Pa..."  +/
Сообщение от нах. (?), 15-Апр-24, 14:07 
И как у тебя с белым списков включающим все возможные адреса ботов гугля, бинга, xepняндекса и сколько там их еще?

А то мне очень нужен, я б его немного перекрасил и в деплой.

Ответить | Правка | Наверх | Cообщить модератору

115. "GitLab заблокировал BPC, браузерное дополнение для обхода Pa..."  +/
Сообщение от Аноним (130), 15-Апр-24, 14:22 
RTFM.
https://developers.google.com/search/docs/crawling-indexing/...- там ссылки на адреса гугловых пауков, разбитых по группам, в формате JSON + CIDR.
Тут для бинга: https://www.bing.com/webmasters/help/how-to-verify-bingbot-3... .
https://yandex.ru/ips - для яндекса.

Для остальных можно получить прибщизительно через сайты анализа BGP.

Ответить | Правка | Наверх | Cообщить модератору

126. "GitLab заблокировал BPC, браузерное дополнение для обхода Pa..."  +/
Сообщение от нах. (?), 15-Апр-24, 14:37 
> RTFM.
> https://developers.google.com/search/docs/crawling-indexing/...

это протухло, уже давно.
(не то чтобы не стоило и их блочить, но этого мало)

> Для остальных можно получить прибщизительно через сайты анализа BGP.

блин! У тебя вот хотя бы СПИСОК этих остальных есть?
Причем вместе с ASn потому что они очень любят регистрироваться на хренов с горы.


Ответить | Правка | Наверх | Cообщить модератору

137. "GitLab заблокировал BPC, браузерное дополнение для обхода Pa..."  +/
Сообщение от Аноним (137), 15-Апр-24, 14:49 
Это не чёрные списки, а белые.
Ответить | Правка | Наверх | Cообщить модератору

166. "GitLab заблокировал BPC, браузерное дополнение для обхода Pa..."  +/
Сообщение от Аноним (166), 15-Апр-24, 15:56 
> https://yandex.ru/ips - для яндекса.

Не удалось открыть веб-страницу
При загрузке веб-страницы https://yandex.ru/ips произошла ошибка по следующим причинам:

net::ERR_CONNECTION_REFUSED

Ответить | Правка | К родителю #115 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру