Пингуем Яндекс и Гугль

[Sla]

ну вот гляди...
https://forum.shelek.ru/index.php/topic,23821.0.html
Кто-то что-то сказал? Ладно. Это только новостная лента.
А не сказал, потому как не нужно.
Я после этой статьи пытался найти что-то в реализации.
И вот сегодня.... читаю про пинг гугля и яндекса.
Оказывается....
описан протокол Weblogs.Com XML-RPC interface
Описаны API  и создан сервис у Яндекса
Описан API Google http://www.google.com/help/blogsearch/pinging_API.html
а вот и реализация

Код:

require('IXR_Library.inc.php');
// Что посылаем в пингах
// Название сайта
   $Namesite = 'Твой сайт';
// Адрес сайта
   $URLsite = 'http://мой.сайт/';
// Адрес страницы, которая изменилась (например)
   $URLpage = 'http://мой.сайт/новыйпост');

/**
* Яндекс.Блоги - почему блоги мне совсем не понятно
*/
   $pingYA = new IXR_Client('ping.blogs.yandex.ru', '/RPC2');

// Посылаем challange-запрос
   if (!$pingYA->query('weblogUpdates.ping', $Namesite, $URLsite, $URLpage)) {
      echo 'Ошибка ping-запроса [' . $pingYA->getErrorCode().'] '.$pingYA->getErrorMessage();
   } else {
        echo 'Послан ping Яндексу';
   }

/**
* Google - опять почему-то блоги
*/
   $pingGoogle = new IXR_Client('blogsearch.google.com', '/ping/RPC2');

// Посылаем challange-запрос
   if (!$pingGoogle->query('weblogUpdates.extendedPing', $Namesite, $URLsite, $URLpage)) {
      echo 'Ошибка ping-запроса [' . $pingGoogle->getErrorCode().'] '.$pingGoogle->getErrorMessage();
   } else {
       echo 'Послан ping Google';
   }

И сам класс...
http://scripts.incutio.com/xmlrpc/IXR_Library.inc.txt

Да... и как я понял, что во многих блоговых движках это уже встроенная штука (кто-нибудь из блогеров об этом знает?). Приведенный пример для "велосипедистов".

зы...Почему здесь? А где?

ззы Про мгновенную индексацию не знаю, не проверял. Но есть надежда что поисковики узнают об этом новом посте чуть быстрее, чем простой индексацией.

зззы. Только б не забыть, что это я написал здесь

[Sla]

Сам перенес.
Потому как возник вопрос
Если у меня кодировка 1251, то нужно ли мне перекодировать в UTF?

и... а не сильно ли это все похоже на trackback?

[RXL]

Слав, кодировка чего и где?

Я так понял, сайт сам должен сообщить ПС новый урл?

[Sla]

$Namesite = 'Твой сайт'
как я понял из weblogs'a по сути это title страницы
Но сервис Я не спрашивает титл, а только адрес.

Погляжу... что получится

[RXL]

Интересен факт, что метод Гугля не описан в спецификации.

[Sla]

weblogsUpdates.ping (weblogname, weblogurl, changesurl=weblogurl, xmlurl=weblogfeedurl, categoryname="none") returns struct;

Код:

POST /RPC2 HTTP/1.1
Host: ping.blogs.yandex.ru
Content-Type: text/xml
Content-length: 318

<?xml version="1.0" encoding="UTF-8"?>
<methodCall>
    <methodName>weblogUpdates.ping</methodName>
    <params>
        <param>
            <value>Лучший подарок — это книга</value>
        </param>
        <param>
            <value>http://clubs.ya.ru/company/rss/posts.xml</value>
        </param>
    </params>
</methodCall>

Код:

function ping ($url, $blogname, $blogurl)
{

$tb_send='<?xml version="1.0"?>
<methodCall>
    <methodName>weblogUpdates.ping</methodName>
    <params>
        <param>
            <value>'.$blogname.'</value>
        </param>
        <param>
            <value>'.$blogurl.'</value>
        </param>
    </params>
</methodCall>';

    $target=parse_url($url);

    $tb_sock = fsockopen($target["host"],  80);
    fputs($tb_sock, "POST " . $target["path"] . $target["query"] . " HTTP/1.1\r\n");
    fputs($tb_sock, "User-Agent: NoAgent\r\n");
    fputs($tb_sock, "Host: " . $target["host"] . "\r\n");
    fputs($tb_sock, "Content-Type: text/xml\r\n");
    fputs($tb_sock, "Content-length: " . strlen($tb_send) . "\r\n");
    fputs($tb_sock, "Connection: close\r\n\r\n");
    fputs($tb_sock, $tb_send);
    while (!feof($tb_sock)) {
        $response .= fgets($tb_sock, 128);
    }
    fclose($tb_sock);
//еще не хватало парсить XML :)
    strpos($response, '<error>0</error>') ? $return = true : $return = false;
    return $return;

}

ping ("http://ping.blogs.yandex.ru/RPC2", $title, $newURL); 

Возможно, нужно подобрать время выполнения скрипта
set_time_limit(0);

[RXL]

set_time_limit, как правило, ограничивают. Но думаю, что RPC-сервисы просто обязаны быть быстрыми.

[Sla]

Так как это чистый велосипед

#По каким блогам ведется поиск?

Поиск по блогам должен охватывать все блоги, где есть канал сайта (RSS или Atom). Сюда относятся блоги не только из системы Blogger, но и изо всех прочих систем.


#Как включить блог в результаты поиска?

Если ваш блог публикует канал сайта в каком-нибудь формате и автоматически связывается со службой обновления (например, Google Blog Search Pinging Service), то мы, скорее всего, найдем его и внесем в списки. Кроме того, скоро мы предоставим форму для внесения блогов в индекс вручную, если они не были найдены автоматически. Следите за новостями, мы будем держать вас в курсе дела.

Я иногда тихо ненавижу Google с такими вопросами/ответами.


под Google

weblogsUpdates.ping (weblogname, weblogurl, changesurl=weblogurl, xmlurl=weblogfeedurl, categoryname="none") returns struct;

Код:

POST /RPC2 HTTP/1.0
User-Agent: request
Host: blogsearch.google.com
Content-Type: text/xml
Content-length: 447

<?xml version="1.0"?>
<methodCall>
  <methodName>weblogUpdates.extendedPing</methodName>
  <params>
    <param>
      <value>Official Google Blog</value>
    </param>
    <param>
      <value>http://googleblog.blogspot.com/</value>
    </param>
    <param>
      <value>http://googleblog.blogspot.com/</value>
    </param>
    <param>
      <value>http://googleblog.blogspot.com/atom.xml</value>
    </param>
  </params>
</methodCall>

Код:

function ping ($url, $blogname, $blogurl)
{

$tb_send='<?xml version="1.0"?>
<methodCall>
    <methodName>weblogUpdates.extendedPing</methodName>
    <params>
        <param>
            <value>'.$blogname.'</value>
        </param>
        <param>
            <value>'.$blogurl.'</value>
        </param>
    </params>
</methodCall>';

    $target=parse_url($url);

    $tb_sock = fsockopen($target["host"],  80);
    fputs($tb_sock, "POST " . $target["path"] . $target["query"] . " HTTP/1.1\r\n");
    fputs($tb_sock, "User-Agent: NoAgent\r\n");
    fputs($tb_sock, "Host: " . $target["host"] . "\r\n");
    fputs($tb_sock, "Content-Type: text/xml\r\n");
    fputs($tb_sock, "Content-length: " . strlen($tb_send) . "\r\n");
    fputs($tb_sock, "Connection: close\r\n\r\n");
    fputs($tb_sock, $tb_send);
    while (!feof($tb_sock)) {
        $response .= fgets($tb_sock, 128);
    }
    fclose($tb_sock);
    strpos($response, '<error>0</error>') ? $return = true : $return = false;
    return $return;

}

ping ("http://blogsearch.google.com", $TITLE, $URLPATH); 

Если действовать по FAQ гугля, то надо еще указывать и адрес фида, ибо без него новый блог не найдется.
Зато, сказано, что не только можно блоги пинговать, а все что есть с фидом.

[RXL]

А чем блог от другой формы сайта отличается? Те же страницы...

[Sla]

с одной стороны ничем.
но почему-то и у гугля, и у яндекса  есть сервис поиска по блогам.

[RXL]

Варианты:

1. Модные словечки == ничего не значит или просто на сайте есть RSS.
2. Большие общественные сайты типа ЖЖ.

[Sla]

pingback отличается от trackback тем, что задача стоит только пнуть Сервис, а трэкбэк, еще и получает контент.

[Sla]

Скажем так.
Новостная лента по сути есть блог. При добавлении новости есть необходимость пнуть поисковик на действия, хотя бы чтоб зашел и посмотрел.

Модное слово? Впрочем да. Нездоровая тенденция - клепают сайты визитки на блоговых движках, и даже не удосуживаются изменить шаблоны.

[RXL]

Посмотрел в панели вебмастера на Гугле. Там появилась возможность использовать RSS-каналы, присутствующие на сайте, как дополнительный sitemap.

[Sla]

RXL, в каком месте

[RXL]

Сперва зайти в "Статистика о подписчиках". Там надо подтвердить по каждому каналу, после оно появится в sitemap.

[Антон (LogRus)]

Sla, а смысл этих танцев с бубном только в ускорении индексации?

Интересно пинг блогов будет попадать в выдачу больного поиска?
А как же вот это http://help.yandex.ru/webmaster/?id=995325 ?

[Sla]

sitemap поможет поисковику индексировать все страницы - это только информация для поисковика, только тогда когда он ее прочитает.
Пинг говорит, что появилась новая страница.
Насчет 404-й страницы - не знаю... Особенно если вдруг страница перенесена по какой-либо причине. Яндекс плохо понимает 301 редирект. Впрочем, и гугля тоже, хотя и говорит обратное.
Запрет индексации - - это в robots.txt.

запретите в robots.txt индексирование страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, страницы с результатами поиска, сайты-зеркала, документы на нераспространенных в рунете языках;

если некоторые страницы и можно запретить в robots, то остальное непонятно...
Запретить страницу с результатом поиска.... А какого хрена поисковик заполняет форму поиска и жмакает submit?
Или как тогда поисковик узнает о странице результата поискового запроса?

[Sla]

AAAA....
на календаре 03/08/2010

Яндекс в отпуске или на жаре перегрелся

[Антон (LogRus)]

Sla, а в чём проблема? можешь дать ссылку на ресурс откуда сделан снимок?

[RXL]

Кстати, сейчас поиском нашел в Яндексе тему (позиция 9!), которую запостил несколько часов назад. Без всяких пингов быстро находят - лишь бы ресурс был активным.

[Sla]

Антон (LogRus), не могу - это из яндекс вебмастера

[Антон (LogRus)]

что касается времи индексации Яндексом: http://www.osp.ru/news/2010/0709/13002970/

[Sla]

а вот и сервис пинга от google
http://blogsearch.google.com/ping