Проблема с сокетами.

[Mike_mvk]

Описываю обстановку.
Есть некий девайс, соединенный с компом по Ethernet. Умеет общаться по протоколу UDP. Между компом и девайсом два потока данных: команды управления девайсом ( полудуплекс с квитированием ) и поток некой информации от девайса.
На компе программа с 3 сокетами (winapi). 2 на команды управления, 1 для приема информации от девайса (обмен только в одну сторону). Сокеты живут в разных потоках.

Описываю проблему.
От девайса идет поток пакетов информации. При обмене командами управления, при чтении из сокета для приема информации, наблюдается исчезновение некоторых пакетов. Перехват (winpcap'ом) показывает, что пакеты до сетевой доходят.
Увеличение буфера

Код:

nParam = 524288;
setsockopt( sock, SOL_SOCKET,  SO_RCVBUF, (char*)&nParam, sizeof(nParam));

результата не дало.

Есть ли у Вас какие-нить мысли?
Если нужно, покажу куски кода.

ЗЫ Надеюсь на помощь и сочувствие...
ЗЗЫ Надеюсь, что понятно объяснил.

[lapulya]

давай поглядим код который читает данные из буфера tcp (там где идет прием данных)

[Mike_mvk]

Там не tcp. Там тоже UDP.

Код:

while( Running ) 
  {
		nParam = sizeof( SOCKADDR_IN );
		if( recvfrom( sock, (char *) &bp, sizeof( PACKET ), 0, &addr, &nParam ) == SOCKET_ERROR )
		{
			TRACE( WSAGetLastError() );
			continue;
		}
   if( !Running )
      break;
//далее обработка пакета
...

[npak]

Mike_mvk, wincap показывает, на какие адреса и порты идут пропавшие пакеты?

[Mike_mvk]

Девайс немного туповат. Что такое ARP не знает, поэтому шлет бродкастом. Для приема инфы открыт порт 100.

Привожу код инициализации этого сокета.

Код:

if( WSAStartup ( MAKEWORD( 2, 2 ), &wsaData ) != 0 )
	  return TRACE( WSAGetLastError() );

  sock = WSASocket( AF_INET, SOCK_DGRAM, IPPROTO_UDP, 0, 0, WSA_FLAG_OVERLAPPED );
  if( sock == INVALID_SOCKET )
	  return TRACE( WSAGetLastError() );

//здесь я увеличивал приемный буфер. на пропадание пакетов это не влияет
  nParam = 524288;
  if( setsockopt( sock, SOL_SOCKET,  SO_RCVBUF, (char*)&nParam, sizeof(nParam)) != 0 )
	  return TRACE( WSAGetLastError() );
   
  addr.sin_family = AF_INET ;
  addr.sin_addr.s_addr = htonl(INADDR_ANY); 
  addr.sin_port = htons(100); 

  if( bind( sock, (LPSOCKADDR) &addr, sizeof( addr ) ) != 0 )
	  return TRACE( WSAGetLastError() );

WinPcap показывает, что девайс шлет все честно, однако при обмене по другим сокетам в программе не все пакеты читаются из этого сокета.

[darkelf]

Скорее всего Вы просто не успеваете выбирать данные.

[Mike_mvk]

Скорее всего Вы просто не успеваете выбирать данные.

Не уверен. Поток данных всего около 8 кб/с. Заполнить такой буфер нереально. Да и программа много ресурсов не жрет.

[lapulya]

Mike_mvk, да кто ж так данные принимает...

Код:

while( Running ) 
  {
      nParam = sizeof( SOCKADDR_IN ); 
      if( recvfrom( sock, (char *) &bp, sizeof( PACKET ), 0, &addr, &nParam ) == SOCKET_ERROR ) 
      {
         TRACE( WSAGetLastError() ); 
         continue; 
      }
   if( !Running ) 
      break; 
//далее обработка пакета 
... 

надо типа такого

Код:

while( Running ) 
{
	nParam = sizeof( SOCKADDR_IN ); 
	int length = sizeof( PACKET );
	char * buffer = (char *) &bp;
	while (length > 0)
	{
		int recv_now = recvfrom( sock, buffer + length, length, 0, &addr, &nParam );
		if (recv_now == SOCKET_ERROR ) 
		{
			TRACE( WSAGetLastError() ); 
			continue; 
		}

		length -= recv_now;
	}

	if( !Running ) 
	break; 
	//далее обработка пакета
	... 
}

[Mike_mvk]

Mike_mvk, да кто ж так данные принимает...

Код:

while( Running ) 
  {
      nParam = sizeof( SOCKADDR_IN ); 
      if( recvfrom( sock, (char *) &bp, sizeof( PACKET ), 0, &addr, &nParam ) == SOCKET_ERROR ) 
      {
         TRACE( WSAGetLastError() ); 
         continue; 
      }
   if( !Running ) 
      break; 
//далее обработка пакета 
... 

надо типа такого

Код:

while( Running ) 
{
	nParam = sizeof( SOCKADDR_IN ); 
	int length = sizeof( PACKET );
	char * buffer = (char *) &bp;
	while (length > 0)
	{
		int recv_now = recvfrom( sock, buffer + length, length, 0, &addr, &nParam );
		if (recv_now == SOCKET_ERROR ) 
		{
			TRACE( WSAGetLastError() ); 
			continue; 
		}

		length -= recv_now;
	}

	if( !Running ) 
	break; 
	//далее обработка пакета
	... 
}

Помимо основной информации, в потоке идет служебная информация, которую надо отфильтровать и обработать. Да к тому же данные идут асинхронно и постоянно. Придется организовывать кольцевой буфер или что-нить еще. Такой алгоритм не пойдет. У меня склейка идет несколько другим образом.

Хотя... Мысль интересная... можно что-ниьт типа такого попробовать...

[lapulya]

Виноватая я... вот так

Код:

{
	nParam = sizeof( SOCKADDR_IN ); 
	int full_length = sizeof( PACKET );
	int rev_length = 0;
	char * buffer = (char *) &bp;
	while (rev_length < full_length)
	{
		int recv_now = recvfrom( sock, buffer + rev_length, full_length - rev_length, 0, &addr, &nParam );
		if (recv_now == SOCKET_ERROR ) 
		{
			TRACE( WSAGetLastError() ); 
			continue; 
		}

		rev_length += recv_now;
	}

	if( !Running ) 
	break; 
	//далее обработка пакета 
	... 
}

[Mike_mvk]

lapulya, Все равно немножко некорректно...
sizeof( PACKET ) - размер одного пакета.
Да, к тому же, recvfrom не возвращает количество принятых байт (могу и ошибаться).
Но мысль понятна.

[lapulya]

я это к чему писал-то, дело в том, что так

if( recvfrom( sock, (char *) &bp, sizeof( PACKET ), 0, &addr, &nParam ) == SOCKET_ERROR )

нет гарантии, что ты примешь ВСЕ данные (т.е. что длинна принятых данных составит sizeof( PACKET )), прием должен происходить в цикле!!!! посмотри описание recvfrom, она возвращает количестко принятых байтов!!!!  :arrow: принимать надо до тех пор пока мы не выберем данных объемом в sizeof( PACKET )

а ты как раз полагаешься на то что твоя разовая операция выберет ВЕСЬ объем!!! отсюда как раз и "потеря данных"

[Mike_mvk]

lapulya, Я не полагаюсь на то, что разовая операция выберет весь объем. Я выбираю по одному пакету. Разве буфер сокета не сохранит для меня остальные (не выбранные мной) данные?

[lapulya]

буфер то сохранит (не волнуйся), но повторяю, вызов

Код:

recvfrom( sock, (char *) &bp, sizeof( PACKET ), 0, &addr, &nParam )

не гарантирует того, что в твой bp запишутся данные размером sizeof( PACKET )

ну чисто к примеру, пусть sizeof( PACKET ) равен 10 байтам, после вызова recvfrom ты считаешь что в bp записано (из буфера UDP) ровно 10 байтов, А ЭТО НЕ ВЕРНО, может запросто так случиться что их записано только 3(например)

[lapulya]

Вот смотри так может понятнее будет

For stream oriented sockets such as those of type SOCK_STREAM, a call to recvfrom returns as much information as is currently available—up to the size of the buffer supplied.

[Mike_mvk]

lapulya,  Если записано 3, то и прочитаю 3.
Вообще, я что-то запутался...
Поправьте меня, если я скажу что не так.
recvfrom возвращает кол-во прочитанных из буфера сокета данных.
Если данных меньше - прочитает сколько есть.
Если данных нет вообще, то будет ждать.
Если данных больше, чем я прошу прочитать, данные останутся в буфере до след. чтения.

Т.е. теоретически, я могу терять данные только если переполню буфер сокета?

[Mike_mvk]

Вот смотри так может понятнее будет

For stream oriented sockets such as those of type SOCK_STREAM, a call to recvfrom returns as much information as is currently available—up to the size of the buffer supplied.

У меня так

Код:

  sock = WSASocket( AF_INET, SOCK_DGRAM, IPPROTO_UDP, 0, 0, WSA_FLAG_OVERLAPPED );

[lapulya]

Mike_mvk, вот смотри тыже сам говоришь

Если данных меньше - прочитает сколько есть.

а в твоем коде цитирую его

while( Running )
  {
      nParam = sizeof( SOCKADDR_IN );
      if( recvfrom( sock, (char *) &bp, sizeof( PACKET ), 0, &addr, &nParam ) == SOCKET_ERROR )
      {
         TRACE( WSAGetLastError() );
         continue;
      }
   if( !Running )
      break;
//далее обработка пакета
...

ты никак не сможешь понять что ты принял ТОЛЬКО (допустим) 3 байта при sizeof( PACKET ) равном 10, ты (твой код думает что он считал их буфера UDP ровно sizeof( PACKET ) байтов, тоесть 10, а это НЕ так.... потому что их там было только 3, вот ты 3 и считал)

P.S.
все что ты написал

Если данных меньше - прочитает сколько есть.
Если данных нет вообще, то будет ждать.
Если данных больше, чем я прошу прочитать, данные останутся в буфере до след. чтения.

абсолютно верно

[lapulya]

:oops:  :oops:  :oops: елы палы........ тут же UDP (во до чего доводит только 6 часов сна в сутки)..... говорю одно думаю про другое....

коли сокет SOCK_DGRAM, то так как ты принимать данные можно, т.е.

Код:

while( Running ) 
{
nParam = sizeof( SOCKADDR_IN ); 
if( recvfrom( sock, (char *) &bp, sizeof( PACKET ), 0, &addr, &nParam ) == SOCKET_ERROR ) 
{
TRACE( WSAGetLastError() ); 
continue; 
}
if( !Running ) 
break; 
//далее обработка пакета 
... 

корректно (прошу прощения) в твоем случае MSDN говорит следующее

For message-oriented sockets, data is extracted from the first enqueued message, up to the size of the buffer supplied. If the datagram or message is larger than the buffer supplied, the buffer is filled with the first part of the datagram, and recvfrom generates the error WSAEMSGSIZE. For unreliable protocols (for example, UDP) the excess data is lost.

так что виноватая я, буду читать чего люди спрашивают повнимательнее

[lapulya]

а вот
TRACE( WSAGetLastError() );
ничего не пишет... например WSAEMSGSIZE

[Mike_mvk]

а вот
TRACE( WSAGetLastError() );
ничего не пишет... например WSAEMSGSIZE

Это у меня макрос такой.

[lapulya]

я понял что макрос....  я имел ввиду, не дает ли ошибок recvfrom при вызове, особенно эту WSAEMSGSIZE

[Mike_mvk]

lapulya, Ошибок нет. SOCKET_ERROR не возникает.

[lapulya]

для верности    я бы все же проверил количество принятых байтов т.е. написал бы так

Код:

int result = recvfrom( sock, (char *) &bp, sizeof( PACKET ), 0, &addr, &nParam );
if ((result == SOCKET_ERROR) || (result != sizeof( PACKET )))
{
   TRACE( WSAGetLastError() ); 
   continue; 
}

[Mike_mvk]

lapulya, Именно так и пробовал. Результат: пропадания есть, но на TRACE не попадает.

[lapulya]

я не совсем понял твой пост, так всегда ли result ==sizeof( PACKET ) или нет, т.е. равны ли следующее выражения в любых проводимых тобой тестах
1. recvfrom( sock, (char *) &bp, sizeof( PACKET ), 0, &addr, &nParam )
2. sizeof( PACKET )

[Mike_mvk]

я не совсем понял твой пост, так всегда ли result ==sizeof( PACKET ) или нет, т.е. равны ли следующее выражения в любых проводимых тобой тестах
1. recvfrom( sock, (char *) &bp, sizeof( PACKET ), 0, &addr, &nParam )
2. sizeof( PACKET )

Да, равны. recvfrom всегда возвращает значение равное  sizeof( PACKET ).

[lapulya]

мдаааа..... нельзя ли для чистоты эксперимента сменить порт с 100 на что нить другое...

[Mike_mvk]

мдаааа..... нельзя ли для чистоты эксперимента сменить порт с 100 на что нить другое...

Можно, но сложно... Девайс перепрограммировать надо... Однако похоже это единственное, что осталось попробовать.
Буду пробовать...
О результатах доложу.

[Mike_mvk]

Смена порта на 10000 не помогла. Сбои продолжаются, к сожалению...

Возник вопрос: а может ли каким-либо образом обмен по одному сокету влиять на обмен по другому сокету?