ПоискПоиск  ПравилаПравила  ПользователиПользователи  ПрофильПрофиль  РегистрацияРегистрация  ВходВход
Форум «Техническая поддержка»
Форум для разработчиков и пользователей программного обеспечения, использующегося на бирже.

Раздел тех.поддержки | Форма обратной связи Тех.поддержка ОАО Московская Биржа: +7 (495) 733-9507, 287-7691
FAST/ASTS - восстановление пропущенных данных
Новая тема   Ответить на тему
 Предыдущая тема :: Следующая тема 
 Автор  Сообщение 
zerofil
Стаж: 10 месяцев 17 дней
Сообщений: 4
Ср Фев 15, 2017 23:09 Ответить с цитатой Получить постоянный адрес сообщения
Теоретический вопрос про работу FAST.
Имеем систему, которая принимает торговые решения на основе истории bid/ask и динамики стаканов. Забираем рыночные данные по FAST и формируем из них эту историю. Если забор данных на какое то время прекращается (перезапуск сервера, глюк, и т.п.), образуется дырка в истории, которая совсем не нужна.
Для работы с пропусками есть recovery потоки. Вопрос - в них транслируется история за весь торговый день, или только ее часть, позволяющая сформировать текущее состояние по инструменту? Другими словами, возможно ли вытащить из recovery, например, историю заявок, которые были два часа назад в ликвидном инструменте?

И еще, есть некие дампы рыночных данных: ftp://ftp.moex.com/pub/FAST/ASTS/dump/
Я правильно понимаю, что это те же данные, которые приезжают по UDP, только сплошным потоком без разбивки на пакеты? Там данные за полный день? По времени файлов не полный день не похоже. 
 
Александр Стриковский
Стаж: 3 года 3 месяца
Сообщений: 26
Чт Фев 16, 2017 10:00 (спустя 10 часов 50 минут) Ответить с цитатой Получить постоянный адрес сообщения
Добрый день, zerofil,

Сервис транслирует только актуальную рыночную информацию, потоки снэпшотов соответственно несут снимки по активным заявкам, по инструменту, в данный момент. Получить из них историю не получится. Перезапуск сервера сотрет всю историю в принципе, некорректная работа боевого сервера которая приведет к поторе части маркет даты предмет достаточно редкий чтобы о на него закладываться. Для потерь меньшего количества пакетов есть сервис TCP recovery, небольшие пропуски модно получать оттуда.

Наш сервис предназначен в большей степени для получения текущей рыночной информации чем для построения исторических данных. Так например в поток OLR попадают только те заявки которые успели засветиться в стакане, рыночных заявок вне аукционов вы там не найдете.

Дампы записаны за 1,5 часа вещания боевых данных утром. Это просто сетевой дамп сделанные при подписке на инкрементальные потоки. С учетом того что у нас как правило один UDP пакет соответствует одному FAST кодированному сообщению, можно сказать что разбивка присутствует. Там же лежат декодированные версии потоков. 
 
zerofil
Стаж: 10 месяцев 17 дней
Сообщений: 4
Чт Фев 16, 2017 14:00 (спустя 14 часов 50 минут) Ответить с цитатой Получить постоянный адрес сообщения
Александр, спасибо за ответ!
Если fail потенциально может случиться, он обязательно случится, и не один раз )
Все таки, если данные за промежуток времени утеряны, откуда можно их восстановить? TCP recovery - насколько небольшие пропуски можно из него вытаскивать?
И смысл дампов за полтора первых часа не совсем понятен. Если бы там был целый день, как раз получился бы отличный резервный источник данных. 
 
Александр Стриковский
Стаж: 3 года 3 месяца
Сообщений: 26
Чт Фев 16, 2017 14:26 (спустя 15 часов 16 минут) Ответить с цитатой Получить постоянный адрес сообщения
zerofil,

Про TCP можно посмотреть здесь ftp://ftp.moex.com/pub/FAST/ASTS/config/TCP_Replay_Limits.pdf там сейчас ограничения такие: не более 500 сообщений в запросе за раз и не больше 1000 запросов за день.

Он не предназначен для запроса больших интервалов.

Дампы это про другое. Это для разработчиков-тестеров, которые только начинают слушать потоки. Просто чтобы было с чем сравнить.

В плане резерва - у нас два инстанста маркет даты, независимых и параллельных, если один откажет можно переключиться на другой.

В плане распространения исторической рыночной информации у нас есть услуга по ее продаже в виде файлов заявок-сделок, за день. Если это интересно можно обратиться к коллегам из продаж биржевой информации http://moex.com/ru/feedback.aspx они будут рады помочь.
 
 
zerofil
Стаж: 10 месяцев 17 дней
Сообщений: 4
Чт Фев 16, 2017 23:34 (спустя 1 день) Ответить с цитатой Получить постоянный адрес сообщения
Александр, спасибо!
Можете сориентировать, 500 сообщений - это по одному инструменту? И много это или мало (я не работал с биржей через FAST), какому примерно физическому времени работы биржи это соответствует (секунда, минута)?
Про историческую информацию из покупных файлов знаю, но это неоперативно - данные доступны на следующий день, когда поезд уже ушел. 
 
Александр Стриковский
Стаж: 3 года 3 месяца
Сообщений: 26
Пт Фев 17, 2017 10:29 (спустя 1 день 11 часов) Ответить с цитатой Получить постоянный адрес сообщения
zerofil,

Нет, нумерация сообщений в потоке сквозная, так что это по всем изменениям сразу. 500 сообщений это примерно 5-6 секунд валютного рынка с утра, но все конечно зависит от текущей активности . 
 
Показать сообщения:   
Новая тема   Ответить на тему
Список разделов форума -> Техническая поддержка

Rambler's Top100 Rambler's Top100
Рейтинг@Mail.ru
Copyright © Московская биржа, 2006-2017.
Ваши предложения, замечания и вопросы
по работе форума направляйте на email: