SmartQuant Discussion

Automated Quantitative Strategy Development, SmartQuant Product Discussion and Technical Support Forums
It is currently Mon Sep 23, 2019 2:12 pm

All times are UTC + 3 hours




Post new topic Reply to topic  [ 19 posts ]  Go to page 1, 2  Next
Author Message
PostPosted: Sun Mar 20, 2011 7:41 pm 
Offline

Joined: Thu Mar 10, 2011 10:09 pm
Posts: 582
Я уже который раз замечаю что если импортируешь данные из файла в инструмент в котором уже есть какие то данные (за предыдущие периоды).
То импорт очень сильно тормозит, даже при импорте малого объема. Похоже на багу. Проверьте если будет возможность.


Top
 Profile  
 
PostPosted: Sun Mar 20, 2011 9:41 pm 
Offline

Joined: Tue Aug 05, 2003 3:43 pm
Posts: 6816
Не, не бага. База заточена под быструю запись и чтение потоков данных в реальном времени (т.е. рыночных данных). Поэтому если писать последовательно, то все будет летать. Если вставлять, то, в принципе, тоже будет летать. А вот если переписывать, то летать не будет... Так что не надо переписывать данные и будет ва счастье.


Top
 Profile  
 
PostPosted: Sun Mar 20, 2011 9:42 pm 
Offline

Joined: Tue Aug 05, 2003 3:43 pm
Posts: 6816
ПС. То есть если есть такая необходимость, то лучше полностью стереть серию и заимпортировать целиком. Будет гораздо быстрее, чем вставлять и переписывать.


Top
 Profile  
 
PostPosted: Sun Mar 20, 2011 9:49 pm 
Offline

Joined: Thu Mar 10, 2011 10:09 pm
Posts: 582
Ну дело в том что если большой кусок нужен- то финам например все равно поставит его несколькими файлами.


Top
 Profile  
 
PostPosted: Sun Mar 20, 2011 10:00 pm 
Offline

Joined: Tue Aug 05, 2003 3:43 pm
Posts: 6816
Тут главное, чтобы они не пересекались. То есть переписывать плохо. Дописывать нормально.


Top
 Profile  
 
PostPosted: Sun Mar 20, 2011 11:25 pm 
Offline

Joined: Thu Mar 10, 2011 10:09 pm
Posts: 582
Я собственно так и делал.
Проверьте этот момент при возможности. Умирает насмерть. У меня минутки за 2 дня дописывал минут 30.


Top
 Profile  
 
PostPosted: Mon Mar 21, 2011 12:53 am 
Offline

Joined: Tue Aug 05, 2003 3:43 pm
Posts: 6816
А вы пошлите пару файлов, на которых умирает alexei.kurov at smartquant.com . Он у нас реаниматор баз данных ...


Top
 Profile  
 
PostPosted: Mon Aug 08, 2011 3:31 pm 
Offline

Joined: Tue Jan 25, 2011 2:57 pm
Posts: 134
Добрый день.

Вопрос по скорости работы.

Есть стратегия, использует трейды и 20 секундные бары(они есть готовые в базе). Для тестового прогона в настройках солюшена ставлю старт дейт 05.08.11 и енд дэйт 06.08.11. Причем в самой базе данные по инструменту за 2 года, а берем из всего большого периода только короткий прожуток.

Заметил большую разницу по скорости как если делать на всем периде с установкой параметров старт и энд дата и если просто выделить тестируемый период с отдельный иструмент (т.е. из большого периода взять только нужный) и прогнать там.

Т.е. в первом случае берем данные за 2 года в солюшен ставим дата начала и дату конца (один или два дня) прогоняем. Получается долго хотя берем только 2 дня.

Во втором случае выделяем из данных за 2 года период в один-два дня и помещаем в отдельный иструмент. делаем тоже самое и скорость получается в разу лучше.

Отмечу что в обоих случаях в базе есть как трэйды так и 20 секундные бары. в маркет дата в обоих убрана галочка Build Bars From Trades.

Так и должно быть? Получается что много времени тратися на то что бы выделить из большого периода (2 года) только то что нужно (один или два дня)?


Top
 Profile  
 
PostPosted: Mon Aug 08, 2011 4:05 pm 
Offline
Site Admin

Joined: Thu Jul 17, 2003 10:39 am
Posts: 1478
grinboy wrote:
Так и должно быть? Получается что много времени тратися на то что бы выделить из большого периода (2 года) только то что нужно (один или два дня)?

А "в разы" - это сколько? Да, на выделение данных из периода время естественно тратится, но чтобы это почувствовать, а тем более "в разы", надо сотню инструментов симулировать, где каждый имеет по паре-тройке лет тиковых данных.

_________________
SmartQuant Development Team


Top
 Profile  
 
PostPosted: Tue Aug 09, 2011 12:19 pm 
Offline

Joined: Tue Jan 25, 2011 2:57 pm
Posts: 134
провел эксперемент.

Солюшен, проджект все одно и тоже. параметры солюшена стартдейт=05.08.2011 солюшененддэйт=06.08.2011
Входные данные трейды и 20 секундны бары (билд барс фром трейд галочка не стоит)


Сама стратегия (для чистоты эксперимента убрал все кроме).

public override void OnStrategyStart()
{
Barser_1=GetBars(BarType.Time,20);
}

В сценарий стратегии добавил пару строк.

Console.Write(" Начало "+ DateTime.Now.ToString());
Start();
Console.Write(" Конец "+ DateTime.Now.ToString());

Всего делаю 2 эксперимента :
1. На вход только один иструмент с базой с трейдами с 01.01.2010 по 05.08.2010 и 20 секундыми барами за тот же период.
Результат " Начало 09.08.2011 20:11:04 Конец 09.08.2011 20:11:23 " Итого 19 секунд


2. На вход только один тестовый инструмент с базой с выделеными даными по трейдам и 20 секундным барам только за 04 и 05 .08.2011 по инструменту из П.1
Результат " Начало 09.08.2011 20:12:32 Конец 09.08.2011 20:12:33" Итого 1 секунда.


Вроде как разница более чем солидная.


Alexei Kurov wrote:
grinboy wrote:
Так и должно быть? Получается что много времени тратися на то что бы выделить из большого периода (2 года) только то что нужно (один или два дня)?

А "в разы" - это сколько? Да, на выделение данных из периода время естественно тратится, но чтобы это почувствовать, а тем более "в разы", надо сотню инструментов симулировать, где каждый имеет по паре-тройке лет тиковых данных.


Top
 Profile  
 
PostPosted: Wed Aug 10, 2011 12:28 pm 
Offline

Joined: Tue Jan 25, 2011 2:57 pm
Posts: 134
Интересно, мне ответят или нет?


Top
 Profile  
 
PostPosted: Wed Aug 10, 2011 1:43 pm 
Offline

Joined: Tue Aug 05, 2003 3:43 pm
Posts: 6816
Под ответом вы понимаете некое сообщение психотерапевтического свойства или что-то конкретное?


Top
 Profile  
 
PostPosted: Wed Aug 10, 2011 2:54 pm 
Offline

Joined: Tue Jan 25, 2011 2:57 pm
Posts: 134
Я задал конкрентый вопрос и хочу получить такой же ответ.

Я не являюсь специалистом по OQ и поэтому допускаю что могу спросить что нибудь что с вашей (разработчика) точки зрения будет казаться не корректным. Но я для этого и спрашиваю что бы учиться.


Dr. Anton Fokin wrote:
Под ответом вы понимаете некое сообщение психотерапевтического свойства или что-то конкретное?


Top
 Profile  
 
PostPosted: Wed Aug 10, 2011 4:56 pm 
Offline
Site Admin

Joined: Thu Jul 17, 2003 10:39 am
Posts: 1478
Вот конкретный ответ:

исходные данные - серия трейдов и баров от 01.01.2002 до 30.09.2002
трейдов ~960тыс., баров ~290тыс.

пустая стратегия, с таким же вызовом GetBars в OnStrategyStart

берем последний день, то есть старт=29.09.2002, стоп=30.09.2002

время выполения 6 сек.

у вас намного больше(в штуках) исходных данных?

_________________
SmartQuant Development Team


Top
 Profile  
 
PostPosted: Thu Aug 11, 2011 2:43 pm 
Offline

Joined: Tue Jan 25, 2011 2:57 pm
Posts: 134
Добрый день.

Спасибо за ответ. Да у меня действительно больше.

Трейдов 25 369 604
Баров 782 138



Alexei Kurov wrote:
Вот конкретный ответ:

исходные данные - серия трейдов и баров от 01.01.2002 до 30.09.2002
трейдов ~960тыс., баров ~290тыс.

пустая стратегия, с таким же вызовом GetBars в OnStrategyStart

берем последний день, то есть старт=29.09.2002, стоп=30.09.2002

время выполения 6 сек.

у вас намного больше(в штуках) исходных данных?


Top
 Profile  
 
Display posts from previous:  Sort by  
Post new topic Reply to topic  [ 19 posts ]  Go to page 1, 2  Next

All times are UTC + 3 hours


Who is online

Users browsing this forum: No registered users and 1 guest


You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot post attachments in this forum

Search for:
Jump to:  
cron
Powered by phpBB® Forum Software © phpBB Group