Вторник, 22.05.2018, 09:08

Market Profile & Footprint

[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Модератор форума: Aleksey-T  
Форум » Market Profile & Footprint » MarketDelta » Настройка экспорта данных из Quik для импорта в MD
Настройка экспорта данных из Quik для импорта в MD
МакедонскийДата: Пятница, 13.08.2010, 15:32 | Сообщение # 1
Admin
Группа: Администраторы
Сообщений: 436
Репутация: 23
Статус: Offline
Для общего блага, по просьбе трудящихся, создаем базу тиковых данных

.
.
.

Здесь: Подключение Marketdelta к QUIK реалтайм с правильными бид/аск.

/slick
 
местныйДата: Суббота, 05.02.2011, 15:32 | Сообщение # 91
Сержант
Группа: Друзья
Сообщений: 31
Репутация: 1
Статус: Offline
Riskmen, попробуй, будем очень благодарны за помощь.
 
IAAДата: Суббота, 05.02.2011, 17:01 | Сообщение # 92
Лейтенант
Группа: Пользователи
Сообщений: 60
Репутация: 0
Статус: Offline
я пробовал с диском в памяти - мне это мало помогло, может потому что каждый раз процессится весь файл но если сделать приблуду что обновляются только последние рейты может помочь
 
RiskmenДата: Суббота, 05.02.2011, 19:17 | Сообщение # 93
Рядовой
Группа: Пользователи
Сообщений: 4
Репутация: 0
Статус: Offline
Quote (IAA)
я пробовал с диском в памяти - мне это мало помогло, может потому что каждый раз процессится весь файл но если сделать приблуду что обновляются только последние рейты может помочь

Тут можно так сделать:

1. Создаем минимум 3 shedule с вариантами сессий 10-00 :14-00 , 14-00:18-45, 19-00:23-50 для каждого свое имя файла (допустим RTS_1, RTS_2, RTS_3). Для простоты придется делать их без указаний даты (то есть они будут текущими рабочими).
2. Файл портфеля нужно будет изменить - чтобы с 10-00 до 14-00 данные были записаны в RTS_1, с 14-00 до 18-45 в RTS_2, с 19-00 до 23-50 в RTS_3.
3. На всякий случай вся история за день тоже должна записываться в общий файл с датой
4. Если это ускорит работу можно предусмотреть разбитие сессии более чем на 3 части (скажем на 10 или на 20 частей, а может и на 50 - не мы же будет их записывать и рассчитывать! biggrin а машине пофигу сколько, шедулов наражать можно сколько угодно и импортировать они будут в четко указанные сроки своей сессии даже если длится эта сессия будет 20 минут)
5. Если будет пропуск - всегда можно доимпортировать данные из большого файла
6. Алгоритм достаточно прост и понятен, но в программировании я не силен. Если уважаемый Андрей поможет - будет просто шикарно.

 
местныйДата: Суббота, 05.02.2011, 21:17 | Сообщение # 94
Сержант
Группа: Друзья
Сообщений: 31
Репутация: 1
Статус: Offline
Или простенькую программу, чтобы от создаваемого общего файла отщипывались данные за последние 5 или 10 минут, кому как удобнее, тогда импорт шел бы наверное намного быстрее.

Сообщение отредактировал местный - Суббота, 05.02.2011, 21:19
 
RiskmenДата: Понедельник, 07.02.2011, 13:42 | Сообщение # 95
Рядовой
Группа: Пользователи
Сообщений: 4
Репутация: 0
Статус: Offline
Quote (Riskmen)
Очень понравился экспорт портфеля КВИК но печалит скорость обмена и тормоза компа при этом. Решил создать RAM диск в оперативной памяти http://ramdisk.nm.ru/ramdiskent-rus.htm
Заметил что основные тормоза происходят при обращении к жесткому диску. Попробую в понедельник наладить обмен через такой же файл на виртуальном диске. Думаю что скорость обмена возрастет в разы и время импорта в МД думаю можно будет уменьшить (до 2 сек?)

Результаты испытаний.

1. Просто размещение файла данных на виртуальном диске не дали результатов. Почему?
МД в процессе работы кроме импорта данных из файла сохраняет эти данные на жестком диске - и диск убивается и скорость сильно падает из-за этого.
2. Решил инсталлировать МД (9*) тоже на виртуальном диске. Т.е. МД к жесткому диску вообще не обращается. Тормоза компа пропали, скорость обмена выросла не менее чем в 2 раза (по ощущениям раз в пять).
3. Для чистоты эксперимента КВИК перенес тоже на виртуальный диск.

Доволен как слон, не слышно этого диска который каждые *** секунд работает как пылесос, комп не тормозит для всех приложений.

Чтобы было совсем комфортно осталось заменить комп с Duo-Core Е6500 на i5-2300 т.к. МД при импорте грузит проц не по детски и работает этот проц на пределе.

З.Ы. Чтобы виртуальный диск сохранять - в настройках указать бекап при выключении компа и восстановление при включении - 30 секунд задержка при включении и выключении всего делов. Виртуальный диск сделал размером 740 мб - всего памяти 3Г.

 
velДата: Понедельник, 07.02.2011, 13:59 | Сообщение # 96
Старший лейтенант
Группа: Друзья
Сообщений: 83
Репутация: 2
Статус: Offline
Quote (Riskmen)
МД в процессе работы кроме импорта данных из файла сохраняет эти данные на жестком диске

у меня, почему то сохраняет в оперативной памяти, как только память заканчивается MD вырубается, обновление в 1сек без тормозов, вот только из оперативки данные не выгружаются, что можно сделать?
 
RiskmenДата: Понедельник, 07.02.2011, 14:10 | Сообщение # 97
Рядовой
Группа: Пользователи
Сообщений: 4
Репутация: 0
Статус: Offline
Quote (vel)
у меня, почему то сохраняет в оперативной памяти, как только память заканчивается MD вырубается, обновление в 1сек без тормозов, вот только из оперативки данные не выгружаются, что можно сделать?

Исторических данных наверно много. Убивать их время от времени. Оперативку увеличить. Разместить МД на виртуальном диск с автоматическим сжатием. 1 день в тике - 15мб на один инструмент - со сжатием 5М. Месяц в тике 300 мб - зачем больше. остальное на 5М хранить. Если конечно 10 инструментов то уже 3Г будет - тут нужно 64 бита винда и памяти под 10Г (ну память сейчас недорого)

 
velДата: Понедельник, 07.02.2011, 14:20 | Сообщение # 98
Старший лейтенант
Группа: Друзья
Сообщений: 83
Репутация: 2
Статус: Offline
винда 64 бита, оперативка 4Г. Работают две MD одна в реале от zen несколько инструментов большая история все ок, вторая импорт через текстовик одного инструмента с историей за месяц такие проблемы sad
 
IAAДата: Вторник, 08.02.2011, 10:53 | Сообщение # 99
Лейтенант
Группа: Пользователи
Сообщений: 60
Репутация: 0
Статус: Offline
ради эксперимента создал прогу в жаве которая читает файл по кускам и пишет каждые 10 сек в другой маленький файл , импорт настроил на каждые 2 секунды - никаких тормозов
можно думаю даже на 5 сек - вечером выложу на форум если интересно
 
местныйДата: Вторник, 08.02.2011, 13:48 | Сообщение # 100
Сержант
Группа: Друзья
Сообщений: 31
Репутация: 1
Статус: Offline
Quote (IAA)
ради эксперимента создал прогу в жаве которая читает файл по кускам и пишет каждые 10 сек в другой маленький файл , импорт настроил на каждые 2 секунды - никаких тормозов
можно думаю даже на 5 сек - вечером выложу на форум если интересно

Очень интересно, конечно выкладывай.
 
IAAДата: Вторник, 08.02.2011, 18:01 | Сообщение # 101
Лейтенант
Группа: Пользователи
Сообщений: 60
Репутация: 0
Статус: Offline

короче для проги нужна Java 1.6 установленная на комп

для работы надо встать с утра - часиков в 12 импортировать вручную сделки которые были уже сделаны , потом запустить импорт в дельте скажем из файла RIH1.txt каждые 2 секунды
потом запустить прогу , указать входной файл сделок куда пишет квик и как выходной этот RIH1 из которого импортятся сделки , указать интервал записи должен быть раза в 2.5 больше чем интервал импорта в дельте те > 5 сек если интервал импорта в дельте 2 сек , если 1 сек тогда >3 сек потом надо указать проге сколько минут назад при старте импортировать сделок от текущего момента и нажать старт - все должно работать
у меня шустро работает

Добавлено (08.02.2011, 17:59)
---------------------------------------------
чета не позволяет сайт мне прифигачить прогу

Прикрепления: 9496628.png(10.1 Kb)


Сообщение отредактировал IAA - Вторник, 08.02.2011, 18:02
 
Aleksey-TДата: Вторник, 08.02.2011, 18:06 | Сообщение # 102
Полковник
Группа: Модераторы
Сообщений: 781
Репутация: 45
Статус: Offline
Quote (IAA)
чета не позволяет сайт мне прифигачить прогу

В программы загоняй. Если что кинешь мне и я добавлю сюда.
 
IAAДата: Вторник, 08.02.2011, 18:13 | Сообщение # 103
Лейтенант
Группа: Пользователи
Сообщений: 60
Репутация: 0
Статус: Offline
Quote (Aleksey-T)
В программы загоняй. Если что кинешь мне и я добавлю сюда.

нет прав у меня , скинь мыло свое - я тебе пошлю
 
Aleksey-TДата: Вторник, 08.02.2011, 18:22 | Сообщение # 104
Полковник
Группа: Модераторы
Сообщений: 781
Репутация: 45
Статус: Offline
Закинул в Общие программы. Вот ссылка http://day-trader.ucoz.ru/load/4-1-0-604

Сообщение отредактировал Aleksey-T - Вторник, 08.02.2011, 18:47
 
AlexMDДата: Среда, 09.02.2011, 21:55 | Сообщение # 105
Лейтенант
Группа: Пользователи
Сообщений: 46
Репутация: 3
Статус: Offline
Quote (IAA)
ради эксперимента создал прогу в жаве которая читает файл по кускам и пишет каждые 10 сек в другой маленький файл , импорт настроил на каждые 2 секунды - никаких тормозов
можно думаю даже на 5 сек - вечером выложу на форум если интересно

Спасибо за прогу, действительно практически не грузит систему, историю записывает совершенно точно, а с реальной передачей проблемы с объемами, на каждой минутной свече теряет по 10%, при сильных движениях значительно больше. Или я что то не так делаю? Пробовал с различными интервалами все равно пропускает?

 
Форум » Market Profile & Footprint » MarketDelta » Настройка экспорта данных из Quik для импорта в MD
Поиск: