Настройка экспорта данных из Quik для импорта в MD
| |
Македонский | Дата: Пятница, 13.08.2010, 15:32 | Сообщение # 1 |
Admin
Группа: Администраторы
Сообщений: 436
Статус: Offline
| Для общего блага, по просьбе трудящихся, создаем базу тиковых данных
. . .
Здесь: Подключение Marketdelta к QUIK реалтайм с правильными бид/аск.
/slick
|
|
| |
местный | Дата: Суббота, 05.02.2011, 15:32 | Сообщение # 91 |
Сержант
Группа: Друзья
Сообщений: 31
Статус: Offline
| Riskmen, попробуй, будем очень благодарны за помощь.
|
|
| |
IAA | Дата: Суббота, 05.02.2011, 17:01 | Сообщение # 92 |
Лейтенант
Группа: Пользователи
Сообщений: 60
Статус: Offline
| я пробовал с диском в памяти - мне это мало помогло, может потому что каждый раз процессится весь файл но если сделать приблуду что обновляются только последние рейты может помочь
|
|
| |
Riskmen | Дата: Суббота, 05.02.2011, 19:17 | Сообщение # 93 |
Рядовой
Группа: Пользователи
Сообщений: 4
Статус: Offline
| Quote (IAA) я пробовал с диском в памяти - мне это мало помогло, может потому что каждый раз процессится весь файл но если сделать приблуду что обновляются только последние рейты может помочь Тут можно так сделать: 1. Создаем минимум 3 shedule с вариантами сессий 10-00 :14-00 , 14-00:18-45, 19-00:23-50 для каждого свое имя файла (допустим RTS_1, RTS_2, RTS_3). Для простоты придется делать их без указаний даты (то есть они будут текущими рабочими). 2. Файл портфеля нужно будет изменить - чтобы с 10-00 до 14-00 данные были записаны в RTS_1, с 14-00 до 18-45 в RTS_2, с 19-00 до 23-50 в RTS_3. 3. На всякий случай вся история за день тоже должна записываться в общий файл с датой 4. Если это ускорит работу можно предусмотреть разбитие сессии более чем на 3 части (скажем на 10 или на 20 частей, а может и на 50 - не мы же будет их записывать и рассчитывать! а машине пофигу сколько, шедулов наражать можно сколько угодно и импортировать они будут в четко указанные сроки своей сессии даже если длится эта сессия будет 20 минут) 5. Если будет пропуск - всегда можно доимпортировать данные из большого файла 6. Алгоритм достаточно прост и понятен, но в программировании я не силен. Если уважаемый Андрей поможет - будет просто шикарно.
|
|
| |
местный | Дата: Суббота, 05.02.2011, 21:17 | Сообщение # 94 |
Сержант
Группа: Друзья
Сообщений: 31
Статус: Offline
| Или простенькую программу, чтобы от создаваемого общего файла отщипывались данные за последние 5 или 10 минут, кому как удобнее, тогда импорт шел бы наверное намного быстрее.
Сообщение отредактировал местный - Суббота, 05.02.2011, 21:19 |
|
| |
Riskmen | Дата: Понедельник, 07.02.2011, 13:42 | Сообщение # 95 |
Рядовой
Группа: Пользователи
Сообщений: 4
Статус: Offline
| Quote (Riskmen) Очень понравился экспорт портфеля КВИК но печалит скорость обмена и тормоза компа при этом. Решил создать RAM диск в оперативной памяти http://ramdisk.nm.ru/ramdiskent-rus.htm Заметил что основные тормоза происходят при обращении к жесткому диску. Попробую в понедельник наладить обмен через такой же файл на виртуальном диске. Думаю что скорость обмена возрастет в разы и время импорта в МД думаю можно будет уменьшить (до 2 сек?) Результаты испытаний. 1. Просто размещение файла данных на виртуальном диске не дали результатов. Почему? МД в процессе работы кроме импорта данных из файла сохраняет эти данные на жестком диске - и диск убивается и скорость сильно падает из-за этого. 2. Решил инсталлировать МД (9*) тоже на виртуальном диске. Т.е. МД к жесткому диску вообще не обращается. Тормоза компа пропали, скорость обмена выросла не менее чем в 2 раза (по ощущениям раз в пять). 3. Для чистоты эксперимента КВИК перенес тоже на виртуальный диск. Доволен как слон, не слышно этого диска который каждые *** секунд работает как пылесос, комп не тормозит для всех приложений. Чтобы было совсем комфортно осталось заменить комп с Duo-Core Е6500 на i5-2300 т.к. МД при импорте грузит проц не по детски и работает этот проц на пределе. З.Ы. Чтобы виртуальный диск сохранять - в настройках указать бекап при выключении компа и восстановление при включении - 30 секунд задержка при включении и выключении всего делов. Виртуальный диск сделал размером 740 мб - всего памяти 3Г.
|
|
| |
vel | Дата: Понедельник, 07.02.2011, 13:59 | Сообщение # 96 |
Старший лейтенант
Группа: Друзья
Сообщений: 83
Статус: Offline
| Quote (Riskmen) МД в процессе работы кроме импорта данных из файла сохраняет эти данные на жестком диске у меня, почему то сохраняет в оперативной памяти, как только память заканчивается MD вырубается, обновление в 1сек без тормозов, вот только из оперативки данные не выгружаются, что можно сделать?
|
|
| |
Riskmen | Дата: Понедельник, 07.02.2011, 14:10 | Сообщение # 97 |
Рядовой
Группа: Пользователи
Сообщений: 4
Статус: Offline
| Quote (vel) у меня, почему то сохраняет в оперативной памяти, как только память заканчивается MD вырубается, обновление в 1сек без тормозов, вот только из оперативки данные не выгружаются, что можно сделать? Исторических данных наверно много. Убивать их время от времени. Оперативку увеличить. Разместить МД на виртуальном диск с автоматическим сжатием. 1 день в тике - 15мб на один инструмент - со сжатием 5М. Месяц в тике 300 мб - зачем больше. остальное на 5М хранить. Если конечно 10 инструментов то уже 3Г будет - тут нужно 64 бита винда и памяти под 10Г (ну память сейчас недорого)
|
|
| |
vel | Дата: Понедельник, 07.02.2011, 14:20 | Сообщение # 98 |
Старший лейтенант
Группа: Друзья
Сообщений: 83
Статус: Offline
| винда 64 бита, оперативка 4Г. Работают две MD одна в реале от zen несколько инструментов большая история все ок, вторая импорт через текстовик одного инструмента с историей за месяц такие проблемы
|
|
| |
IAA | Дата: Вторник, 08.02.2011, 10:53 | Сообщение # 99 |
Лейтенант
Группа: Пользователи
Сообщений: 60
Статус: Offline
| ради эксперимента создал прогу в жаве которая читает файл по кускам и пишет каждые 10 сек в другой маленький файл , импорт настроил на каждые 2 секунды - никаких тормозов можно думаю даже на 5 сек - вечером выложу на форум если интересно
|
|
| |
местный | Дата: Вторник, 08.02.2011, 13:48 | Сообщение # 100 |
Сержант
Группа: Друзья
Сообщений: 31
Статус: Offline
| Quote (IAA) ради эксперимента создал прогу в жаве которая читает файл по кускам и пишет каждые 10 сек в другой маленький файл , импорт настроил на каждые 2 секунды - никаких тормозов можно думаю даже на 5 сек - вечером выложу на форум если интересно Очень интересно, конечно выкладывай.
|
|
| |
IAA | Дата: Вторник, 08.02.2011, 18:01 | Сообщение # 101 |
Лейтенант
Группа: Пользователи
Сообщений: 60
Статус: Offline
| короче для проги нужна Java 1.6 установленная на комп для работы надо встать с утра - часиков в 12 импортировать вручную сделки которые были уже сделаны , потом запустить импорт в дельте скажем из файла RIH1.txt каждые 2 секунды потом запустить прогу , указать входной файл сделок куда пишет квик и как выходной этот RIH1 из которого импортятся сделки , указать интервал записи должен быть раза в 2.5 больше чем интервал импорта в дельте те > 5 сек если интервал импорта в дельте 2 сек , если 1 сек тогда >3 сек потом надо указать проге сколько минут назад при старте импортировать сделок от текущего момента и нажать старт - все должно работать у меня шустро работает Добавлено (08.02.2011, 17:59) --------------------------------------------- чета не позволяет сайт мне прифигачить прогу
Сообщение отредактировал IAA - Вторник, 08.02.2011, 18:02 |
|
| |
Aleksey-T | Дата: Вторник, 08.02.2011, 18:06 | Сообщение # 102 |
Полковник
Группа: Модераторы
Сообщений: 781
Статус: Offline
| Quote (IAA) чета не позволяет сайт мне прифигачить прогу В программы загоняй. Если что кинешь мне и я добавлю сюда.
|
|
| |
IAA | Дата: Вторник, 08.02.2011, 18:13 | Сообщение # 103 |
Лейтенант
Группа: Пользователи
Сообщений: 60
Статус: Offline
| Quote (Aleksey-T) В программы загоняй. Если что кинешь мне и я добавлю сюда. нет прав у меня , скинь мыло свое - я тебе пошлю
|
|
| |
Aleksey-T | Дата: Вторник, 08.02.2011, 18:22 | Сообщение # 104 |
Полковник
Группа: Модераторы
Сообщений: 781
Статус: Offline
| Закинул в Общие программы. Вот ссылка http://day-trader.ucoz.ru/load/4-1-0-604
Сообщение отредактировал Aleksey-T - Вторник, 08.02.2011, 18:47 |
|
| |
AlexMD | Дата: Среда, 09.02.2011, 21:55 | Сообщение # 105 |
Лейтенант
Группа: Пользователи
Сообщений: 46
Статус: Offline
| Quote (IAA) ради эксперимента создал прогу в жаве которая читает файл по кускам и пишет каждые 10 сек в другой маленький файл , импорт настроил на каждые 2 секунды - никаких тормозов можно думаю даже на 5 сек - вечером выложу на форум если интересно Спасибо за прогу, действительно практически не грузит систему, историю записывает совершенно точно, а с реальной передачей проблемы с объемами, на каждой минутной свече теряет по 10%, при сильных движениях значительно больше. Или я что то не так делаю? Пробовал с различными интервалами все равно пропускает?
|
|
| |
|