Платформа управління портфелем криптовалют

Ми розробили комплексну платформу управління портфелем криптовалют, яка вирішує проблему фрагментації відстеження криптоактивів на декількох біржах і протоколах DeFi. Платформа об'єднує дані портфелів з 47 різних бірж і постачальників гаманців, управляючи активами на суму понад 2,3 млрд доларів, а також надає інституційним менеджерам портфелів аналітику ризиків у режимі реального часу та автоматизовану звітність щодо дотримання нормативних вимог.

Прозорість інвестиційних портфелів була неоднаковою на різних біржах та у різних постачальників гаманців, що ускладнювало моніторинг ризиків та ефективності як для роздрібних інвесторів, так і для ринку криптовалют.

Фрагментація ринку

Світ криптовалют функціонує в рамках системи обміну та зберігання, яка не є взаємопов'язаною, як фінансові системи зі своїми стандартизованими потоками даних та клірингом. Натомість криптоактиви зберігаються в окремих організаціях з різними нормами API та процесами автентифікації, що призводить до фрагментації інформаційних структур та форматів.

Вплив волатильності

Складність посилюється впливом волатильності ринку на такі активи, як біткойн та альткойни, які можуть зазнавати коливань протягом періодів, що перевищують 80%. Щоб ефективно управляти цим та швидко приймати рішення на мінливих ринках, портфельні менеджери повинні мати постійний доступ до даних про позиції та показників ризику, а також бути в курсі кореляцій між активами.

Складність дотримання вимог

Навігація по зобов'язаннях ускладнює справу. Відстеження податкових деталей у різних регіонах вимагає контролю витрат у численних дрібних транзакціях. Фінансові установи зобов'язані вести облік, щоб дотримуватися правил і положень протидії відмиванню грошей (AML) та «знай свого клієнта» (KYC).

Менеджери портфелів зіткнулися з перешкодами, які виходили за межі можливостей звичайних інвестиційних інструментів:

• •Управління інвестиціями, розподіленими між такими платформами, як Binance і Coinbase Pro, а також використання апаратних гаманців, таких як Ledger і протоколи DeFi, призвело до отримання інформації про портфель через проблеми з фрагментацією даних
• •Ручне відстеження цих інвестицій за допомогою електронних таблиць призводило до помилок у 15-20% випадків через пропущення транзакцій та застарілі дані про ціни
• •Процес прийняття рішень в такому динамічному середовищі, як торгівля криптовалютою, є надзвичайно важливим через особливості функціонування ринку та швидкі коливання цін, які часто перевищують 10% протягом декількох хвилин

Операційне навантаження

• •У періоди ринкових потрясінь, коли кореляція між активами зростала через відсутність аналізу кореляції в режимі реального часу та вартості під ризиком (VaR), портфелі в результаті містили ризиковані концентрації корельованих активів
• •Операційне навантаження, пов'язане з узгодженням завдань, становило 8-12 годин на тиждень для кожного менеджера портфеля, що вимагало допомоги бухгалтера для розрахунку вартості, необхідної для цілей оподаткування
• •Дилема балансу між безпекою та доступністю: суворі заходи безпеки зберігання суперечили бажанню миттєвого оновлення портфеля та швидких торгових операцій

Консолідація портфоліо

Менеджери отримали інформацію про 2,3 млрд доларів відстежуваних активів, об'єднавши дані з 47 бірж та постачальників гаманців, щоб усунути «сліпі зони» в портфелі.

Зниження витрат

• •Вдалося скоротити витрати на 75% завдяки автоматизованій узгодження та миттєвій синхронізації
• •Ця зміна дозволила менеджерам портфелів присвятити час плануванню, а не зациклюватися на зборі даних
• •Економія коштів, досягнута завдяки впровадженню обмеження швидкості API та кешування, призвела до 62% скорочення витрат на дані третіх сторін, а також до покращення часу відгуку з 2,5 секунди до 340 мілісекунд.

Покращення продуктивності

• •Підвищення прибутковості з урахуванням ризику на 23% за допомогою кореляційного аналізу та систем раннього попередження для управління ризиками концентрації портфеля
• •Оптимізація звітності про дотримання вимог дозволила скоротити час, необхідний для її підготовки, з 40 годин до 3 годин на квартал завдяки використанню автоматизованого відстеження витрат та ефективному формуванню звітів.
• •Зниження торгових витрат на 31% за допомогою маршрутизації виконання та виявлення можливостей арбітражу в режимі реального часу на різних торгових платформах

Проектування системи

Система використовувала дизайн мікросервісів разом із синхронізацією даних на основі подій, щоб ефективно вирішити проблему консолідації портфеля, зосередившись на створенні бази даних для обробки різних структур API та наданні послідовних перспектив портфеля незалежно від налаштувань зберігання.

Основні технічні характеристики

• •Архітектурні рішення віддавали перевагу кінцевій узгодженості над принципами ACID для ефективного управління обмеженнями API обміну та мережевими розділами
• •Система використовувала метод, який називається «багаторівневе вдосконалення даних», щоб забезпечити синхронізацію основних даних про положення в режимі реального часу, дозволяючи при цьому асинхронний розрахунок складних аналітичних даних.
• •Межі безпеки, що обслуговують декількох орендарів, служать для захисту даних клієнтів та ефективного сприяння ефективному використанню ресурсів

Обробка даних

Розширений аналітичний механізм обробляє 2 300 000 цінових потоків щодня, що дозволяє безперебійно здійснювати аналіз ризиків та автоматизовані стратегії коригування.

Початкове налаштування

Проект розпочався з налаштування каналу передачі даних та структури безпеки. Ми розгорнули кластери Kubernetes у трьох зонах доступності з автоматизованими функціями відмовостійкості. Нашим першим завданням була інтеграція з 5 провідними біржами за обсягом торгів:

• •Binance
• •Coinbase
• •Kraken
• •Bitfinex
• •Huobi

Архітектура бази даних

Команда прийняла стратегічні рішення, такі як вибір PostgreSQL замість NoSQL для управління даними портфеля, враховуючи необхідність дотримання ACID у методах зберігання фінансової інформації. Вони також розділили базу даних за ідентифікаторами клієнтів, щоб забезпечити зростання, гарантуючи транзакції в межах кожного сегмента портфеля.

Управління якістю даних

Система аналізу даних використовувала підхід «точна одноразова доставка» Apache Kafka, щоб уникнути дублювання транзакцій. Завдання потокової обробки миттєво обчислювали суми, прибутки або збитки та відсотки портфеля.

Управління ризиками

• •Аналіз кореляції в режимі реального часу та розрахунки вартістю під ризиком (VaR)
• •Автоматичні функції ребалансування, пов'язані з API бірж
• •Заходи безпеки для обмеження торгівлі в періоди підвищеної волатильності ринку

Оптимізація оподаткування

Функції оптимізації оподаткування вимагали розрахунків вартості, що підтримують:

• •FIFO (першим прийшов, першим пішов)
• •LIFO (останній увійшов, перший вийшов)
• •Специфічні методи ідентифікації

Система зберігала повну історію транзакцій з хешами для збереження цілісності аудиторського сліду.

Безпека та відповідність вимогам

• •Інтеграція з апаратними модулями безпеки та рішеннями для зберігання
• •Багатокористувацькі межі безпеки з ізольованими чергами повідомлень та схемами баз даних
• •Автоматизована звітність про відповідність вимогам з веденням журналу аудиту

Тестування та впровадження

• •Покриття тестуванням для всіх мікросервісів перевищило 85%
• •Бета-версія була доступна для 50 клієнтів протягом 6 тижнів і керувала активами на загальну суму 500 мільйонів доларів.
• •В офіційному випуску використовувалася стратегія розгортання «синьо-зелений» разом з автоматизованими механізмами резервного копіювання

Операційна досконалість

Трансформація платформи призвела до значного підвищення ефективності та поліпшення управління ризиками, а також покращила аспекти користувацького досвіду. Менеджери портфелів повідомили, що тепер вони значно економлять час у своїх щоденних операціях і отримують доступ до розширених аналітичних функцій, які раніше були доступні виключно кількісним хедж-фондам.

Економічна ефективність

Економічна ефективність перевищила очікування завдяки впровадженню обмежень на використання API та стратегічних методів зберігання даних. Система дозволила зменшити витрати на дані третіх сторін з 180 тис. доларів до 68 тис. доларів, одночасно підвищивши точність даних та швидкість реагування протягом аналізованого періоду.

Основна інфраструктура

Стратегія управління API

Впровадження стратегії для обмеження швидкості API передбачає використання пакетної обробки запитів і стратегічне кешування даних, до яких часто звертаються, замість того, щоб покладатися виключно на методи паралелізації, які можуть не обійти суворі обмеження, накладені API бірж.

Пріоритет якості даних

На початкових етапах розробки ми зосередилися на швидкому отриманні результатів, а не на забезпеченні точності використовуваних даних, що призвело до сумнівів користувачів у надійності нашої платформи. Після переоцінки ми перейшли до пріоритетності перевірки даних та контролю якості, навіть якщо це означало більш тривалий час обробки.

Баланс між безпекою та продуктивністю

Створення балансу між безпекою та продуктивністю було вирішальним фактором при інтеграції апаратних гаманців у процес проектування користувацького досвіду, що забезпечило користувачам доступ до оновлень портфеля в режимі реального часу без шкоди для безпеки їхніх приватних ключів.