Présentation du projet
Nous avons développé une plateforme complète de gestion de portefeuille de cryptomonnaies qui répond à la nature fragmentée du suivi des actifs cryptographiques sur plusieurs bourses et protocoles DeFi. La plateforme consolide les données de portefeuille provenant de 47 bourses et fournisseurs de portefeuilles différents, gérant plus de 2,3 milliards de dollars d'actifs suivis tout en fournissant des analyses de risque en temps réel et des rapports de conformité automatisés pour les gestionnaires de portefeuille institutionnels.
Le défi
La visibilité des portefeuilles d'investissement était incohérente entre les bourses et les fournisseurs de portefeuilles, ce qui a compliqué le suivi des risques et des performances pour les investisseurs particuliers sur le marché des cryptomonnaies.
Fragmentation du marché Le monde des cryptomonnaies fonctionne selon un système d'échanges et d'options de stockage qui ne sont pas interconnectés comme le sont les systèmes financiers avec leurs flux de données et leurs compensations standardisés. Au contraire, les crypto-actifs sont stockés dans des entités distinctes avec des normes API et des processus d'authentification différents, ce qui se traduit par un paysage fragmenté en termes de structures et de formats d'information.
Impact de la volatilité La complexité est accentuée par l'impact de la volatilité du marché sur des actifs tels que le Bitcoin et les altcoins, qui peuvent connaître des fluctuations supérieures à 80 % sur certaines périodes. Pour gérer efficacement cette situation et prendre rapidement des décisions sur des marchés en mouvement, les gestionnaires de portefeuille doivent avoir un accès constant aux données de position et aux mesures de risque, et rester conscients des corrélations entre les actifs.
Complexité de la conformité La navigation parmi les obligations complique les choses. Le suivi des détails fiscaux dans toutes les régions nécessite la surveillance des coûts de nombreuses petites transactions. Les entités financières sont tenues de conserver des registres afin de se conformer aux règles et réglementations en matière de lutte contre le blanchiment d'argent (AML) et de connaissance du client (KYC).
Principaux problèmes identifiés
Les gestionnaires de portefeuille ont rencontré des obstacles qui dépassaient le champ d'application des instruments d'investissement conventionnels :
- La gestion d'investissements répartis entre des plateformes telles que Binance et Coinbase Pro, ainsi que l'utilisation de portefeuilles matériels tels que Ledger et protocoles DeFi, ont entraîné des problèmes de fragmentation des données, ce qui a nui à la visibilité sur le portefeuille
- Le suivi manuel de ces investissements à l'aide de tableurs a entraîné des taux d'erreur de 15 à 20 % dus à des transactions négligées et à des données de prix obsolètes.
- Le processus décisionnel dans un environnement dynamique tel que celui du trading de cryptomonnaies est crucial en raison du fonctionnement du marché et des fluctuations rapides des prix, qui dépassent souvent 10 % en quelques minutes
Des informations inexactes ou tardives sur le portefeuille pourraient entraîner des choix de négociation moins qu'optimaux et des frais de glissement plus élevés.
Charge opérationnelle
Charge opérationnelle
- En période de tension sur les marchés, lorsque les corrélations entre les actifs ont augmenté en raison de l'absence d'analyse corrélative en temps réel et de valeur à risque (VaR), les portefeuilles se sont retrouvés avec des concentrations risquées dans des actifs corrélés
- La charge opérationnelle liée aux tâches de rapprochement s'élevait à 8 à 12 heures par semaine pour chaque gestionnaire de portefeuille, ce qui nécessitait une assistance comptable pour les calculs de base de coût essentiels à des fins fiscales.
- Équilibre entre sécurité et accessibilité : les mesures de sécurité strictes en matière de stockage entraient en conflit avec le désir de mises à jour instantanées du portefeuille et de transactions commerciales rapides
Résultats de la solution
Consolidation du portefeuille Les gestionnaires ont obtenu des informations sur 2,3 milliards de dollars d'actifs suivis en consolidant les données provenant de 47 bourses et fournisseurs de portefeuilles afin d'éliminer les angles morts du portefeuille.
Réduction des coûts
- Réduction des coûts de 75 % grâce au rapprochement automatisé et à la synchronisation instantanée
- Ce changement a permis aux gestionnaires de portefeuille de consacrer leur temps à la planification plutôt que de se laisser absorber par la collecte de données.
- Les économies réalisées grâce à la mise en œuvre de la limitation des taux API et de la mise en cache ont permis de réduire de 62 % les dépenses liées aux données tierces et d'améliorer les temps de réponse, qui sont passés de 2,5 secondes à 340 millisecondes
Amélioration des performances
- Augmentation des rendements ajustés au risque de 23 % grâce à l'utilisation d'analyses de corrélation et de systèmes d'alerte précoce pour gérer les risques de concentration du portefeuille
- La rationalisation des rapports de conformité a permis de réduire le temps nécessaire de 40 heures à 3 heures par trimestre grâce à l'utilisation d'un suivi automatisé des coûts et à la génération efficace de rapports.
- Réduction des frais de négociation de 31 % grâce à l'utilisation du routage des exécutions et à l'identification en temps réel des opportunités d'arbitrage sur les différentes plateformes de négociation
Sécurité et performances avancées
99.disponibilité de 98 % avec des fonctionnalités de sécurité de niveau entreprise et des normes de conformité réglementaire.
Architecture technique
Conception du système Le système a utilisé une conception de microservices ainsi qu'une synchronisation des données basée sur les événements pour traiter efficacement la question de la consolidation du portefeuille, en se concentrant sur la création d'une base de données capable de gérer diverses structures API et d'offrir des perspectives de portefeuille cohérentes, indépendamment des configurations de conservation sous-jacentes.
Principales caractéristiques techniques
- Les choix architecturaux ont privilégié la cohérence finale plutôt que les principes ACID afin de gérer efficacement les contraintes des API d'échange et les partitions réseau.
- Le système a utilisé une méthode appelée « amélioration des données par niveaux » pour garantir la synchronisation en temps réel des données de position fondamentales tout en permettant le calcul asynchrone d'analyses complexes
- Les limites de sécurité qui s'adaptent à plusieurs locataires permettent de protéger les données des clients et de promouvoir efficacement l'efficacité des ressources.
Traitement des données Le moteur d'analyse avancé traite 2 300 000 flux de prix chaque jour, ce qui permet de mettre en œuvre de manière transparente des stratégies d'analyse des risques et d'ajustement automatisé.
Parcours de mise en œuvre
Configuration initiale Le projet a débuté par la mise en place du pipeline de données et de la structure de sécurité. Nous avons déployé des clusters Kubernetes dans trois zones de disponibilité avec des fonctions de basculement automatisées. Notre première tâche a consisté à intégrer les 5 principales bourses en fonction du volume des transactions :
- Binance
- Coinbase
- Kraken
- Bitfinex
- Huobi
Architecture de la base de données L'équipe a fait des choix stratégiques, tels que celui d'opter pour PostgreSQL plutôt que pour des options NoSQL pour la gestion des données de portefeuille, compte tenu de la nécessité de se conformer aux principes ACID dans les méthodes de stockage des informations financières. Elle a également divisé la base de données par identifiant client afin de permettre la croissance tout en garantissant les transactions au sein de chaque segment de portefeuille.
Gestion de la qualité des données Le système d'analyse des données a utilisé l'approche « exactly-once delivery » d'Apache Kafka pour éviter la duplication des transactions. Les tâches de traitement des flux ont calculé instantanément les totaux, les montants des profits ou des pertes et les pourcentages des portefeuilles.
Principales fonctionnalités fournies
Gestion des risques
- Analyse de corrélation en temps réel et calculs de la valeur à risque (VaR)
- Fonctions de rééquilibrage automatisées liées aux API des bourses
- Mesures de sécurité visant à limiter les transactions en période de forte volatilité des marchés
Optimisation fiscale
Les fonctions d'optimisation fiscale nécessitaient des calculs de base de coût prenant en charge :
- FIFO (premier entré, premier sorti)
- LIFO (dernier entré, premier sorti)
- Techniques d'identification spécifiques Le système stockait un historique complet des transactions avec des hachages afin de maintenir l'intégrité de la piste d'audit.
Sécurité et conformité
- Intégration avec des modules de sécurité matériels et des solutions de conservation
- Limites de sécurité multi-locataires avec des files d'attente de messages et des schémas de base de données isolés
- Rapports de conformité automatisés avec maintenance de la piste d'audit
Déploiement en production
Test et déploiement
- La couverture des tests pour tous les microservices a dépassé 85 %
- Le déploiement bêta a concerné 50 clients sur une période de 6 semaines et a géré des actifs d'une valeur totale de 500 millions de dollars.
- La version officielle a utilisé une stratégie de déploiement bleu-vert ainsi que des mécanismes de secours automatisés
Impact et résultats
Excellence opérationnelle La transformation de la plateforme a permis d'améliorer considérablement l'efficacité et la gestion des risques, tout en améliorant l'expérience utilisateur. Les gestionnaires de portefeuille ont indiqué qu'ils gagnaient désormais un temps considérable dans leurs opérations quotidiennes et qu'ils avaient accès à des fonctionnalités analytiques avancées qui étaient auparavant réservées aux hedge funds quantitatifs.
Lors des turbulences boursières d'octobre 2022, alors que les méthodes de suivi manuelles conventionnelles n'ont pas permis de détecter les perturbations de corrélation, les utilisateurs de la plateforme ont pu procéder à des ajustements proactifs sur la base d'alertes en temps réel.
Rentabilité
Rentabilité La rentabilité a dépassé les attentes grâce à la mise en œuvre de limites d'utilisation des API et de méthodes stratégiques de stockage des données. Le système a permis de réduire les dépenses liées aux données tierces de 180 000 $ à 68 000 $ tout en améliorant la précision des données et la vitesse de réponse pendant la période analysée.
Stack technique
Infrastructure centrale
Composants de la pile technologique
Composant | Technologie | Objectif |
---|---|---|
Couche API | Node.js avec Express, GraphQL | Requêtes de données et gestion des API |
Mise en cache | Cluster Redis | Gestion des sessions et données fréquemment consultées |
Stockage des séries chronologiques | InfluxDB | Historique des prix et indicateurs de performance |
Orchestration des conteneurs | Kubernetes avec Helm | Déploiement de l'application |
Frontend | Réagissez avec TypeScript, Material UI | Interface utilisateur |
Communication en temps réel | Connexions WebSocket | Flux de prix en temps réel et mises à jour du portefeuille |
Infrastructure de sécurité | AWS KMS, HashiCorp Vault | Gestion des clés de chiffrement et des secrets |
Surveillance | Prometheus, Grafana, ELK Stack | Collecte, visualisation et enregistrement des métriques |
Leçons apprises
Stratégie de gestion des API La mise en œuvre d'une stratégie de gestion des limites de débit des API implique l'utilisation du regroupement des requêtes et la mise en cache stratégique des données fréquemment consultées, plutôt que de s'appuyer uniquement sur des techniques de parallélisation qui peuvent ne pas contourner les limites strictes imposées par les API d'échange.
Priorité à la qualité des données Au début du développement, nous nous sommes concentrés sur la rapidité des résultats plutôt que sur l'exactitude des données utilisées, ce qui a conduit les utilisateurs à remettre en question la fiabilité de notre plateforme. Après réévaluation, nous avons décidé de donner la priorité à la validation des données et aux contrôles de qualité, même si cela impliquait des temps de traitement plus longs.
Équilibre entre sécurité et performances Il était essentiel de trouver un équilibre entre sécurité et performances lors de l'intégration des portefeuilles matériels dans le processus de conception de l'expérience utilisateur, afin de garantir que les utilisateurs puissent accéder à des mises à jour en temps réel de leur portefeuille sans compromettre la sécurité de leurs clés privées.
Il est toujours préférable de ne pas dépendre d'une seule API d'échange pour les informations relatives au portefeuille, car les pannes et les limites de taux peuvent entraîner des angles morts risqués, en particulier lorsque le marché est volatil.
Indicateurs clés de performance
Réduction des coûts
Réduction des coûts opérationnels
Ressources suivies
Valeur totale du portefeuille géré
Intégration Exchange
Échanges et portefeuilles connectés
Délai de réponse
Temps de réponse moyen de l'API