Piattaforma di gestione del portafoglio di criptovalute

Abbiamo creato una piattaforma completa per gestire i portafogli di criptovalute che risolve il problema di tenere traccia delle criptovalute su più exchange e protocolli DeFi. La piattaforma mette insieme i dati dei portafogli da 47 diversi exchange e fornitori di wallet, gestendo più di 2,3 miliardi di dollari in asset monitorati e offrendo analisi dei rischi in tempo reale e report automatici sulla conformità per i gestori di portafogli istituzionali.

La visibilità dei portafogli di investimento era diversa a seconda delle borse e dei fornitori di portafogli, il che rendeva difficile monitorare i rischi e le prestazioni sia per gli investitori al dettaglio che per il mercato delle criptovalute.

Frammentazione del mercato

Il mondo delle criptovalute funziona con un sistema di scambi e opzioni di archiviazione che non sono collegati tra loro come i sistemi finanziari con i loro flussi di dati e autorizzazioni standardizzati. Invece, le criptovalute sono archiviate in entità separate con norme API e processi di autenticazione diversi, il che porta a un panorama frammentato di strutture e formati informativi.

Impatto della volatilità

La cosa si fa ancora più complicata perché il mercato è un po' instabile e questo può influire su cose come Bitcoin e altcoin, che possono avere fluttuazioni che superano l'80% in certi periodi. Per gestire tutto questo in modo efficace e prendere decisioni veloci in mercati che cambiano, i gestori di portafoglio devono poter accedere sempre ai dati sulle posizioni e alle metriche di rischio e stare attenti alle correlazioni tra le diverse cose.

Complessità della conformità

Navigare tra gli obblighi rende tutto più complicato. Tenere sotto controllo i dettagli fiscali in tutte le regioni richiede il monitoraggio dei costi in tante piccole transazioni. Le entità finanziarie devono conservare i registri per rispettare le regole e i regolamenti antiriciclaggio (AML) e know your customer (KYC).

I gestori di portafoglio hanno incontrato ostacoli che andavano oltre la portata degli strumenti di investimento tradizionali:

• •Gestire gli investimenti su diverse piattaforme come Binance e Coinbase Pro e usare portafogli hardware come Ledger e protocolli DeFi ha portato a una visione più chiara del portafoglio, nonostante i problemi di frammentazione dei dati.
• •Tracciare questi investimenti a mano con i fogli di calcolo ha portato a errori del 15-20% perché si saltavano delle transazioni e i prezzi erano vecchi.
• •Il processo decisionale in un ambiente frenetico come quello del trading di criptovalute è fondamentale a causa del funzionamento del mercato e delle rapide fluttuazioni dei prezzi che spesso superano il 10% in pochi minuti

Onere operativo

• •Nei momenti di stress del mercato, quando le correlazioni tra gli asset aumentavano a causa della mancanza di analisi in tempo reale delle correlazioni e del valore a rischio (VaR), i portafogli finivano per avere concentrazioni rischiose in asset correlati
• •Il carico operativo per la riconciliazione delle attività era di 8-12 ore alla settimana per ogni gestore di portafoglio, che aveva bisogno di aiuto contabile per calcolare i costi di base, fondamentali per la tassazione.
• •Il dilemma tra sicurezza e accessibilità: le rigide misure di sicurezza dell'archiviazione si scontravano con il desiderio di aggiornamenti istantanei del portafoglio e transazioni commerciali veloci.

Consolidamento del portfolio

I manager hanno ottenuto informazioni dettagliate su 2,3 miliardi di dollari di asset monitorati consolidando i dati provenienti da 47 exchange e fornitori di wallet per eliminare i punti ciechi del portafoglio.

Riduzione dei costi

• •Siamo riusciti a ridurre i costi del 75% grazie alla riconciliazione automatica e alla sincronizzazione istantanea
• •Questo cambiamento ha permesso ai gestori di portafoglio di dedicare tempo alla pianificazione invece di perdersi nella raccolta dei dati
• •Il risparmio ottenuto grazie all'implementazione della limitazione della velocità delle API e della memorizzazione nella cache ha portato a una riduzione del 62% delle spese per i dati di terze parti e a un miglioramento dei tempi di risposta da 2,5 secondi a 340 millisecondi.

Miglioramenti delle prestazioni

• •Aumento dei rendimenti corretti per il rischio del 23% usando l'analisi di correlazione e sistemi di allerta precoce per gestire i rischi di concentrazione del portafoglio
• •Semplificare i rapporti di conformità ha ridotto il tempo necessario da 40 ore a 3 ore per trimestre, usando il monitoraggio automatico dei costi e creando rapporti in modo efficiente.
• •Abbiamo ridotto le spese di trading del 31% usando il routing di esecuzione e trovando opportunità di arbitraggio in tempo reale su diverse piattaforme di trading.

Progettazione del sistema

Il sistema ha usato un design basato su microservizi insieme alla sincronizzazione dei dati basata sugli eventi per risolvere in modo efficiente il problema del consolidamento del portafoglio, concentrandosi sulla creazione di una base di dati in grado di gestire varie strutture API e offrire prospettive di portafoglio coerenti indipendentemente dalle configurazioni di custodia sottostanti.

Caratteristiche tecniche principali

• •Le scelte architetturali hanno privilegiato la coerenza finale rispetto ai principi ACID per gestire in modo efficace i vincoli dell'API di scambio e le partizioni di rete
• •Il sistema ha usato un metodo chiamato "miglioramento dei dati a più livelli" per far sì che i dati di posizione fondamentali fossero sincronizzati in tempo reale, permettendo al contempo il calcolo asincrono di analisi complesse
• •I confini di sicurezza che si adattano a più utenti servono a proteggere i dati dei clienti e a promuovere l'efficienza delle risorse in modo efficace

Elaborazione dei dati

Il motore di analisi avanzata elabora 2.300.000 feed di prezzi ogni giorno, permettendo di fare analisi dei rischi e strategie di aggiustamento automatiche senza problemi.

Configurazione iniziale

Il progetto è partito con la creazione della pipeline di dati e della struttura di sicurezza. Abbiamo messo in piedi dei cluster Kubernetes in tre zone di disponibilità con funzioni di failover automatiche. Il nostro primo compito è stato quello di integrare le 5 principali borse in base al volume degli scambi:

• •Binance
• •Coinbase
• •Kraken
• •Bitfinex
• •Huobi

Architettura del database

Il team ha fatto delle scelte strategiche, tipo usare PostgreSQL invece delle opzioni NoSQL per gestire i dati del portafoglio, visto che serviva la conformità ACID nei metodi di archiviazione delle informazioni finanziarie. Hanno anche diviso il database per ID cliente per permettere la crescita e garantire le transazioni all'interno di ogni segmento del portafoglio.

Gestione della qualità dei dati

Il sistema di analisi dei dati ha usato l'approccio "exactly-once delivery" di Apache Kafka per evitare di duplicare le transazioni. Le attività di elaborazione dei flussi hanno calcolato istantaneamente i totali, gli importi di profitti o perdite e le percentuali del portafoglio.

Gestione dei rischi

• •Analisi di correlazione in tempo reale e calcoli del Value at Risk (VaR)
• •Funzioni di ribilanciamento automatico collegate alle API di scambio
• •Misure di sicurezza per frenare il trading in periodi di maggiore volatilità del mercato

Ottimizzazione fiscale

Le funzioni di ottimizzazione fiscale richiedevano calcoli della base di costo che supportassero:

• •FIFO (First In, First Out)
• •LIFO (Last In, First Out)
• •Tecniche di identificazione specifiche

Il sistema ha salvato tutta la cronologia delle transazioni con gli hash per mantenere l'integrità della traccia di controllo.

Sicurezza e conformità

• •Integrazione con moduli di sicurezza hardware e soluzioni di custodia
• •Confini di sicurezza multi-tenant con code di messaggi isolate e schemi di database
• •Report automatici sulla conformità con la gestione della tracciabilità degli audit

Test e lancio

• •La copertura dei test per tutti i microservizi ha superato l'85%.
• •Il lancio della versione beta ha coinvolto 50 clienti in un periodo di 6 settimane e ha gestito asset per un valore totale di 500 milioni di dollari.
• •La versione ufficiale ha usato una strategia di distribuzione blu-verde insieme a meccanismi di fallback automatici.

Eccellenza operativa

La trasformazione della piattaforma ha portato a miglioramenti significativi in termini di efficienza e gestione del rischio, migliorando al contempo anche l'esperienza degli utenti. I gestori di portafoglio hanno detto che ora risparmiano un sacco di tempo nelle loro operazioni quotidiane e hanno accesso a funzioni analitiche avanzate che prima erano solo per gli hedge fund quantitativi.

Efficienza dei costi

L'efficienza dei costi ha superato le aspettative grazie all'implementazione di limiti di utilizzo delle API e metodi strategici di archiviazione dei dati. Il sistema è riuscito a ridurre le spese per i dati di terze parti da 180.000 a 68.000 dollari, migliorando al contempo l'accuratezza dei dati e la velocità di risposta durante il periodo analizzato.

Infrastruttura di base

Strategia di gestione delle API

Mettere in atto una strategia per gestire la limitazione della velocità delle API significa usare il raggruppamento delle richieste e memorizzare strategicamente i dati a cui si accede spesso, invece di affidarsi solo a tecniche di parallelizzazione che potrebbero non aggirare i limiti rigidi imposti dalle API di scambio.

Priorità della qualità dei dati

All'inizio, ci siamo concentrati sul dare risultati veloci piuttosto che sull'accuratezza dei dati, e questo ha fatto sì che gli utenti si chiedessero se la nostra piattaforma fosse davvero affidabile. Dopo averci ripensato, abbiamo deciso di dare la priorità alla verifica dei dati e alla qualità, anche se questo ha significato tempi di elaborazione più lunghi.

Equilibrio tra sicurezza e prestazioni

Creare un mix tra sicurezza e prestazioni è stato fondamentale per integrare i portafogli hardware nel processo di progettazione dell'esperienza utente, assicurando che gli utenti potessero accedere agli aggiornamenti in tempo reale del proprio portafoglio senza compromettere la sicurezza delle loro chiavi private.