Descripción general del proyecto
Hemos desarrollado una plataforma integral de gestión de carteras de criptomonedas que aborda la naturaleza fragmentada del seguimiento de los activos criptográficos en múltiples intercambios y protocolos DeFi. La plataforma consolida los datos de las carteras de 47 intercambios y proveedores de carteras diferentes, gestionando más de 2300 millones de dólares en activos rastreados, al tiempo que proporciona análisis de riesgos en tiempo real e informes de cumplimiento automatizados para los gestores de carteras institucionales.
El reto
La visibilidad de las carteras de inversión era inconsistente entre las distintas bolsas y proveedores de carteras, lo que dificultaba la supervisión de los riesgos y el rendimiento tanto para los inversores minoristas como para el mercado de las criptomonedas.
Fragmentación del mercado El mundo de las criptomonedas funciona dentro de un sistema de intercambios y opciones de almacenamiento que no están interconectados como lo están los sistemas financieros con sus flujos de datos y compensaciones estandarizados. En cambio, los criptoactivos se almacenan en entidades separadas con diferentes normas API y procesos de autenticación, lo que da lugar a un panorama fragmentado de estructuras y formatos de información.
Impacto de la volatilidad La complejidad se ve acentuada por el impacto de la volatilidad del mercado en activos como el bitcoin y las altcoins, que pueden experimentar fluctuaciones superiores al 80 % en determinados periodos de tiempo. Para gestionar esto de forma eficaz y tomar decisiones rápidamente en mercados en constante movimiento, los gestores de carteras deben tener acceso constante a los datos de posición y las métricas de riesgo, y estar al tanto de las correlaciones entre los activos.
Complejidad del cumplimiento normativo Navegar por las obligaciones complica las cosas. Llevar un control de los detalles fiscales en todas las regiones requiere supervisar los costes de numerosas transacciones pequeñas. Las entidades financieras están obligadas a mantener registros para cumplir con las normas y reglamentos contra el blanqueo de capitales (AML) y conozca a su cliente (KYC).
Problemas clave identificados
Los gestores de carteras se encontraron con obstáculos que iban más allá del alcance de los instrumentos de inversión convencionales:
- La gestión de inversiones repartidas entre plataformas como Binance y Coinbase Pro, junto con el uso de carteras de hardware como Ledger y protocolos DeFi, dio lugar a problemas de fragmentación de datos que dificultaban la comprensión de la cartera
- El seguimiento manual de estas inversiones mediante hojas de cálculo provocó índices de error del 15-20 % debido al descuido de transacciones y datos de precios desactualizados.
- El proceso de toma de decisiones en un entorno tan dinámico como el comercio de criptomonedas es crucial debido al funcionamiento del mercado y a las rápidas fluctuaciones de precios, que a menudo superan el 10 % en cuestión de minutos
La información inexacta o retrasada sobre la cartera podría dar lugar a decisiones comerciales menos que óptimas y a mayores gastos por deslizamiento.
Carga operativa
Carga operativa
- Durante los periodos de tensión en los mercados, cuando las correlaciones entre activos aumentaron debido a la falta de análisis de correlaciones en tiempo real y del valor en riesgo (VaR), las carteras acabaron concentrando riesgos en activos correlacionados
- La carga operativa de las tareas de conciliación ascendía a entre 8 y 12 horas semanales para cada gestor de cartera, lo que requería asistencia contable para los cálculos de la base de costes esenciales a efectos fiscales.
- Dilema entre la seguridad y la accesibilidad: las estrictas medidas de seguridad del almacenamiento chocaban con el deseo de actualizaciones instantáneas de la cartera y transacciones comerciales rápidas
Resultados de la solución
Consolidación de carteras Los gestores obtuvieron información sobre 2300 millones de dólares en activos rastreados al consolidar los datos de 47 bolsas y proveedores de carteras para eliminar los puntos ciegos de las carteras.
Reducción de costes
- Se logró reducir los costes en un 75 % gracias a la conciliación automatizada y la sincronización instantánea
- Este cambio permitió a los gestores de carteras dedicar tiempo a la planificación en lugar de verse envueltos en la recopilación de datos.
- El ahorro de costes conseguido mediante la implementación de la limitación de tarifas API y el almacenamiento en caché dio como resultado una reducción del 62 % en los gastos de datos de terceros, junto con una mejora en los tiempos de respuesta de 2,5 segundos a 340 milisegundos
Mejoras en el rendimiento
- Se mejoraron los rendimientos ajustados al riesgo en un 23 % utilizando análisis de correlación y sistemas de alerta temprana para gestionar los riesgos de concentración de la cartera
- La optimización de los informes de cumplimiento normativo ha reducido el tiempo necesario de 40 horas a 3 horas por trimestre gracias al seguimiento automatizado de los costes y a la generación eficiente de informes.
- Reducción de los gastos de negociación en un 31 % mediante el enrutamiento de ejecuciones y la identificación de oportunidades de arbitraje en tiempo real en todas las plataformas de negociación
Seguridad y rendimiento avanzados
99.98 % de tiempo de actividad con funciones de seguridad de nivel empresarial y normas de cumplimiento normativo.
Arquitectura técnica
Diseño del sistema El sistema utilizó un diseño de microservicios junto con la sincronización de datos basada en eventos para abordar de manera eficiente el problema de la consolidación de carteras, centrándose en la creación de una base de datos que manejara diversas estructuras API y ofreciera perspectivas de cartera coherentes, independientemente de las configuraciones de custodia subyacentes.
Características técnicas clave
- Las opciones arquitectónicas favorecieron la consistencia eventual sobre los principios ACID para gestionar eficazmente las restricciones de la API de intercambio y las particiones de red.
- El sistema utilizó un método denominado «mejora de datos por niveles» para garantizar que los datos de posición fundamentales se sincronizaran en tiempo real, al tiempo que permitía el cálculo asíncrono de análisis complejos
- Los límites de seguridad que atienden a múltiples inquilinos sirven para proteger los datos de los clientes y promover la eficiencia de los recursos de manera eficaz.
Procesamiento de datos El motor de análisis avanzado procesa 2 300 000 feeds de precios cada día, lo que permite implementar sin problemas análisis de riesgos y estrategias de ajuste automatizadas.
Proceso de implementación
Configuración inicial El proyecto comenzó con la configuración del canal de datos y la estructura de seguridad. Implementamos clústeres de Kubernetes en tres zonas de disponibilidad con funciones de conmutación por error automatizadas. Nuestra primera tarea fue integrarnos con las 5 principales bolsas según el volumen de operaciones:
- Binance
- Coinbase
- Kraken
- Bitfinex
- Huobi
Arquitectura de la base de datos El equipo tomó decisiones estratégicas, como optar por PostgreSQL en lugar de opciones NoSQL para gestionar los datos de la cartera, teniendo en cuenta la necesidad de cumplir con ACID en los métodos de almacenamiento de información financiera. También dividieron la base de datos por ID de cliente para permitir el crecimiento y garantizar las transacciones dentro de cada segmento de la cartera.
Gestión de la calidad de los datos El sistema de análisis de datos utilizó el enfoque de entrega exacta única vez de Apache Kafka para evitar la duplicación de transacciones. Las tareas de procesamiento de flujos calculaban instantáneamente los totales, las cantidades de ganancias o pérdidas y los porcentajes de la cartera.
Características principales incluidas
Gestión de riesgos
- Análisis de correlación en tiempo real y cálculos del valor en riesgo (VaR).
- Funciones de reequilibrio automatizadas vinculadas a las API de intercambio.
- Medidas de seguridad para frenar las operaciones en momentos de mayor volatilidad del mercado.
Optimización fiscal
Las funciones de optimización fiscal requerían cálculos de la base de costes que admitieran:
- FIFO (primero en entrar, primero en salir)
- LIFO (último en entrar, primero en salir)
- Técnicas de identificación específicas El sistema almacenaba un historial completo de transacciones con hash para mantener la integridad del registro de auditoría.
Seguridad y cumplimiento normativo
- Integración con módulos de seguridad de hardware y soluciones de custodia
- Límites de seguridad multitenant con colas de mensajes aisladas y esquemas de bases de datos
- Informes de cumplimiento normativo automatizados con mantenimiento del registro de auditoría
Implementación de producción
Pruebas y lanzamiento
- La cobertura de las pruebas para todos los microservicios ha superado el 85 %
- El lanzamiento beta atendió a 50 clientes durante un periodo de 6 semanas y gestionó activos por un valor total de 500 millones de dólares.
- El lanzamiento oficial utilizó una estrategia de implementación azul-verde junto con mecanismos de respaldo automatizados
Impacto y resultados
Excelencia operativa La transformación de la plataforma ha dado lugar a importantes mejoras en la eficiencia y la gestión de riesgos, al tiempo que ha mejorado aspectos de la experiencia del usuario. Los gestores de carteras han comentado que ahora ahorran mucho tiempo en sus operaciones diarias y tienen acceso a funciones analíticas avanzadas que antes eran exclusivas de los fondos de cobertura cuantitativos.
Durante la agitación del mercado en octubre de 2022, cuando los métodos de seguimiento manuales convencionales no lograron detectar las interrupciones en la correlación, los usuarios de la plataforma pudieron realizar ajustes proactivos basándose en alertas en tiempo real.
Rentabilidad
Rentabilidad La rentabilidad superó las expectativas gracias a la implementación de límites de uso de API y métodos estratégicos de almacenamiento de datos. El sistema logró reducir los gastos en datos de terceros de 180 000 a 68 000 dólares, al tiempo que mejoró la precisión de los datos y la velocidad de respuesta durante el período analizado.
Pila técnica
Infraestructura central
Componentes de la pila tecnológica
Componente | Tecnología | Propósito |
---|---|---|
Capa API | Node.js con Express, GraphQL | Consultas de datos y gestión de API |
Almacenamiento en caché | Clúster Redis | Gestión de sesiones y datos de acceso frecuente |
Almacenamiento de series temporales | InfluxDB | Métricas históricas de precios y rendimiento |
Orquestación de contenedores | Kubernetes con Helm | Implementación de la aplicación |
Interfaz | React con TypeScript, Material UI | Interfaz de usuario |
Comunicación en tiempo real | Conexiones WebSocket | Actualizaciones en tiempo real de precios y carteras |
Infraestructura de seguridad | AWS KMS, HashiCorp Vault | Gestión de claves de cifrado y secretos |
Supervisión | Prometheus, Grafana, ELK Stack | Recopilación, visualización y registro de métricas |
Lecciones aprendidas
Estrategia de gestión de API La implementación de una estrategia para gestionar la limitación de la tasa de API implica utilizar el procesamiento por lotes de solicitudes y almacenar en caché estratégicamente los datos a los que se accede con frecuencia, en lugar de depender únicamente de técnicas de paralelización que pueden no eludir los estrictos límites impuestos por las API de intercambio.
Prioridad de la calidad de los datos En las primeras etapas del desarrollo, nos centramos en ofrecer resultados rápidamente en lugar de garantizar la precisión de los datos utilizados, lo que provocó que los usuarios cuestionaran la fiabilidad de nuestra plataforma. Tras una reevaluación, decidimos dar prioridad a la validación de los datos y a los controles de calidad, aunque ello supusiera tiempos de procesamiento más largos.
Equilibrio entre seguridad y rendimiento Crear una combinación entre seguridad y rendimiento fue crucial para integrar las carteras de hardware en el proceso de diseño de la experiencia del usuario, garantizando que ustedes pudieran acceder a las actualizaciones de la cartera en tiempo real sin sacrificar la seguridad de sus claves privadas.
Siempre es mejor no depender de una sola API de intercambio para obtener información sobre la cartera, ya que las interrupciones del servicio y los límites de velocidad pueden dar lugar a puntos ciegos peligrosos, especialmente cuando el mercado es volátil.
Métricas clave de rendimiento
Reducción de costes
Ahorro en costes operativos
Activos rastreados
Valor total de la cartera gestionada
Integración con Exchange
Intercambios y carteras conectados
Tiempo de respuesta
Tiempo medio de respuesta de la API