Desenvolvemos uma plataforma abrangente de gestão de carteiras de criptomoedas que aborda a natureza fragmentada do rastreamento de ativos criptográficos em várias bolsas e protocolos DeFi. A plataforma consolida dados de carteiras de 47 bolsas e fornecedores de carteiras diferentes, gerindo mais de US$ 2,3 bilhões em ativos rastreados, ao mesmo tempo em que fornece análises de risco em tempo real e relatórios de conformidade automatizados para gestores de carteiras institucionais.






Visão geral do projeto
O Desafio
A visibilidade das carteiras de investimento era inconsistente entre as bolsas e os fornecedores de carteiras, o que levava a desafios no monitoramento de riscos e desempenho para os investidores de varejo no mercado de criptomoedas.
Fragmentação do mercado
O mundo das criptomoedas funciona dentro de um sistema de trocas e opções de armazenamento que não estão interligados como os sistemas financeiros, com seus fluxos de dados e autorizações padronizados. Em vez disso, os ativos criptográficos são armazenados em entidades separadas, com diferentes normas de API e processos de autenticação, o que resulta em um panorama fragmentado de estruturas e formatos de informação.
Impacto da volatilidade
A complexidade é aumentada pelo impacto da volatilidade do mercado em ativos como Bitcoin e altcoins, que podem sofrer flutuações em períodos de tempo superiores a 80%. Para gerir isso de forma eficaz e tomar decisões rapidamente em mercados em movimento, os gestores de carteiras precisam ter acesso constante a dados de posição e métricas de risco e manter-se cientes das correlações entre os ativos.
Complexidade da conformidade
Navegar pelas obrigações complica as coisas. Manter o controlo dos detalhes fiscais em todas as regiões exige o monitoramento dos custos em várias pequenas transações. As entidades financeiras são obrigadas a manter registos para cumprir as regras e regulamentos antilavagem de dinheiro (AML) e conheça o seu cliente (KYC).
Principais problemas identificados
Os gestores de carteiras encontraram obstáculos que estavam além do alcance dos instrumentos de investimento convencionais:
- •Gerenciar investimentos espalhados por plataformas como Binance e Coinbase Pro, junto com o uso de carteiras de hardware como Ledger e protocolos DeFi, resultou em insights sobre o portfólio devido a problemas de fragmentação de dados
- •Acompanhar esses investimentos manualmente por meio de planilhas levou a taxas de erro de 15-20% causadas por transações ignoradas e dados de preços desatualizados
- •O processo de tomada de decisão num ambiente acelerado como o comércio de criptomoedas é crucial devido ao funcionamento do mercado e às rápidas flutuações de preços, que muitas vezes ultrapassam 10% em poucos minutos
Informações imprecisas ou atrasadas sobre o portfólio podem resultar em escolhas de negociação menos do que ideais e maiores despesas com slippage.
Carga operacional
Carga operacional
- •Durante períodos de tensão no mercado, quando as correlações entre os ativos aumentaram devido à falta de análise de correlação em tempo real e valor em risco (VaR), as carteiras acabaram por manter concentrações de risco em ativos correlacionados
- •A carga operacional de conciliar tarefas totalizou 8 a 12 horas por semana para cada gestor de carteira, exigindo assistência contábil para cálculos de base de custo essenciais para fins fiscais
- •Equilibrar a segurança com o dilema da acessibilidade: as medidas de segurança rigorosas do armazenamento colidiram com o desejo de atualizações instantâneas do portfólio e transações comerciais rápidas
Resultados da solução
Consolidação do portfólio
Os gestores obtiveram informações sobre $2,3 mil milhões em ativos rastreados, consolidando dados de 47 bolsas e fornecedores de carteiras para eliminar pontos cegos do portfólio.
Redução de custos
- •Conseguiu reduzir os custos em 75% graças à reconciliação automatizada e à sincronização instantânea
- •Essa mudança permitiu que os gestores de carteiras dedicassem tempo ao planeamento, em vez de se preocuparem com a recolha de dados
- •A redução de custos alcançada com a implementação da limitação de taxa da API e do cache resultou numa redução de 62% nas despesas com dados de terceiros, juntamente com uma melhoria nos tempos de resposta de 2,5 segundos para 340 milissegundos
Melhorias de desempenho
- •Aumento dos retornos ajustados ao risco em 23% usando análise de correlação e sistemas de alerta precoce para gerir os riscos de concentração da carteira
- •A simplificação dos relatórios de conformidade reduziu o tempo necessário de 40 horas para 3 horas por trimestre, utilizando o acompanhamento automatizado da base de custos e gerando relatórios de forma eficiente
- •Redução das despesas de negociação em 31% utilizando o encaminhamento de execução e identificando oportunidades de arbitragem em tempo real em todas as plataformas de negociação
Segurança e desempenho avançados
99,98% de tempo de atividade com recursos de segurança de nível empresarial e padrões de conformidade regulatória.
Arquitetura técnica
Design do sistema
O sistema usou um design de microsserviços junto com sincronização de dados baseada em eventos para resolver a questão da consolidação de portfólio de forma eficiente, focando na criação de uma base de dados para lidar com várias estruturas de API e oferecer perspectivas de portfólio consistentes, independentemente das configurações de custódia subjacentes.
Principais características técnicas
- •As escolhas arquitetónicas privilegiaram a consistência eventual em detrimento dos princípios ACID para gerir eficazmente as restrições da API de troca e as partições de rede
- •O sistema utilizou um método chamado "aprimoramento de dados em camadas" para garantir que os dados de posição fundamentais fossem sincronizados em tempo real, permitindo o cálculo assíncrono de análises complexas
- •As barreiras de segurança que atendem a vários clientes servem para proteger os dados dos clientes e promover a eficiência dos recursos de forma eficaz
Processamento de dados
O motor de análise avançada processa 2 300 000 feeds de preços todos os dias, permitindo que a análise de risco e as estratégias de ajuste automatizadas sejam implementadas de forma integrada.
Jornada de implementação
Configuração inicial
O projeto começou com a configuração do pipeline de dados e da estrutura de segurança. Implementámos clusters Kubernetes em três zonas de disponibilidade com funções de failover automatizadas. A nossa primeira tarefa foi integrar as 5 principais bolsas com base no volume de negociação:
- •Binance
- •Coinbase
- •Kraken
- •Bitfinex
- •Huobi
Arquitetura da base de dados
A equipa fez escolhas estratégicas, como optar pelo PostgreSQL em vez das opções NoSQL para gerir os dados do portfólio, considerando a necessidade de conformidade com ACID nos métodos de armazenamento de informações financeiras. Também dividiram a base de dados por ID do cliente para permitir o crescimento, garantindo as transações dentro de cada segmento do portfólio.
Gestão da qualidade dos dados
O sistema de análise de dados utilizou a abordagem de entrega exata uma vez do Apache Kafka para evitar a duplicação de transações. As tarefas de processamento de fluxo calcularam totais, valores de lucros ou perdas e percentagens de carteira instantaneamente.
Principais funcionalidades fornecidas
Gestão de riscos
- •Análise de correlação em tempo real e cálculos de Valor em Risco (VaR)
- •Funcionalidades de reequilíbrio automático ligadas às APIs de câmbio
- •Medidas de segurança para conter as negociações em momentos de maior volatilidade do mercado
Otimização fiscal
As funções de otimização fiscal exigiram cálculos de base de custos que suportam:
- •FIFO (Primeiro a entrar, primeiro a sair)
- •LIFO (Last In, First Out)
- •Técnicas específicas de identificação
O sistema armazenou um histórico completo de transações com hashes para manter a integridade da pista de auditoria.
Segurança e conformidade
- •Integração com módulos de segurança de hardware e soluções de custódia
- •Limites de segurança multitenant com filas de mensagens isoladas e esquemas de base de dados
- •Relatórios de conformidade automatizados com manutenção da pista de auditoria
Implementação de produção
Testes e implementação
- •A cobertura de teste para todos os microsserviços ultrapassou 85%
- •O lançamento beta atendeu a 50 clientes ao longo de 6 semanas e administrou ativos no valor total de US$ 500 milhões.
- •O lançamento oficial utilizou uma estratégia de implementação azul-verde juntamente com mecanismos de fallback automatizados
Impacto e resultados
Excelência operacional
A transformação da plataforma levou a melhorias significativas na eficiência e gestão de riscos, ao mesmo tempo que melhorou a experiência do utilizador. Os gestores de carteiras disseram que agora estão a poupar bastante tempo nas suas operações diárias e a aceder a funcionalidades analíticas avançadas que antes eram exclusivas dos fundos de hedge quantitativos.
Durante a turbulência do mercado em outubro de 2022, quando os métodos convencionais de rastreamento manual não conseguiram detectar interrupções na correlação, os utilizadores da plataforma puderam fazer ajustes proativos com base em alertas em tempo real.
Eficiência de custos
Eficiência de custos
A eficiência de custos superou as expectativas com a implementação de limites de uso de API e métodos estratégicos de armazenamento de dados. O sistema conseguiu reduzir as despesas com dados de terceiros de US$ 180 mil para US$ 68 mil, ao mesmo tempo em que melhorou a precisão dos dados e a velocidade de resposta durante o período analisado.
Pilha técnica
Infraestrutura principal
Componentes da pilha tecnológica
| Componente | Tecnologia | Objetivo |
|---|---|---|
| Camada API | Node.js com Express, GraphQL | Consultas de dados e gestão de API |
| Cache | Cluster Redis | Gestão de sessões e dados acessados com frequência |
| Armazenamento de séries temporais | InfluxDB | Métricas históricas de preço e desempenho |
| Orquestração de contentores | Kubernetes com Helm | Implementação da aplicação |
| Frontend | Reaja com TypeScript, Material UI | Interface do utilizador |
| Comunicação em tempo real | Ligações WebSocket | Feeds de preços em tempo real e atualizações de portfólio |
| Infraestrutura de segurança | AWS KMS, HashiCorp Vault | Chaves de encriptação e gestão de segredos |
| Monitorização | Prometheus, Grafana, ELK Stack | Recolha, visualização e registo de métricas |
Lições aprendidas
Estratégia de gestão de API
Implementar uma estratégia para lidar com a limitação da taxa da API envolve utilizar o agrupamento de pedidos e armazenar em cache estrategicamente os dados acessados com frequência, em vez de depender exclusivamente de técnicas de paralelização que podem não contornar os limites rígidos impostos pelas APIs de troca.
Prioridade da qualidade dos dados
Nas fases iniciais do desenvolvimento, focámo-nos em entregar resultados rapidamente, em vez de garantir a precisão dos dados utilizados, o que levou os utilizadores a questionarem a fiabilidade da nossa plataforma. Após uma reavaliação, passámos a priorizar a validação dos dados e as verificações de qualidade, mesmo que isso significasse tempos de processamento mais longos.
Equilíbrio entre segurança e desempenho
Criar uma combinação entre segurança e desempenho foi crucial para integrar as carteiras de hardware no processo de design da experiência do utilizador, garantindo que os utilizadores pudessem aceder a atualizações em tempo real da carteira sem sacrificar a segurança das suas chaves privadas.
É sempre melhor não depender de uma única API de câmbio para obter informações sobre o portfólio, pois interrupções e limites de taxa podem levar a pontos cegos arriscados, especialmente quando o mercado está volátil.
Principais métricas de desempenho
Redução de custos
Poupança nos custos operacionais
Ativos rastreados
Valor total da carteira gerida
Integração com o Exchange
Câmbios e carteiras conectados
Tempo de resposta
Tempo médio de resposta da API


