Me arendasime välja tervikliku krüptovaluuta portfelli haldamise platvormi, mis lahendab krüptovara jälgimise killustatuse probleemi mitmes börsis ja DeFi protokollides. Platvorm koondab portfelli andmeid 47 erinevast börsist ja rahakoti pakkujast, haldab üle 2,3 miljardi dollari jälgitavaid varasid ning pakub institutsionaalsetele portfellihalduritele reaalajas riskianalüüsi ja automatiseeritud vastavusaruandlust.






Projekti ülevaade
Väljakutse
Investeerimisportfellide nähtavus oli börside ja rahakoti pakkujate vahel ebaühtlane, mis tekitas raskusi riskide ja tulemuslikkuse jälgimisel nii jaeinvestorite kui ka krüptovaluutaturu jaoks.
Turu killustatus
Krüptovaluuta maailm toimib vahetus- ja salvestusvõimaluste süsteemis, mis ei ole omavahel ühendatud nagu finantssüsteemid oma standardiseeritud andmevoogude ja arveldustega. Selle asemel salvestatakse krüptovara eraldi üksustes, millel on erinevad API-normid ja autentimise protsessid, mis toob kaasa infostruktuuride ja -vormingute killustatud maastiku.
Volatiilsuse mõju
Komplekssust suurendab turu volatiilsuse mõju sellistele varadele nagu Bitcoin ja altcoinid, mille väärtus võib teatavatel ajaperioodidel kõigest 80% ulatuses kõigest 80% ulatuses kõigest 80% ulatuses kõigest 80% ulatuses kõigest 80% ulatuses kõigest 80% ulatuses kõigest 80% ulatuses kõigest 80% ulatuses kõigest 80% ulatuses kõigest 80% ulatuses kõigest 80% ulatuses kõigest 80% ulatuses kõigest 80% ulatuses kõigest 80% ulatuses kõigest 80% ulatuses kõigest 80% ulatuses kõigest 80% ulatuses kõigest
Nõuetele vastavuse keerukus
Kohustustega tegelemine muudab asjad keerulisemaks. Maksude üksikasjade jälgimine eri piirkondades eeldab paljude väikeste tehingute kulude jälgimist. Finantsasutused on kohustatud pidama arvestust, et järgida rahapesuvastaseid (AML) ja kliendi tundmise (KYC) eeskirju ja määrusi.
Peamised tuvastatud probleemid
Portfellihaldurid kohtasid takistusi, mis ületasid tavapäraste investeerimisvahendite võimalused:
- •Investeeringute haldamine erinevatel platvormidel, nagu Binance ja Coinbase Pro, ning riistvarakottide, nagu Ledger ja DeFi protokollid, kasutamine tõi kaasa portfelli ülevaate probleeme andmete killustatuse tõttu.
- •Nende investeeringute käsitsi jälgimine tabelite abil põhjustas 15–20% suuruse veamäära, mis oli tingitud tehingute tähelepanuta jätmisest ja aegunud hinnateabest.
- •Otsuste tegemine kiiresti muutuvas keskkonnas, nagu krüptovaluuta kauplemine, on turu toimimise ja kiirete hinnakõikumiste tõttu, mis ületavad sageli 10% mõne minuti jooksul, äärmiselt oluline.
Ebatäpne või hilinenud portfelli teave võib kaasa tuua ebaoptimaalsed kauplemisotsused ja suuremad libisemiskulud.
Tegevuskoormus
Operatiivne koormus
- •Turu pingeliste sündmuste ajal, kui varade vahelised korrelatsioonid suurenesid reaalajas korrelatsioonianalüüsi ja riskiväärtuse (VaR) puudumise tõttu, jäid portfellidesse riskantsed kontsentratsioonid korrelatsioonis olevates varades.
- •Ülesannete kooskõlastamise operatiivne koormus oli 8–12 tundi nädalas iga portfellihalduri kohta, kes vajas raamatupidamisabi maksustamise eesmärgil oluliste kulude arvutamiseks.
- •Turvalisuse ja juurdepääsetavuse vaheline tasakaal: range turvalisusmeetmed olid vastuolus sooviga portfelli kohe uuendada ja tehinguid kiiresti teostada
Lahenduse tulemused
Portfelli konsolideerimine
Juhtkond sai ülevaate 2,3 miljardi dollari väärtuses jälgitavatest varadest, konsolideerides 47 börsi ja rahakoti pakkuja andmed, et kõrvaldada portfelli pimedad kohad.
Kulude vähendamine
- •Suutsime kulusid vähendada 75% tänu automatiseeritud kooskõlastamisele ja kohesele sünkroniseerimisele
- •See muudatus võimaldas portfellihalduritel pühendada aega planeerimisele, selle asemel et takerduda andmete kogumisse.
- •API-kiiruse piiramise ja vahemällu salvestamise rakendamisega saavutatud kulude kokkuhoid tõi kaasa 62% vähenemise kolmandate osapoolte andmete kuludes ning vastuseaja paranemise 2,5 sekundilt 340 millisekundini.
Jõudluse parandused
- •Suurendage riskiga korrigeeritud tootlust 23%, kasutades korrelatsioonianalüüsi ja varajase hoiatamise süsteeme portfelli kontsentratsiooniriskide haldamiseks.
- •Nõuetele vastavuse aruandluse lihtsustamine on vähendanud vajalikku aega 40 tunnilt 3 tunnile kvartalis, kasutades automatiseeritud kulude jälgimist ja aruannete tõhusat koostamist.
- •Vähendasime kauplemiskulusid 31%, kasutades tehingute suunamist ja tuvastades reaalajas arbitraaživõimalusi erinevatel kauplemisplatvormidel.
Täiustatud turvalisus ja jõudlus
99,98% töökindlus koos ettevõttetasemel turvaelementide ja regulatiivsete nõuetele vastavuse standarditega.
Tehniline arhitektuur
Süsteemi disain
Süsteem kasutas mikroteenuste disaini koos sündmusepõhise andmesünkroniseerimisega, et tõhusalt lahendada portfelli konsolideerimise probleem, keskendudes erinevate API-struktuuride käsitlemise andmebaasi loomisele ja pakkudes ühtseid portfelli perspektiive, sõltumata allolevatest hoiustamiskonfiguratsioonidest.
Peamised tehnilised omadused
- •Arhitektuurilised valikud eelistasid lõplikku järjepidevust ACID-põhimõtete asemel, et hallata vahetus-API piiranguid ja võrgupartitsioone tõhusalt
- •Süsteem kasutas meetodit, mida nimetatakse „mitmetasandiliseks andmete täiustamiseks”, et tagada põhiliste positsiooniandmete sünkroniseerimine reaalajas, võimaldades samal ajal keeruliste analüüside asünkroonset arvutamist.
- •Mitut kasutajat teenindavad turvalisuse piirid aitavad kaitsta klientide andmeid ja edendada ressursside tõhusat kasutamist.
Andmete töötlemine
Täiustatud analüüsimootor töötleb iga päev 2 300 000 hinnateadet, võimaldades riskianalüüsi ja automatiseeritud kohandamisstrateegiate sujuvat rakendamist.
Rakendamise teekond
Esmane seadistamine
Projekt algas andmete edastuskanali ja turvastruktuuri loomisega. Paigaldasime Kubernetes-klastrid kolme kättesaadavustsooni automaatse varundusfunktsiooniga. Meie esimene ülesanne oli integreerida 5 suurimat börsi kauplemismahtude alusel:
- •Binance
- •Coinbase
- •Kraken
- •Bitfinex
- •Huobi
Andmebaasi arhitektuur
Meeskond tegi strateegilisi valikuid, näiteks eelistas portfelliandmete haldamiseks NoSQL-i asemel PostgreSQL-i, arvestades finantsteabe salvestusmeetodite ACID-nõuetele vastavuse vajadust. Samuti jagasid nad andmebaasi klientide ID-de järgi, et võimaldada kasvu ja tagada samal ajal tehingud iga portfellisegmendi piires.
Andmete kvaliteedi haldamine
Andmete analüüsisüsteem kasutas Apache Kafka täpselt ühekordse edastamise lähenemist, et vältida tehingute dubleerimist. Voostöötlusülesanded arvutasid koheselt kogusummad, kasumi või kahjumi summad ja portfelli protsendimäärad.
Peamised funktsioonid
Riskijuhtimine
- •Reaalajas korrelatsioonianalüüs ja riskiväärtuse (VaR) arvutused
- •Automaatsed tasakaalustamise funktsioonid, mis on seotud börsi API-dega
- •Ohutusmeetmed kauplemise piiramiseks turu suurema volatiilsuse ajal
Maksuoptimeerimine
Maksude optimeerimise funktsioonid nõudsid kulude aluse arvutamist, mis toetab:
- •FIFO (First In, First Out)
- •LIFO (viimane sisse, esimene välja)
- •Konkreetsed identifitseerimistehnikad
Süsteem salvestas täieliku tehingute ajaloo koos hash-koodidega, et säilitada auditeerimisjälje terviklikkus.
Turvalisus ja vastavus
- •Integreerimine riistvaraliste turvemoodulite ja hoiustamislahendustega
- •Mitme kasutaja turvalisuse piirid isoleeritud sõnumijärjekordade ja andmebaasi skeemidega
- •Automaatne vastavusaruandlus koos auditeerimisjälje haldamisega
Tootmise kasutuselevõtt
Testimine ja kasutuselevõtt
- •Kõigi mikroteenuste testide katvus on ületanud 85%.
- •Beetaversioon oli suunatud 50 kliendile 6 nädala jooksul ja haldas varasid koguväärtusega 500 miljonit dollarit.
- •Ametlikus versioonis kasutati sinise-rohelist kasutuselevõtu strateegiat koos automatiseeritud varumehhanismidega.
Mõju ja tulemused
Operatiivne tipptasemel tegevus
Platvormi ümberkujundamine on toonud kaasa olulise tõhususe ja riskijuhtimise paranemise, parandades samal ajal ka kasutajakogemust. Portfellihaldurid on öelnud, et nad säästavad nüüd oma igapäevases töös märkimisväärselt aega ja saavad kasutada täiustatud analüütilisi funktsioone, mis varem olid kättesaadavad ainult kvantitatiivsetele riskifondidele.
- 2022.aasta oktoobri turuvolatilsuse ajal, kui tavapärased manuaalsed jälgimismeetodid ei suutnud tuvastada korrelatsioonihäireid, said platvormi kasutajad teha proaktiivseid kohandusi reaalajas hoiatuste põhjal.
Kulutõhusus
Kulutõhusus
Kulutõhusus ületas ootusi tänu API kasutamise piirangute ja strateegiliste andmete salvestamise meetodite rakendamisele. Süsteem suutis vähendada kolmandate osapoolte andmete kulusid 180 000 dollarilt 68 000 dollarile, parandades samal ajal andmete täpsust ja reageerimiskiirust analüüsitud perioodil.
Tehniline stack
Põhiinfrastruktuur
Tehnoloogia komponentide loetelu
| Komponent | Tehnoloogia | Eesmärk |
|---|---|---|
| API kiht | Node.js koos Expressi ja GraphQLiga | Andmepäringud ja API haldus |
| Vahemällu salvestamine | Redis-klaster | Sessiooni haldamine ja sagedasti kasutatavad andmed |
| Aegridade salvestamine | InfluxDB | Ajaloolised hinna- ja tulemusnäitajad |
| Konteinerite koordineerimine | Kubernetes koos Helmiga | Rakenduse kasutuselevõtt |
| Frontend | Reageeri TypeScripti ja Material UI abil | Kasutajaliides |
| Reaalajas suhtlemine | WebSocket-ühendused | Reaalajas hinnateated ja portfelli uuendused |
| Turvalisuse infrastruktuur | AWS KMS, HashiCorp Vault | Krüptimisvõtmete ja salajaste andmete haldamine |
| Järelevalve | Prometheus, Grafana, ELK Stack | Mõõdikute kogumine, visualiseerimine ja logimine |
Õpitud õppetunnid
API haldamise strateegia
API kiiruse piiramise strateegia rakendamine hõlmab päringute kogumist ja sagedasti kasutatavate andmete strateegilist puhverdust, selle asemel et tugineda ainult paralleelsusmeetoditele, mis ei pruugi ületada vahetus-API-de kehtestatud rangeid piiranguid.
Andmete kvaliteedi prioriteet
Arenduse alguses keskendusime pigem tulemuste kiirele saavutamisele kui kasutatavate andmete täpsuse tagamisele, mis tõi kaasa kasutajate kahtlused meie platvormi usaldusväärsuses. Pärast ümberhindamist hakkasime eelistama andmete valideerimist ja kvaliteedikontrolli, isegi kui see tähendas pikemaid töötlemisaegu.
Turvalisuse ja jõudluse tasakaal
Turvalisuse ja jõudluse ühendamine oli oluline riistvarakottide integreerimisel kasutajakogemuse disainiprotsessi, tagades, et kasutajad saaksid juurdepääsu reaalajas portfelli uuendustele, ohustamata oma privaatsete võtmete turvalisust.
Portfelli teabe puhul on alati parem mitte sõltuda ühest vahetus-API-st, kuna katkestused ja määrade piirangud võivad tekitada riskantseid pimekohti, eriti kui turg on volatiilne.
Peamised tulemusnäitajad
Kulude vähendamine
Tegevuskulude kokkuhoid
Jälgitavad varad
Kogu hallatava portfelli väärtus
Exchange'i integratsioon
Ühendatud börsid ja rahakotid
Vastamise aeg
API keskmine vastuse aeg


