Hannu Varjoranta
Independent consultant and architect, Varjosoft Oy.
Data platforms and applied AI.
Itsenäinen konsultti ja arkkitehti, Varjosoft Oy.
Data-alustat ja soveltava tekoäly.
I take on senior consulting and architecture work through my own company, Varjosoft Oy. Twenty years building data infrastructure, ETL, and experimentation systems that stay up under real load.
I worked on Spotify's 4 PB data platform and its move to Google Cloud, and built the backend at F-Secure that automatically classified and deduplicated hundreds of thousands of records a day. Two US patents in data deduplication. Today I work hands-on at the generative-AI frontier: RAG agents, LLM automation, and the governance that makes them safe to run.
The combination is the point. I speak the data-engineering layer, the classical-ML layer and the current GenAI layer, so I pick the technique a problem actually needs rather than reaching for a model. Classification, entity resolution and data quality at volume are where I have spent the most time, and they are usually what a platform has to get right before anything built on top of it works.
Helsinki-based, Finnish native, used to English-working teams. Engaged full-time at Avrea; Varjosoft takes scoped engagements that fit alongside that commitment.
Otan vastaan vaativia konsultointi- ja arkkitehtuuritoimeksiantoja oman yritykseni Varjosoft Oy:n kautta. Olen rakentanut kaksikymmentä vuotta datainfrastruktuuria, ETL-ratkaisuja ja kokeilualustoja, jotka kestävät oikeaa kuormaa.
Työskentelin Spotifyn neljän petatavun data-alustan parissa ja olin mukana sen siirrossa Google Cloudiin. F-Securella rakensin taustajärjestelmän, joka luokitteli ja deduplikoi automaattisesti satojatuhansia tietueita päivässä. Minulla on kaksi yhdysvaltalaista patenttia datan deduplikoinnista. Nykyään teen käytännön työtä generatiivisen tekoälyn parissa: RAG-agentteja, kielimalliautomaatiota ja hallintaa, joka tekee niiden ajamisesta turvallista.
Olennaista on yhdistelmä. Puhun sekä data-alustan, klassisen koneoppimisen että nykyisen generatiivisen tekoälyn kieltä, joten valitsen ongelmaan sopivan menetelmän sen sijaan että tarttuisin aina kielimalliin. Luokittelu, entiteettien yhdistäminen ja datan laadunhallinta suurella volyymillä ovat se alue, jolla olen viettänyt eniten aikaa, ja yleensä juuri ne alustan on saatava kuntoon ennen kuin mikään sen päälle rakennettu toimii.
Asun Helsingissä, äidinkieleni on suomi ja työskentelen sujuvasti englanninkielisissä tiimeissä. Työskentelen täysipäiväisesti Avrealla; Varjosoft ottaa vastaan rajattuja toimeksiantoja sen rinnalle.
ExperienceTyökokemus
Owner, independent consultantOmistaja, itsenäinen konsultti
Varjosoft Oy, Helsinki
My own company and the vehicle for senior consulting and advisory work: data-platform architecture, ETL, databases and scalability.
Also where I build and run my own products. Spegling is an AI governance system I run my own work through daily: one model does the work, a model from a different family reviews it, and the result seals onto a hash-linked ledger you can audit and export. Dots is a public widget that answers only after real reading. Both run on etchdb, the async Postgres layer I wrote and published.
Oma yritykseni ja väylä vaativiin konsultointi- ja neuvonantotoimeksiantoihin: data-alustojen arkkitehtuuri, ETL, tietokannat ja skaalautuvuus.
Täällä rakennan ja ylläpidän myös omia tuotteitani. Spegling on tekoälyn hallintajärjestelmä, jonka läpi ajan päivittäin omat työni: yksi malli tekee työn, toisesta malliperheestä oleva malli tarkastaa sen ja tulos sinetöidään hash-ketjutettuun lokiin, jonka voi auditoida ja viedä ulos. Dots on julkinen vimpain, joka vastaa vasta todellisen lukemisen jälkeen. Molemmat toimivat etchdb:n päällä, joka on kirjoittamani ja julkaisemani asynkroninen Postgres-kerros.
Founding EngineerPerustajakehittäjä
Avrea Oy, Helsinki
Founding engineer on the production platform of a build-automation and CI/CD company: a control plane that runs customers' own workloads in isolated environments, securely and at scale. Distributed backend services, container isolation, cloud infrastructure and delivery pipelines.
Perustajakehittäjä build-automaatio- ja CI/CD-yrityksen tuotantoalustalla: ohjauskerros, joka ajaa asiakkaiden omia kuormia eristetyissä ympäristöissä turvallisesti ja skaalautuvasti. Hajautetut taustapalvelut, konttieristys, pilvi-infrastruktuuri ja julkaisuputket.
VP of Engineering and Co-founder, now Technical AdvisorVP of Engineering ja perustajajäsen, nykyään tekninen neuvonantaja
Valo.ai, Helsinki
Led engineering for automated security of business systems. Owned product architecture, developer tooling and mentoring, in an enterprise compliance context.
Vastasin liiketoimintajärjestelmien automatisoidun tietoturvan tuotekehityksestä. Vastuullani olivat tuotearkkitehtuuri, kehittäjätyökalut ja mentorointi yritystason vaatimustenmukaisuuden kontekstissa.
Python · Generative AI · Airflow · BigQuery · GCP · PostgreSQL · OAuth2 · IAM · CI/CD
Lead Scalability Engineer, interim VP of EngineeringSkaalautuvuudesta vastaava johtava kehittäjä, väliaikainen VP of Engineering
Infrakit, Helsinki
Owned the scalability of the Infrakit platform: backend databases, system quality, security and architectural guidance. As interim VP also team health and mentoring.
Vastasin Infrakit-alustan skaalautuvuudesta: taustatietokannat, järjestelmän laatu, tietoturva ja arkkitehtuurin ohjaus. Väliaikaisena teknologiajohtajana myös tiimin hyvinvointi ja mentorointi.
Java · Python · Spring · MySQL · Hibernate · AWS
Data Infrastructure Engineer
Spotify, StockholmTukholma
Maintained Spotify's data pipelines on a 2500-node, 4 PB Hadoop cluster, and helped move the platform to Google Cloud as Hadoop was decommissioned. Built ETL and data-warehouse infrastructure, and developed an internal A/B testing platform used to make product decisions on real traffic.
Ylläpidin Spotifyn dataputkia 2500 solmun ja neljän petatavun Hadoop-klusterissa ja olin mukana siirtämässä alustaa Google Cloudiin, kun Hadoopista luovuttiin. Rakensin ETL- ja tietovarastoinfrastruktuuria ja kehitin sisäisen A/B-testausalustan, jolla tuotepäätöksiä tehtiin oikealla liikenteellä.
GCP · BigQuery · Dataflow · Apache Beam · Hadoop · PostgreSQL · ClickHouse · SQL
Backend Infrastructure Engineer
Magine, StockholmTukholma
Infrastructure team for a cloud-based personalised TV service.
Infrastruktuuritiimissä pilvipohjaisessa personoidussa televisiopalvelussa.
AWS · CDN · PostgreSQL · Cassandra · Scala · Python · Go · Docker · Mesos · Ansible · SaltStack
Backend Infrastructure Engineer
Spotify, StockholmTukholma
Backend systems serving more than 100 million clients. Scalability, high availability and CI/CD.
Taustajärjestelmiä, jotka palvelivat yli 100 miljoonaa asiakasta. Skaalautuvuus, korkea käytettävyys ja CI/CD.
PostgreSQL · Cassandra · Puppet · Java · Python · Jenkins
Software Architect and PartnerOhjelmistoarkkitehti, osakas
ThirdPresence, Helsinki
Video streaming and mobile publishing on a high-scale distributed AWS service. Client through backend, requirements through QA, plus sub-contractor and project management.
Videon suoratoistoa ja mobiilijulkaisua laajasti skaalautuvana hajautettuna AWS-palveluna. Asiakaspäästä taustajärjestelmiin, vaatimusmäärittelystä testaukseen, lisäksi alihankinnan ja projektien hallinta.
Java · Python · Perl · PHP · AWS RDS · MySQL
Senior Software Engineer → Research Manager → Lead Software EngineerVanhempi ohjelmistokehittäjä → tutkimuspäällikkö → johtava ohjelmistokehittäjä
F-Secure CorporationOyj, Helsinki
Lead developer for F-Secure Labs' Sample Management backend: a service-oriented, dynamically orchestrated system that automatically analysed and classified hundreds of thousands of samples and web sites every day. In current language, large-scale entity resolution, automated classification and data quality against big databases, running highly parallel.
As Research Manager, led an R&D team of five on automated analysis, data mining and distributed computing. As Lead Engineer, technical lead for content cloud services (Younited) delivered through operator partners including AT&T.
Pääkehittäjä F-Secure Labsin Sample Management -taustajärjestelmässä: palvelukeskeinen, dynaamisesti orkestroitu järjestelmä, joka analysoi ja luokitteli automaattisesti satojatuhansia näytteitä ja verkkosivustoja päivässä. Nykykielellä laajan mittakaavan entiteettien yhdistämistä, automaattista luokittelua ja datan laadunhallintaa suurissa tietokannoissa, vahvasti rinnakkaistettuna.
Tutkimuspäällikkönä johdin viiden hengen tutkimustiimiä: automaattinen analyysi, tiedonlouhinta ja hajautettu laskenta. Johtavana kehittäjänä tekninen vetäjä operaattorikumppaneiden, muun muassa AT&T:n, kautta toimitetuissa pilvipalveluissa (Younited).
Python · Java · PostgreSQL · CLIPS · REST · Nginx · Debian · Spring
Earlier rolesAiemmat tehtävät
Promentor Solutions Oy (2002–2007, secondary from 2005): lead software and system designer for an e-learning platform. Short consulting engagements: BookIT (2013, Tupas bank authentication), Eniram (2011, ship time-series storage), Cidercone (2010, automated reporting).
Promentor Solutions Oy (2002–2007, sivutoimisesti 2005 alkaen): verkko-oppimisalustan johtava ohjelmisto- ja järjestelmäsuunnittelija. Lyhyet konsultoinnit: BookIT (2013, Tupas-tunnistautuminen), Eniram (2011, laivojen aikasarjatallennus), Cidercone (2010, automaattinen raportointi).
PatentsPatentit
- Data Storage Management
US20130212269Cloud file deduplication.Tiedostojen deduplikointi pilvessä. - Management of Data Upload Speed
US20130227162Cloud upload optimization.Pilveen latauksen optimointi.
Open sourceAvoin lähdekoodi
- etchdb Mine, on PyPI. Async Postgres and SQLite layer for Python: typed Pydantic rows for routine CRUD, raw SQL for everything else. Omani, PyPI:ssä. Asynkroninen Postgres- ja SQLite-kerros Pythonille: tyypitetyt Pydantic-rivit rutiini-CRUD:iin, raaka SQL muuhun.
- patterns-starter Mine, MIT. An open bootstrap for keeping your own working patterns in plain Markdown. Omani, MIT. Avoin pohja omien työskentelymallien ylläpitoon pelkkänä Markdownina.
- DBeam · Spydra · Cassandra Reaper · PostgreSQL Metrics Spotify. Data-engineering tooling. Spotify. Datatekniikan työkaluja.