Loppukesästä sain puhelun toimistolta, jossa käskettiin poistamaan tämä hakukone netistä. Sanottiin, että minun olisi pitänyt olla yhteydessä toimistoon ennen tällaisen rakentamisen aloittamista. Totesin, että rakentaminen on tehty toimiston kanssa yhteistyössä ja että rakennusvaihe oli vaativa: se vaati noin kuukauden–kahden ajan pitkiä päiviä ohjelmointia aamusta yöhön, seitsemän päivää viikossa. Tunteja ei tullut tarkkaan laskettua. Kehitystyö on jatkunut kesästä lähtien, ja mielestäni paljon on saatu aikaan. Haasteena oli mm. toimiston käyttämä Excelin muoto, johon ehdotin parannuksia ohjelmoinnin edetessä.
Kerroin puhelimessa, etten aio heittää työtäni hukkaan. Hakukone on rakennettu tarpeeseen, jonka olen itse havainnut matkoilla: vieraalla seudulla on vaikeaa hahmottaa, missä eri ryhmät sijaitsevat. Toimistolta kerrottiin, että tiedot ovat vanhentuneet. Totesin, että haasteena oli se, että Excelin muoto oli muutettu kokonaan. Sain uuden listan, kun pyysin päivitettyä versiota, ja jäin miettimään ratkaisua sen varalle, jos sarakkeet muuttuvat tämän tästä.
Ennen suurta uudelleenohjelmointia ajattelin odottaa ja katsoa seuraavan version kanssa, miten toimiston Excel jatkossa muuttuu: katoaako sarakkeita ja tuleeko uusia. Keskusteltaessa toimiston virkailijan kanssa totesin: “lähettäkää uusi lista”. He kuitenkin totesivat sen olevan mahdotonta – he eivät osallistu muiden palvelujen ”ylläpitoon”. Ihmettelin, että toimistolta valitetaan tietojen vanhentumisesta ja samalla kieltäydytään antamasta uusia tietoja, joilla ne saataisiin ajantasalle.
Sitten alkoi hyökkäys: puhelimessa uhattiin oikeustoimilla, jos en vedä hakukonetta alas. Minulle kerrottiin, että suuri egoni estää poistamasta rakentamaani ryhmähakua. Ihmettelin tätä “egoa”, sillä palvelu on täysin anonyymi; en saa tästä mitään muuta kuin hyvän mielen siitä, että ihmiset löytävät ryhmät nyt useammilla tavoilla helposti.
Kerroin, etten ole aikeissa poistaa ryhmähakukonetta. Odottelen toimiston väen vaihtumista ja olen ihmeissäni siitä, ettei muutostietoja anneta, vaikka samalla valitetaan juuri siitä, etteivät tiedot ole ajan tasalla.
Rakensin kaiken pitkälti uusiksi ja aloin päivittää tietoja kerran viikossa aivan toisella tavalla. Sain uuden yhteydenoton toimistolta, että ryhmähaku on suuri ongelma ja valituksia tulee kauheasti vanhoista tiedoista. Kysyin, että jos osoitatte väärät, niin korjaan – mutta niitä ei ollut näyttää.
Nyt toimistolta alettiin selittää asia “rautalangasta”: on paha asia, että kun toimistolla päivitetään tietoja jopa päivittäin, päivitykset eivät näy reaaliajassa tässä hakukoneessa. Kerroin, että listoilla on ollut paljon virheitä vuosikausia, jopa yli 10 vuotta. Esitin pari kohtaa, mm. “1. Linja 2, Forssa” ja Thunder Bayn ryhmän.
Kerroin, että Ruotsin AA:n listoilla on mm. Kirkkonummen Citygruppen, joka ilmestyy rakentamalleni kartalle, vaikka ryhmä on loppunut 13 vuotta sitten; sama Inkoon ryhmän kanssa Å-gruppen (5 vuotta sitten). Näitä olisi ollut vaikea havaita ilman tätä karttapalvelua ja ihmiset ovat siis 13 vuotta käyneet suljetun ryhmän ovea repimässä :( ) Kerroin uudestaan dilemman: kun tietoja nyt pantataan, se hankaloittaa palvelun ylläpitoa. Sain vastauksen, että muuttuneet ryhmät ilmoitetaan kerran kuukaudessa lehdessä; sieltä ne voi ottaa.
Kysyessäni sitkeästi, mitä virheitä nyt tiedoista löytyy, sain vastaukseksi, että minun pitää itse ne etsiä – (virheitä ei ole, mutta viikon aikana oletettavasti taas tulee muutama, jos ryhmät muuttelevat tietojaan). Tänään on , ja tiedot on käyty läpi sekä sitä edellisen kerran viikkoa aiemmin.
No, se on sellaista. En näemmä ole enää täysivaltainen jäsen enkä oikeutettu palvelemaan AA-yhteisöä omaamillani taidoilla ja ajatuksillani toimiston puheenjohtajan mukaan. Saan osakseni perusteetonta uhkailua, halveksuntaa ja herjauksia, ja minulle valehdellaan tökerösti asioista, joista toimistolla ei näytä olevan käsitystä.
Tämä on aika uskomaton tapahtumien kulku.
Edellinen porukka oli kyllä taivaasta verrattuna tähän nykyiseen toimistolla.
Ajatuksissa on rakentaa palveluun jokaiselle ryhmälle oma sivu, jonka saisi käyttöön tarpeen vaatiessa. Olen vain jäänyt miettimään sitä, miten voin tunnistaa ne henkilöt, jotka voisivat ryhmän sivua muokata. Näin ryhmät voisivat halutessaan itse helpon lomakkeen kautta ilmoitella ja muokata näkyviä tietoja vaikka keskellä yötä. Tarkoitus on saada vastaava sivu kuin Pohjoismaat-napin takaa avautuvassa kartassa: Norjan kohteiden “Avaa ryhmän sivu” -linkin takaa avautuva Pohjoismaat kartalla.
AA-ryhmähakua pyörittävä järjestelmä on käytännössä pieni tuotantopalvelu: julkinen webipalvelin (esim. Apache tai Nginx + PHP/Node), sovelluskoodi (haku, suodatus, karttanäyttö), tietokanta (PostgreSQL; koordinaatit, ryhmä- ja historiatiedot), välimuisti (Redis), ajastetut tehtävät (cron) listojen noutoon ja normalisointiin sekä lokitus/valvonta (fail2ban, UFW, Prometheus/Grafana tai vastaava). Geokoodaus ja reititys voidaan toteuttaa itsehostatulla Nominatimilla (PostgreSQL + PostGIS, raskas importointi) ja OSRM:llä (reitityspalvelu) tai ulkoisilla API-palveluilla (esim. OpenCage/LocationIQ + Mapbox/GraphHopper), joihin lisätään oma tulosten välimuisti, jotta kutsumäärät ja kustannukset pysyvät kurissa.
Tyypillinen tietovirta: (1) toimiston/alueiden listat haetaan ajastetusti,JOS tämä olisi mahdollista saada lista (2) parseri normalisoi sarakkeet ja tekee diffit, (3) puuttuvat osoitteet geokoodataan (välimuisti → Nominatim/API), (4) pisteet ja metatiedot tallennetaan kantaan, (5) hakuindeksit (esim. Postgres GIN/GIST) päivitetään, (6) karttanäkymä palvelee kyselyt nopeasti CDN-välimuistin kautta, (7) varmuuskopiot (kanta + konfigit) otetaan päivittäin ja testataan palautus kuukausittain.
Operointi ja turvallisuus: HTTPS (Let’s Encrypt), palomuurisäännöt, rajoitettu SSH, säännölliset päivitykset, valvonta hälytyksineen (CPU, muistikuorma, levy, HTTP-virheet, geokoodaus/API-kiintiöt), audit-lokit muutoksista sekä tietosuojakäytännöt (ei tarpeetonta henkilödatan keruuta).
Infravaihtoehdot: kevyt (ulkoiset geokoodaus- ja kartta-API:t + oma välimuisti) sopii pienelle kävijämäärälle ja on helppo ylläpitää; raskas (oma Nominatim + OSRM) vaatii paljon muistia ja levyä importointiin, mutta pienentää muuttuvia API-kuluja ja toimii offline-riippumattomasti. Usein järkevä kompromissi on ulkoiset API:t + aggressiivinen välimuisti ja mahdollisuus siirtyä omaan Nominatimiin myöhemmin.
Karkea hinta-arvio ulkopuoliselta toimittajalta Suomessa: toteutus 80–140 €/h. Perusversio (parserit, haku, kartta, välimuisti, ajastukset, käyttöönotto, dokumentaatio) 60–120 h = noin 4 800–16 800 €. Jos tehdään oma Nominatim-ympäristö + OSRM (dataputki, importit, valvonta), lisää 40–80 h = noin 3 200–11 200 € ja tarvitaan tilapäisesti järeä palvelin importointiin. Kuukausikulut: kevyt malli VPS + API-kiintiöt 40–250 €/kk (VPS 10–40 €, API:t 30–200 € käyttömäärästä riippuen) + ylläpitosopimus 1–4 h/kk = 80–560 €/kk. Raskas malli omalla Nominatimilla tuotannossa 150–400 €/kk palvelimiin (riippuu datasta/kattavuudesta) + ylläpito kuten edellä. Nämä ovat suuntaa antavia min–max-haarukoita; tarkka tarjous syntyy vasta liikennemääristä, geokoodausvolyymeista ja toimistodatan rajapinnoista.
Palvelun olen itse kustantanut aivan kokonaan, mitään ulkopuolista tukea tähän ei ole, ei kolehteja tms.
Toimiston PJ:n mukaan tästä palvelusta on haittaa enemmän kuin hyötyä ja se pitää vetää alas. Meillä on kaikilla mielipiteeseen oikeus, nyt sivustolla on noin tuhat sivulatausta päivässä ja trendi on nouseva, toivon, että palvelu helpottaa olemassa olevia jäseniä, ja tuo mukaan uusia.