guide

Kako učiniti podatke otvorenima

Languages:  de  el  en  es  fr  he  hr  id  is  it  ja  ko  lt  lv  my  ne  nl_BE  pt_BR  ro  ru  zh_CN  zh_TW 

Ovo poglavlje čini srž ovog priručnika. Ono daje konkretne, detaljne prijedloga kako ljudi koji posjeduju podatke mogu njih učiniti otvorenima. Proći ćemo kroz osnove, ali isto tako analizirati zamke. Na kraju ćemo se dotaknuti osjetljive problematike koja se može pojaviti.

Tri su ključna pravila kojih se predlažemo držati prilikom otvaranja podataka.

  • Držite se jednostavnosti. Počnite s malim, jednostavnim i brzim. Nije nužno da svaki podatkovni skup mora biti otvoren istog trenutka. Sasvim je u redu počnete li s otvaranjem samo jednog skupa podataka ili čak samo jednim dijelom većeg skupa. Naravno, što više podatkovnih skupova učinite otvorenima, to bolje.

Nemojte zaboraviti na inovativnost. Napredovanje u što kraćem roku je dobar znak koji omogućava učenje iz iskustva - inovativnost označava padove u istoj mjeri kao i uspjehe tako da neće svaki skup podataka biti koristan.

  • Uključite se rano i često. Uspostavite komunikaciju s trenutnim i potencijalnim korisnicima podataka što je ranije i češće moguće, bili oni građani, poslovni ljudi ili programeri. Time ćete osigurati da sljedeća iteracija vaše usluge bude što važnija.

Bitno je imati na umu da većina podataka neće doći do krajnjih korisnika direktnim putem, već putem ‘info-posrednika’. To su ljudi koji koriste i transformiraju podatke kako bi ih prezentirali. Primjerice, većina nas ne želi i ne treba velike baze podataka GPS koordinata nego samo želimo kartu. Stoga, stupite u konakt s info-posrednicima. Oni će modificirati i naći novu upotrebu za vaš materijal.

  • Dotaknite se uobičajenih strahova i nesporazuma. Ovo je od iznimne važnosti ako radite unutar velikih institucija kao što je vlada. Prilikom otvaranja podataka naići ćete na mnoštvo pitanja i strahova. Važno je (a) identificirati one najvažnije i (b) pridodati im pažnju u što ranijim fazama.

Četiri su osnovna koraka u otvaranju podataka, a svaki će biti detaljno razjašnjen. Njihov poredak je aproksimativan jer se velik broj koraka može odraditi istovremeno.

  1. Odaberite svoj(e) podatkovni/e skup(ove). Odaberite podatkovni/e skup(ove) koje želite otvoriti. Imajte na umu da možete (a vjerojatno ćete i trebati) se vratiti na ovaj korak u slučaju da naiđete na probleme u kasnijim fazama.
  2. Pribavite otvorenu licencu.
    1. Odredite koja prava intelektualnog vlasništva sadrže vaši podaci.
  1. Primjenite odgovarajuću ‘otvorenu’ licencu koja dozvoljava korištenje svih ovih prava i u skladu je s definicijom otvorenosti koju smo pokrili u ranijem poglavlju ‘Što su otvoreni podaci’
  2. NB: ako niste u mogućnosti ovo ispuniti, vratite se na 1. korak i probajte s drugim skupom podataka.
  1. Učinite podatke dostupnima - u velikim količinama i preglednom formatu. Možete razmotriti i alternativne načine o tome kako ih učiniti dostupnima, npr. putem API-a.
  2. Učinite ih vidljivima - objavite ih na internetu ili organizirajte bazu podataka koja će sadržavati vaše otvorene podatkovne skupove.

Odabir skup(ov)a podataka

Prvi korak je odabir skup(ov)a koje želite učiniti otvorenima - doduše, kako je cijeli proces ponovljiv, možete se vratiti na ovaj korak ukoliko kasnije naiđete na probleme.

Ako već znate koji/e točno skup(ove) planirate “otvoriti”, možete odmah prijeći na sljedeći dio. Ipak, u mnogo slučajeva, posebice za velike institucije, odabir skupova podataka se može pokazati kao pravi izazov. Kako reagirati u tom slučaju?

Sastavljanje liste bi trebao biti brzi proces koji bi za početak prepoznao koji skupovi se mogu otvoriti. U kasnijim fazama će biti vremena za utvrditi koji su to skupovi podataka zapravo pogodni.

Ne postoji obveza izrade kompletne liste vaših podatkovnih skupova. Osnovna stvar koju treba imati na umu je sama mogućnost objave tih podatke (bili oni otvoreni ili ne) - vidi prethodni dio koji govori o tome koji tipovi podataka mogu biti otvoreni.

Društveno informiranje

Kao prvi korak predlažemo raspitivanje u zajednici. To su ljudi koji će pristupati i koristiti te podatke pa postoji velika mogućnost da će upravo oni prepoznati vrijednost pojedinih podataka.

  1. Pripremite kratku listu potencijalnih podatkovnih skupova za koje biste željeli povratnu informaciju. Slaganje takve liste s vašim očekivanjima nije nužno, već je glavna ideja dobiti osjećaj za potražnju. Ona može imati uporište u bazama podataka drugih zemalja.
  2. Zahtijevajte komentare
  3. Reklamirajte svoju želju putem web stranice i omogućite joj pristup putem vlastitog URL-a. Time će se lakše prepoznati u slučaju dijeljenja putem društvenih medija.
  4. Omogućite jednostavne načine za predaju povratnih informacije. Izbjegavajte nužnost registriranja jer ono znatno smanjuje količinu povratnih informacija.
  5. Postavljajte upite na odgovarajućim mailing listama, forumima i osobama, usmjeravajući ih natrag na početnu web stranicu.
  6. Organizirajte savjetovalište. Pobrinite se za primjereno vrijeme održavanja kako bi ga mogli posjetiti prosječni poslovni ljudi i oni koji se bave prikupljanjem i organizacijom podatkovnih skupova.
  7. Kontaktirajte političara da govori u ime vaše agencije. Otvoreni podaci su često potrebni u provođenju smjernica za povećanjem pristupačnosti vladinih informacija.

Temeljni troškovi

Koliko novca troše agencije na prikupljanje i održavanje podataka koje imaju? Ako troše puno na određeni skup podataka, onda postoji velika vjerojatnost da bi i drugi željeli pristupiti tome skupu.

Ovo je diskutabilna tema i često se može dovesti u sukob s takozvanim freeriding-om. Pitanje na koje trebamo odgovoriti je: “Zašto bi drugi mogli besplatno pristupati informacijama koje su zapravo jako skupe?” Odgovor leži u javnom sektoru koji apsorbira troškove kako bi obavljao određene funkcije. Kada su podaci prikupljeni, trošak njihovog slanja trećoj osobi je približno jednak nuli. Stoga se oni ne bi trebali naplaćivati.

Jednostavnost izvještavanja

Ponekad umjesto razmatranja koji su to najkorisniji podaci, vrijedi pogledati koji bi se podaci najlakše predočili javnosti. Mali i jednostavni izvještaji mogu djelovati kao katalizatori za velike promjene u ponašanju unutar organizacija.

No, treba biti oprezan s ovim pristupom. Može se dogoditi da će ti mali izvještaji imati toliko malu vrijednost da iz njih ništa neće moći nastati. U tom slučaju, može se narušiti povjerenje u čitavi projekt.

Motrenje sudionika

Otvoreni podaci su rastući trend. Velika je vjerojatnost da postoji mnoštvo ljudi u vašem području koji razumiju što rade ostala područja. Formuliraje listu zasnovanu upravo na tome čime se bave ostale agencije.

Dozvola za otvorenost (legalna otvorenost)

U većini nadležnosti postoje intelektualna prava vlasništva u podacima koji sprječavaju treće osobe od korištenja i redistribucije podataka bez izričite dozvole. Čak i kada postoje nejasnoće oko postojanja takvih prava, važno je pribaviti dozvole upravo kako bi se one razjasnile. Stoga, ako planirate učiniti vaše podatke pristupačnima, trebate im pridodati dozvolu - te ako želite da vaši podaci budu otvoreni, ovo je izrazito važno.

Koje dozvole možete koristiti? Za otvorene podatke predlažemo korištenje onih dozvola koje su označene da se točno odnose na “Otvorene podatke”. Lista (uz upute za korištenje) se može naći na:

Kratak vodič od samo jedne -1- stranice o tome kako primijeniti dozvolu za otvorenost podataka se nalazi na:

Učinite podateke dostupnima (tehnička otvorenost)

Pojam ‘otvoreni podaci’ mora biti i tehnički otvoren kao što je to i pravno. Konkretno, podaci moraju biti dostupni u velikim količinama u sklopu formata kojeg stroj može očitati.

Available

Cijena podataka ne bi smjela biti veća od cijene same izrade, a preporuča se u obliku besplatnog preuzimanja s Interneta. Ovaj cjenovni model se koristi iz razloga što vaša organizacija ne bi smjela imate izdatke kada omogoćuva podatke za korištenje.

In bulk

Podaci bi trebali biti dostupni kao cjelokupan skup. Ako posjedujete registar koji je sklopljen unutar statuta, cijeli registar bi trebao biti dostupan za preuzimanje. Mrežni API ili sličan servis bi mogao biti od velike koristi, no on nije zamjena za pristup velikih razmjera.

In an open, machine-readable format

Ponovna upotreba podataka javnog sektora ne bi trebala podlijegati restrikcijama koje se tiču patenata. Još važnije, povećana ponovna upotreba je uvjetovana korištenjem formata prilagođenog računalima. Slikovito prikazano, zamislite statistike objavljene kao PDF (Portable Document Format) dokumente, često korištene za ispis visoke kvalitete. I dok su one lako razumljive za čovjeka, za računalo je to težak posao. To uvelike ograničava ponovno korištenje podataka.

Navest ćemo nekoliko prijedloga koji mogu biti od velike koristi:

  • Drži se jednostavnosti,
  • Brzo napreduj,
  • Budi pragmatičan/a.

Konkretno, korisnije je objaviti neobrađene podatke sada nego dovršene za 6 mjeseci.

Postoji mnogo načina kako ostalima omogućiti pristup podacima. U današnje doba interneta, najučestaliji je online izdavaštvo. Mnogo je oblika tog modela. U osnovi, agencije omogućavaju pristup podacima putem svojih web stranica, a središnji sadržaj posjetitelje usmjerava relevantnim izvorima. No, postoje i alternative.

Kada je pristup ograničen ili veličina podataka iznimno velika, možemo se poslužiti i drugim oblicima distribucije. U ovom dijelu ćemo vidjeti neke od tih alternativa, koje mogu značajno sniziti cijenu.

Online metode

Putem vlastite web stranice

Sustav koji će biti najpoznatiji vašem timu zaduženom za održavanje web stranice je taj za osiguravanje podataka za preuzimanje s web stranica. Isto kao što trenutačno imate dokumente za rasprave, i podaci se jednako tako mogu staviti na raspolaganje.

Jedina mana ovom pristupu je što je autsajderu teško saznati gdje dobiti najnovije informacije. Takva mogućnost pruža izazov ljudima koji su zaduženi za stvaranje alate s vašim podacima.

Putem stranica trećih osoba, 3rd party sites

Mnoštvo skladišta podataka su postali podatkovni centri u svojim područjima. Primjerice pachibe.com spaja ljude sa senzorima s onima koji žele pristupiti njihovim podacima. Stranice poput Infochimps.com i Talis.com omogućuju agencijama javnog sektora besplatnu pohranu velikog broja podataka.

Stranice od strane trećih osoba mogu biti izrazito korisne. Osnovni razlog tome je što one već posjeduju skupove podataka i imaju zajednicu ljudi. Kada su vaši podaci dio ovakvih platformi, stvara se pozitivna energija.

Veleprodajne platforme već posjeduju infrastrukture koja može odgovoriti potražnji. One često sadrže analitičke informacije kao i informacije o korištenju. Za organizacije javnog sektora, one su uglavnom besplatne.

Ove platforme mogu imati dva troška. Prvi je neovisnost. Vaša oragnizacija mora moći prepustiti kontrolu ostalima. Ovo je često politički, pravno ili operacijski težak zadatak. Drugi trošak može biti otvorenost. Vaša podatkovna platforma bi trebala biti dostupna što široj publici. Softverski programeri i znanstvenici koriste mnoge operacijske sustave, od pametnih telefona do superračunala. Svi bi oni trebali moći pristupiti podacima.

Putem FTP servera

Manje rasprostranjena metoda za pristup podacima je putem File Transfer Protokola (FTP). Ovo je prilagođeno tehnički potkovanoj publici, kao što su softverski programeri i znanstvenici. FTP sustav djeluje umjesto HTTP-a, ali je specifično dizajniran kako bi podržavao prijenos podataka.

FTP je ispao iz mode. Umjesto prikaza web stranice, pretraga unutar FTP servera sliči uvelike kao pretraga mapa na računalu. Iako svrsishodno, ovaj oblik tvrtkama za mrežni razvoj otežava naplatu za kupčevo prilagođavanje.

Kao torrenti

BitTorrent je sustav koji je postao popularan među stvarateljima smjernica zbog svoje povezanosti s kršenjem autorskih prava. BitTorrent koristi datoteke zvane torrenti, koji dijele trošak distribucije podataka među svim ljudima koji pristupaju tim podacima. Umjesto preopterećenja servera, kako potražnja biva veća, tako se i ponuda povećava. To je upravo razlog zašto je ovaj sistem tako raširen kod dijeljenja filmova. Ovo je iznimno efikasan načina za distribuciju velikih količina podataka.

Kao API

Podaci mogu biti objavljeni putem Application Programming Interface-a (API). Ova sučelja su postala veoma popularna. Ona omogućavaju programerima da odaberu specifične dijelove podataka, umjesto da pružaju sve podatke na hrpi. API se često vežu uz baze podataka koje se ažuriraju u realnom vremenu. To znači da se se prikazom informacija putem API-ja osigurava da su one najnovije verzije.

Objavljivanje neobrađenih podataka u velikim količinama bi trebala biti osnovna briga za sve inicijative vezane uz otvorene podatke. Brojni su troškovi korištenja API-a:

  1. Cijena. Oni zahtijevaju puno više razvoja i održavanja nego samo pružanje podataka.
  2. Očekivanja. Kako bi se poticala zajednica korisnika koji se služe sustavom, važno je biti točan. Kada kola krenu nizbrdo i kada dođe do grešaka, očekujte da ćete trošak popravka snositi vi.

Pristup velikoj masi podataka osigurava da:

  • ne postoji ovisnost o originalnom pružatelju podataka, što znači da u slučaju da restrukturiranja ili proračunski ciklusi promijene situaciju, podaci će svejedno biti dostupni.
  • bilo tko može nabaviti kopiju i redistribuirati ju. Ovo smanjuje trošak distribucije izvornoj organizaciji i podrazumijeva da ne postoji točka zastoja.
  • ostali mogu razviti svoje usluge koristeći podatke jer znaju da im podaci neće biti uzeti.

Pružanje podataka u velikim količinama omogućuje njihovu upotrebu izvan prvobitnog okvira. Na primjer, mogu se pretvoriti u novi format, povezati s drugim resursima, ili se mogu pretvoriti u inačice i arhivirati na različita mjesta. Dok je najnovija verzija dostupna putem API-a, pristup neobrađenim podacima bi trebao biti omogućen u redovitim periodima.

Primjerice, Eurostatov servis za statistiku posjeduje jedinicu za masovno preuzimanje preko 4000 podataka. Ažurira se dva puta na dan, podatke nudi u Tab-separated values (TSV) formatu, a posjeduje i dokumentaciju vezanu uz jedinicu za preuzimanje kao i o samim podacima.

Još jedan primjer je District of Columbia Data Catalog koji nudi preuzimanja podataka u CSV i XLS formatu uz mogućnost praćenja uživo.

Učinite podatke vidljivima

Otvoreni podaci ne vrijede ništa bez korisnika. Ljudi moraju moći naći izvorni materijal. Ovaj dio se bavi raznim pristupima.

Najvažnija stvar koju treba osigurati je neutralan prostor koji neće biti u suboku s untrašnjim politikama organizacija i njihovim proračusnkim ciklusima. Jurisdikcijske granice, bile one sektorske ili geografske, mogu otežavati suradnju. No, mnoge su prednosti u združivanju snaga. Što vanjski korisnici lakše otkrivaju podatke, to se brže mogu stvarati novi i korisni alati.

Postojeći alati

Postoji mnoštvo online alata kojima je glavna zadaća što lakše otkriti podatke.

Jedan od najistaknutijih je DataHub koji sadrži podatke i podatkovne skupove iz svih dijelova svijeta. Stranica omogućuje pojedincima i organizacijama objavu materijala, a korisnicima podataka njihov lak pronalazak.

Nadalje, postoje desetci specijaliziranih baza podataka za različite sektore i područja. Mnoge znanstvene udruge su kreirale baze podataka za svoja područja uslijed česte potrebe za objavom podataka.

Za vladu

S vremenom je praksa postala da vodeće agencije kreiraju baze za vladine podatke. Prilikom njihovih kreacija, pokušajte stvoriti strukture koje omogućavaju raznim odjelima lakše i jednostavnije ažuriranje podataka.

Izbjegavajte stvaranje softvera koji će biti podrška za bazu podataka od same nule. Postoje besplatni softveri i softveri otvorenog koda (npr. CKAN) koje su već prihvatile mnoge vlade. Imajući to na umu, investiranje u neku drugu platformu neće biti potrebno.

Postoji nekoliko stvari koje većina baza podataka nema. Vaš program bi mogao razmotriti sljedeće:

  • Pružanje načina za privatne i društvene sektore koji žele dodati svoje podatke. Bolje je gledati na bazu podataka kao regionalnu, nego kao bazu podataka od vlade te regije.
  • Olakšavanje unaprijeđenja podataka omogućujući unos izvedenica podatkovnih skupova u bazu podataka. Na primjer, netko bi želio napraviti popis adresa i to podijeliti sa svima. Ako imate samo jednu verziju podatkovnog skupa, ova poboljšanja će ostati skrivena.
  • Budite tolerantni prilikom prikazivanja vaših podataka na drugim mjestima. Točnije, sadržaj bi se mogao duplicirati u zajednicima sličnih interesa. Ako posjedujete podatke za nadzor razine rijeka, tada će se vaši podaci možda pojaviti u bazama podataka za hidrologe.
  • Omogućite nepristran pristup. Izbjegavajte stvaranje privilegiziranih razina pristupa za državnike ili istraživače jer će to potkopati uključenost i sudjelovanje zajednice.

Za civilna društva

Budite spremni kreirati dodatne baze za neslužbene podatke.

Vlade iznimno rijetko surađuju s neslužbenim ili nemjerodavnim izvorima. Državnici tako često znaju puno trošiti kako bi izbjegli političko sramoćenje ili druge negativne konotacije koji bi mogle biti uzrokovane zloupotrebom ili prevelikim oslanjanjem na podatke,

Nadalje, vlade neće podržavati aktivnosti koje miješaju njihove podatke s podacima poduzeća. Vlade su opravdano skeptične u vezi motiva vezanih uz profit. Stoga je poželjna nepristrana baza podataka za zajednice, poduzeća i ostale.