guide

Kako otvoriti podatke?

Languages:  de  el  en  es  fr  he  hr  id  is  it  ja  ko  lt  lv  my  ne  nl_BE  pt_BR  ro  ru  zh_CN  zh_TW 

Ovo poglavlje jeste srž ovog priručnika. Ono daje konkretne, detaljne smernice kako oni koji poseduju određene podatke mogu da ih otvore. Objasnićemo osnove, ali ćemo ukazati i na određene zamke. Na kraju ćemo razmotriti i neka kompleksnija pitanja koja se mogu pojaviti.

Postoje tri ključna pravila kojih bi se trebalo pridržavati prilikom otvaranja podataka:

  • Neka bude jednostavno. Počnite nešto malo, jednostavno i brzo. Nije neophodno da svaki skup podataka bude odmah otvoren. Sasvim je u redu da počnete otvaranjem samo jednog skupa podataka ili čak samo jednog dela većeg skupa. Naravno, što više skupova podataka otvorite, to bolje.

    Ne zaboravite na inovativnost. Brzo napredovanje je dobro, jer to može biti pokretačka snaga i možete da učite iz iskustva - inovativnost ima veze sa neuspehom isto koliko i sa uspehom, jer neće svaki skup podataka biti koristan.

  • Uključite se rano i često. Uspostavite komunikaciju sa trenutnim i potencijalnim korisnicima što je ranije moguće i što češće, bilo da je reč o građanima, poslovnim ljudima ili programerima. Tako ćete osigurati da sledeća verzija vaših usluga bude zaista relevantna, koliko je to moguće.

    Veoma je važno imati na umu da većina podataka neće direktno doći do krajnjih korisnika, već putem ‘info-posrednika’. To su ljudi koji koriste i transformišu podatke kako bi ih prezentovali. Na primer, većina nas ne želi i nema potrebu za velikom bazom podataka GPS koordinata, već samo želi mapu. Stoga, prvo uspostavite komunikaciju sa info-posrednicima. Oni će modifikovati i naći novu upotrebu za vaš materijal.

  • Bavite se uobičajenim strahovima i nesporazumima. Ovo je veoma važno ukoliko radite unutar velikih institucija kao što je vlada. Prilikom otvaranja podataka naići ćete na mnoštvo pitanja i strahova. Važno je da - (a) identifikujete one najvažnije i (b) da im se posvetite u što ranijoj fazi.

Postoje četiri osnovna koraka u otvaranju podataka, a svaki će biti detaljno razrađen. Njihov redosled je okviran, jer se većina koraka može obaviti istovremeno.

  1. ** Odaberite skup/ove podataka.** Odaberite skup/ove podataka koje želite da otvorite. Imajte na umu da možete (a možda ćete i morati) da se vratite na ovaj korak u slučaju da u kasnijoj fazi naiđete na određene probleme.
  2. Primenite otvorenu licencu.
    1. Odredite koja prava intelektualne svojine sadrže vaši podaci.
    2. Primenite odgovarajuću ‘otvorenu’ licencu koja dozvoljava korišćenje svih ovih prava i u skladu je sa definicijom otvorenosti o kojoj je bilo reči u poglavlju ‘Šta su otvoreni podaci’
    3. NB: Ukoliko ne možete to da učinite, vratite se na prvi korak i probajte sa drugim skupom podataka.
  3. Omogućite da podaci postanu dostupni - u velikim količinama i odgovarajućem formatu. Možete da razmotrite i alternativne načine za to, na primer putem API-a.
  4. Omogućite da podaci budu vidljivi - objavite ih na internetu ili organizujte bazu podataka koja će sadržati vaše otvorene skupove podataka.

Izaberite skup/ove podataka

Izbor skup/ova podataka za otvaranje jeste prvi korak - mada zapamtite da se ceo proces može ponoviti i da se možete vratiti na ovaj korak ukoliko kasnije naiđete na probleme.

Ako već znate koje skup/ove podataka planirate da otvorite, možete odmah da pređete na sledeći deo. Ipak, u mnogim slučajevima, naročito za velike institucije, odabir skupova podataka može se pokazati kao pravi izazov. Kako reagovati u tom slučaju?

Sastavljanje ove liste trebalo bi da bude brz proces, gde treba identifikovati koji skupovi podataka se mogu prvi otvoriti. U kasnijim fazama će biti vremena da se detaljno proveri da li je svaki skup podataka pogodan za otvaranje.

Nije obavezno sastaviti kompletnu listu skupova podataka. Osnovna stvar koju treba imati na umu jeste da li je uopšte moguće objaviti ove podatke (bili oni otvoreni ili ne) - videti prethodni deo.

Pitajte zajednicu

Predlažemo da na početku konsultujete svoju zajednicu. To su ljudi koji će pristupati i koristiti te podatke, pa postoji velika mogućnost da upravo oni znaju koji podaci bi bili korisni.

  1. Pripremite kratku listu potencijalnih skupova podataka za koje biste želeli da dobijete povratnu informaciju. Nije najvažnije da se ta lista podudara sa vašim očekivanjima, već je namera da steknete uvid gde ima potražnje. To se može zasnivati i na bazama otvorenih podataka drugih zemalja.
  2. Tražite komentare.
  3. Objavite svoj upit na sajtu i omogućite pristup putem posebnog URL-a. Tako je, u slučaju deljenja putem društvenih medija, lakše pronaći upit.
  4. Omogućite jednostavne načine za dostavljanje odgovora. Izbegavajte obavezno registrovanje, jer to značajno smanjuje količinu povratnih informacija.
  5. Prosledite upite na odgovarajuće mailing liste, forume, kao i pojedincima, usmeravajući ih na početnu web stranicu.
  6. Organizujte konsultacije. Potrudite se da organizujete u prigodno vreme kako bi poslovni ljudi i oni koji se bave prikupljanjem i organizacijom skupova podataka mogli da dođu.
  7. Kontaktirajte političara kako bi govorio u ime vaše organizacije. Otvoreni podaci često su deo šire politike povećanog pristupa informacijama vlade.

Osnovni troškovi

Koliko novca organizacije troše na prikupljanje i održavanje podataka koje poseduju? Ako troše dosta novca na određeni skup podataka, onda postoji velika šansa da bi i drugi želeli pristup takvom skupu podataka.

Kod ovog argumenta može se javiti problem takozvanog “švercovanja” (freeriding). Pitanje na koje treba dati odgovor glasi: “Zašto bi drugi mogli besplatno da pristupe informacijama koje su zapravo veoma skupe?” Odgovor leži u javnom sektoru koji apsorbuje troškove kako bi obavljao određene funkcije. Trošak slanja tih podataka, kada su već prikupljeni, približno je jednak nuli. Stoga to ne bi trebalo naplaćivati.

Jednostavnost objavljivanja

Ponekad umesto odlučivanja koji su to podaci najkorisniji, može biti korisno proveriti koji podaci mogu najlakše dospeti do javnosti. Male i jednostavne objave mogu delovati kao katalizatori za velike promene u ponašanju unutar organizacija.

Međutim, treba biti oprezan sa ovakvim pristupom. Može se dogoditi da te male objave imaju tako malu vreednost da iz njih ništa novo neće nastati. U tom slučaju, to može da uzdrma poverenje u čitav projekt.

Posmatrajte druge

Otvoreni podaci su rastući trend. Velika je verovatnoća da postoji mnoštvo ljudi u oblasti kojom se bavite, koji razumeju šta se događa u drugim oblastima. Formulišite listu zasnovanu upravo na tome čime se bave te organizacije.

Primenite otvorenu licencu (zakonska otvorenost)

U većini slučajeva kod podataka postoje intelektualna prava svojine, koja sprečavaju treća lica da koriste, ponovo koriste i redistribuiraju podatke bez izričite dozvole. Čak i kada nije izvesno da postoje takva prava, važno je primeniti dozvole upravo radi izbegavanja nejasnoća. Stoga, ako planirate da vaši podaci postanu dostupni, oni treba da imaju određenu licencu, a ukoliko želite da vaši podaci budu otvoreni, onda je to još važnije.

Koje dozvole možete da koristite? Predlažemo da za otvorene podatke koristite one dozvole u skladu sa Definicijom otvorenosti i koje su označene kao adekvatne za podatke. Lista (zajedno sa uputstvima za upotrebu) može se naći na:

Kratak vodič na jednoj strani o tome kako primeniti dozvolu koja se odnosi na otvorene podatke nalazi se na sajtu Open Data Commons:

Omogućite da podaci budu dostupni (tehnička otvorenost)

Otvoreni podaci oraju biti tehnički otvoreni, kao što su pravno otvoreni. Konkretno, podaci moraju biti dostupni u velikim količinama u mašinski čitljivom formatu.

Dostupni

Cena podataka ne bi trebalo da bude veća od cene same izrade, a poželjno je da budu dostupni za besplatno preuzimanja s interneta. Odabran je takav model, zato što vaša organizacija ne bi trebalo da ima bilo kakve troškove, zbog toga što omogućava korišćenje podataka.

U velikim količinama

Podaci bi trebalo da budu dostupni kao kompletan skup. Ukoliko posedujete registar koji je nastao u skladu sa statutom, ceo registar bi trebalo da bude dostupan za preuzimanje. Mrežni API ili sličan servis mogao da bude od velike koristi, ali to nije zamena za pristup velikih razmera.

U otvorenom, mašinski čitljivom formatu

Ponovna upotreba podataka od strane javnog sektora ne bi trebalo da bude predmet ograničenja koje se tiču patenata. Još važnije, činjenica da ste obezbedili mašinski čitljiv format omogućava veću ponovnu upotrebu. Primera radi, zamislite statistike objavljene kao PDF(Portable Document Format) dokumente, koji se često koriste za kvalitetno štampanje. I dok ljudi to lako čitaju, veoma je teško da kompjuter to koristi. To dosta ograničava ponovno korišćenje podataka.

Navešćemo nekoliko politika koje mogu biti od velike koristi:

  • Neka bude jednostavno,
  • Brzo napredujte,
  • Budite pragmatičani.

Konkretno, bolje je objaviti neobrađene podatke, nego savršene podatke u roku od šest meseci.

Postoji mnogo načina da podaci budu dostupni drugima. U doba interneta, krajnje je uobičajeno objaviti nešto onlajn. Mnogo je varijacija na tu temu. U osnovi, organizacije omogućavaju pristup podacima putem svojih web stranica, dok se posetioci preko sadržaja usmeravaju na različite relevantne izvore. Međutim, postoje i alternative.

Kada je pristup internetu ograničen ili su podaci naročito veliki, opravdano je koristiti i druge oblike distribucije. U ovom delu ćemo videti neke od alternativa, koje mogu značajno sniziti cenu.

Onlajn metode

Putem vašeg sajta

Sistem koji može biti najprijemčiviji timu koji održava vaš sajt jeste da omogući preuzimanje podataka sa stranica na sajtu. Kao što trenutno pružate pristum dokumentima za raspravu, i podaci mogu postati dostupni na isti takav način.

Jedina mana kod ovog pristupa jeste što je nekome spolja veoma teško da zna gde može da dobije najnovije informacije. Ova opcija predstavlja izazov za ljude koji prave nekakve alate od vaših podataka.

Putem nečijih tuđih stranica

Mnogi repozitorijumi su čvorišta za podatke u određenim područjima. Na primer, pachibe.com je dizajniran tako da spaja ljude sa senzorima sa onima koji žele da pristupe njihovim podacima. Stranice poput Infochimps.com i Talis.com omogućuju agencijama iz javnog sektora da besplatno pohrane veliku količinu podataka.

Stranice trećih lica mogu biti naročito korisne. Glavni razlog za to jeste što one već okupljaju zainteresovane i poseduju druge skupove podataka. Kada su vaši podaci deo ovakvih platformi, stvara se neka vrste pozitivnog okruženja.

Platforme sa velikom količinom podataka već poseduju infrastrukturu koja može odgovoriti potražnji. One često pružaju analitičke podatke, kao i podatke o upotrebi. Za organizacije iz javnog sektora, one su uglavnom besplatne.

Ovakve platforme mogu imati dve vrste troškova. Prvi je nezavisnost. Vaša oragnizacija mora da bude u stanju da drugima prepusti kontrolu. Ovo je često politički, pravno ili operativno težak zadatak. Drugi trošak može biti otvorenost. Pobrinite se da vaša platforma nema ograničenja ko sve može da joj pristupi. Programeri i naučnici koriste mnoge operativne sisteme, od pametnih telefona do super kompjutera. Svi oni treba da budu u stanju da pristupe podacima.

Putem FTP servera

Manje uobičajena metoda za pristup podacima je putem protokola za transfer podataka (FTP). To može biti zgodno ukoliko je vaša publika tehnički potkovana, kao što su programeri i naučnici. FTP deluje umesto HTTP-a, ali je dizajniran tako da podržava prenos podataka.

FTP je izašao iz mode. Umesto web stranice, pretraga unutar FTP servera dosta liči na pretragu foldera na kompjuteru. Otuda je, iako služi svrsi, firmama za mrežni razvoj dosta teže da naplate prilagođavanje i modifikaciju.

Kao torrenti

BitTorrent je sistem koji je postao popularan među kreatorima politika zbog njihove povezanosti sa kršenjem autorskih prava. BitTorrent koristi datoteke zvane torrenti, koji funkcioništu tako što se trošak distribucije podataka deli među svima koji pristupaju tim podacima. Umesto preopterećenja servera, kako potražnja biva veća, povećava se i ponuda. To je upravo razlog zašto je ovaj sistem tako uspešan kod filmova. Ovo je dosta efikasan način za distribuciju velikih količina podataka.

Kao API

Podaci mogu biti objavljeni putem Application Programming Interface (API). To je postalo veoma popularno. To programerima omogućava da odaberu specifične delove podataka, umesto da pružaju sve podatke na gomili kao ogroman dokument. API su često povezani sa bazama podataka koje se ažuriraju u realnom vremenu. To znači da se prikazom informacija putem API-ja osigurava da su one ažurirane.

Objavljivanje neobrađenih podataka u velikim količinama trebalo bi da bude osnovna briga za sve inicijative u vezi sa otvorenim podacima. Postoje mnogi troškovi kod korišćenja API-a::

  1. Cena. To zahteva mnogo više razvoja i održavanja nego samo pružanje podataka.
  2. Očekivanja. Kako bi se podstakla zajednica korisnika koji koriste ovaj sistem, važno je obezbediti tačnost. Kada nešto krene po zlu, očekuje se da vi snosite troškove popravki.

Pristup velikoj količini podataka osigurava da:

  • ne postoji zavisnost od onoga ko je originalno obezbedio podatke, što znači da u slučaju da se situacija promeni zbog restruktuiranja ili budžetskog ciklusa, podaci će svakako biti dostupni.
  • bilo ko može nabaviti kopiju i ponovo je distribuirati. Ovo smanjuje trošak distribucije za izvornu organizaciju i podrazumeva da ne postoji neuspeh.
  • drugi mogu da razviju svoje usluge koristeći podatke, jer znaju da im podaci neće biti oduzeti.

Pružanje podataka u velikim količinama omogućuje njihovu upotrebu mimo originalne namene. Na primer, mogu se pretvoriti u novi format, povezati sa drugim resursima, ili se mogu modifikovati i arhivirati na različitim mestima. Dok najnovija verzija može biti dostupna putem API-a, pristup neobrađenim podacima trebalo bi omogućiti u redovnim intervalima.

Na primer, Eurostatov servis za statistiku poseduje jedinicu za masovno preuzimanje više od 4.000 skupova podataka. Ažurira se dva puta dnevno, podatke nudi u Tab-separated values (TSV) formatu, a poseduje i dokumentaciju o jedinici za preuzimanje, kao i o samim podacima.

Još jedan primer je katalog sa podacima disktrikta Kolumbija, koji nudi preuzimanje podataka u CSV i XLS formatu uz mogućnost praćenja uživo.

Omogućite da podaci budu vidljivi

Otvoreni podaci ničemu ne služe bez korisnika. Ljudi moraju da budu u stanju da pronađu izvorni materijal. Ovaj deo se bavi različitim pristupima.

Najvažnija stvar koju treba obezbediti jeste neutralan prostor koji nadilazi promene untrašnje politike organizacija i njihove budžetske cikluse. Granice nadležnosti, bile one sektorske ili geografske, mogu da otežaju saradnju. Međutim, postoje brojne prednosti kod udruživanja snaga. Što je korisnicima lakše da pronađu podatke, brže mogu nastati novi i korisni alati.

Postojeći alati

Postoje mnogi alati na internetu koji su napravljeni da bi učinili podatke što vidljivijim.

Jedan od najpoznatijih je DataHub koji sadrži podatke i skupove podataka iz čitavog sveta. Ovaj sajt omogućava pojedincima i organizacijama da objave svoje materijale, a korisnicima podataka da pronađu matereijale koji su im potrebni.

Osim toga, postoji nekoliko desetina specijalizovanih baza podataka za različite sektore i područja. Mnoge naučne zajednice su kreirale baze podataka za svoja područja zato što često postoji potreba za objavljivanjem podataka.

Za vladu

S vremenom je postala praksa da vodeće agencije kreiraju baze za vladine podatke. Kod kreiranja baze, pokušajte da stvoritite strukturu koja različitim sektorima i departmanima omogućava jednostavno ažuriranje podataka.

Pokušajte da se oduprete potrebi da od nule pravite softver koji će biti podrška za bazu podataka. Postoje besplatni softveri i softveri koji su otvoreni (npr. CKAN) koje mnoge vlade već koriste. Imajući to u vidu, investiranje u neku drugu platformu možda neće biti potrebno.

Postoji nekoliko stvari koje većina baza podataka nema. Kada je reč o programu, trebalo bi razmotriti sledeće:

  • Pružanje načina da privatni i društveni sektor mogu da dodaju svoje podatke. Bolje je na bazu podataka gledati kao regionalnu, nego kao na bazu podataka vlade te regije.
  • Olakšavanje unapređenja baze podataka tako što će biti omogućeno da derivati skupova podataka budu uneti u bazu podataka. Na primer, neko želi da napravi popis adresa i to podeli sa svima. Ako imate samo jednu verziju skupa podataka, ova poboljšanja će ostati skrivena.
  • Budite tolerantni ukoliko se vaši podaci pojave na drugim mestima. Vrlo je verovatno da se sadržaj duplira u zajednicima sličnih interesovanja. Ako posedujete podatke o praćenju nivoa reka, onda se vaši podaci mogu pojaviti u bazama podataka za hidrologe.
  • Omogućite fer i neograničen pristup. Izbegavajte stvaranje privilegovanih nivoa pristupa za funkcionere ili istraživače, jer to može da utiče na uključenost i angažovanje zajednice.

Za civilno društvo

Budite spremni da napravite dodatne baze za nezvanične podatke.

Vlade dosta retko sarađuju sa nezvaničnim ili neadekvatnim izvorima. Zvaničnici često dosta troše kako bi se pobrinuli da izbegnu neprijatnosti ili nekakvu štetu koja bi mogla biti posledica zloupotrebe ili prevelikog oslanjanja na podatke.

Šta više, vlade neće podržavati aktivnosti koje kombinuju njihove podatke sa podacima preduzeća. Vlade su opravdano skeptične u vezi sa motivima koji idu uz profit. Stoga je opravdano postojanje nezavisne baze podataka za zajednice, kompanije i ostale.