|obsah| |index autorů | | index názvů | | index témat | | archiv |
Knihovna plus
2013, číslo 1
PhDr. Libuše Foberová, PhD. / Ústav bohemistiky a knihovnictví Filozoficko-přírodovědecké fakulty Slezské univerzity v Opavě
Resumé:
Příspěvek představuje část ze smíšeného výzkumu, který je součástí disertační práce[1] - konkrétně kvantitativního výzkumu, pomocí něhož se testovalo uživatelské rozhraní vybraných digitálních knihoven. Kvantitativní výzkum byl doplněn kvalitativním výzkumem, rozebírala se otevřená otázka z dotazníkového šetření. Dále se prováděla analýza vybraných digitálních knihoven, která byla doplněna řízeným rozhovorem s jejich tvůrci. Vybrané systémy se rovněž hodnotily z hlediska informační architektury[2]. Všechny zjištěné skutečnosti byly využity v tvorbě modelu uživatele digitální knihovny[3]. Tři sta dva studentů Ústavu bohemistiky a knihovnictví Filozoficko-přírodovědecké fakulty Slezské univerzity v Opavě testovalo v roce 2010 tři vybrané systémy: český Kramerius, rakouský ANNO a polský WDL. Testování probíhalo formou dotazníkového šetření. Pro sběr dat jsme využili aplikaci Microsoft Excel, ve které byly zpracovány i tabulky a grafy. Pro vyhodnocení kvantitativního výzkumu jsme použili standardní statistické analýzy s využitím statistického programu SPSS. Respondenti vybrali jako nejlepší systém Kramerius, na druhém místě rakouský systém ANNO a na třetím polský systém WDL.
Klíčová slova: digitální knihovna, digitální objekt, digitalizace, kvantitativní výzkum, distanční uživatel, uživatelské rozhraní.
Summary:
The article describes quantitative part of the survey (a base for a dissertation) which has provided data about the quality of user interface in the selected digital libraries. Quantitative survey was supplemented by qualitative approach – namely, an analysis of answers to one of the open questions in the questionnaire. Survey has also comprised an analysis of the selected digital libraries including controlled interviews with their authors. Selected systems have been evaluated from the viewpoint of information architecture as well. The data have been used to make up a model of the digital library user. In 2010 302 students of the Department of Czech Studies and Librarian Science at the Philosophical-Scientific Faculty of Silesian University in Opava conducted a survey of three selected systems: Czech Kramerius, Austrian ANNO and Polish WDL. The data were obtained through questionnaire survey and processed in the Microsoft Excel application. Statistical programme SPSS was used for statistical analysis of the quantitative part of the survey. Students have found out that the best system is Kramerius, the second came Austrian system ANNO and the third Polish system WDL.
Keywords: digital library, digital object, digitization, quantitative survey, distance user, user interface.
Digitalizace evropského kulturního dědictví je poslání, jde o předání bohatého kulturního odkazu budoucím generacím, prochází vývojem, určuje se její strategie. Bude stát hodně financí a úsilí. Je to "běh na dlouhou trať", časový horizont se nedá přesně vypočítat. Jedná se o velmi přínosný a potřebný počin. Informace byly vždy ceněny jako vzácné zboží a lidé je usilovně vyhledávali v knihovnách či jiných informačních institucích. Dnes je situace opačná. Jsme současnými informacemi zcela zahlceni, setkáváme se s nimi na každém kroku, přicházejí za námi až do našich domovů prostřednictvím vyspělých technologií. Počítačové sítě propojují celý svět a nabízejí nezměrné možnosti poznat poklady světového kulturního dědictví lidstva či kulturu a historii národů. Digitalizace tohoto dědictví, o něž usiluje nejen Evropa, zcela určitě ovlivní vzdělanost a národní povědomí občanů každé země, i té naší.
Cílem výzkumu je hodnocení kvality hypertextového prostoru na příkladu digitálních knihoven periodického tisku z 19. století. Zpřístupňování originálů starších periodik je problematické, ukazuje se, že cesta digitální kopie zpřístupněné prostřednictvím digitální knihovny je správná, ale musí se vědět, který způsob je nejvhodnější. Vybrané digitální knihovny Kramerium, ANNO a WDL byly testovány z hlediska jejich kvality a celkové přívětivosti uživatelského rozhraní[4]. Jako nejlépe vyhovující byla vybrána výzkumná metoda – smíšený výzkum[5]. V příspěvku představíme část výzkumu – kvantitativní výzkum. Periodika 19. století jsou svým obsahem zajímavá nejen
pro odbornou, ale i laickou veřejnost, což představuje nemalé nároky na tvorbu uživatelského rozhraní. Komerční internetové prostředí určuje směr a trendy. Pokud nebudou digitální knihovny vysoce intuitivní a uživatelsky příjemné, nebudou využívány a ztratí svůj smysl. Jedná se o produkt, který musí být pravidelně testován uživateli, jedině tak se docílí ideálních parametrů a užitečnosti.
Systém Kramerius – zprovozněn v prosinci 2003, dostupný na adrese http://kramerius.nkp.cz. Kooperující instituce: Národní knihovna ČR a Knihovna Akademie věd ČR. Typ dokumentů: archivní noviny, časopisy, literatura a různé – 7 mil. stran a 70 titulů periodik (statistika z roku 2010). Systém: opensource Qbizm, LINUX, APACHE; formáty dokumentů: DjVu, jpg, png, DTD a pdf.; technické parametry: protokol OAI-PMH. V době zkoumání se vyvíjel a připravoval systém Kramerius 4 – nové verze.
Systém ANNO (AustriaN Newspapers Online = Rakouské noviny online) – zprovozněn v srpnu 2003, dostupný na adrese http://anno.onb.ac.at. Kooperující instituce na projektu ANNO: Rakouská národní knihovna, Rakouská parlamentní knihovna, Univerzitní knihovna v Innsbrucku a Wiener Zeitung. Typ dokumentů: archivní noviny a časopisy – 5 mil. stran a 180 titulů periodik (statistika z roku 2010). Systém: v programovacím jazyce Pearl; formáty dokumentů: tiff, pdf; technické parametry: technické parametry: protokol OAI-PMH.
Systém WDL (Wielkopolska Digital Library) – zprovozněn v říjnu 2002, dostupný na adrese http://www.wbc.poznan.pl/dlibra. Kooperující instituce na projektu WDL: Kórnik knihovny Polské akademie věd a další regionální instituce, vědecké a veřejné knihovny Poznaň. Typ dokumentů: noviny, časopisy, literatura a různé – 11 mil. stran a 180 titulů periodik (statistika z roku 2010). Systém: DLibra; formáty dokumentů: DjVu, html, txt, pdf, odt; technické parametry: protokol OAI-PMH.
Výběr periodik k testování
V systému Kramerius jsme vybrali časopis Kwěty – beletristický a lidový časopis, konkrétně číslo 113 z 19. září 1844 - český jazyk. V systému ANNO jsme volili časopis Der Humorist – umělecky zaměřený časopis, který se zabývá uměním, divadlem, morálkou a vůbec společenskými problémy, konkrétně číslo 225 z 18. září 1844 – německý jazyk. V systému WDL jsme vybrali časopis Tygodnik Literacki – literární týdeník, který představuje výtvarné umění a kritiku, konkrétně číslo 21 z 18. září 1844 – polský jazyk. Záměrně jsme volili časopisy stejného data vzniku, abychom při testování neovlivnili kvalitu zobrazeného textu. Časopisy jsou psané v jazycích příslušné země a vycházejí dodnes.
Výzkum – testování uživatelského rozhraní vybraných digitálních knihoven
Cílem výzkumu je získat zpětnou vazbu od uživatelů o každé ze tří digitálních knihoven, konkrétně o kvalitě jejich uživatelského rozhraní, z perspektivy koncového uživatele. Základní výzkumnou otázkou je, nakolik vyhovuje uživatelské rozhraní vybraných digitálních knihoven určenému vzorku respondentů (koncoví uživatelé – aktuální a potenciální uživatelé). Výzkumný problém definujeme takto: Zjistit, nakolik přispívají jednotlivé aspekty uživatelského rozhraní knihoven k celkové uživatelské přívětivosti rozhraní a nakolik přispívají k úspěšnému vyhledání požadovaného dokumentu. Výzkumný plán sestává ze stanovení konkrétních výzkumných otázek a hypotéz, z návrhu výzkumných postupů a z volby a konstrukce metodik. Výsledky výzkumu slouží k vytvoření uživatelského modelu. Cílem je pochopit chování uživatelů a identifikovat problémy produktu (digitálních knihoven/systémů), které je možné minimalizovat nebo zcela odstranit, a zvýšit tak celkovou spokojenost uživatelů.
Základní vědecká otázka výzkumu
Do jaké míry odpovídají současné digitální knihovny informačním potřebám uživatelů? Jsou digitální knihovny vhodné pro zpřístupňování kulturního dědictví, v našem případě periodik 19. století? Za tímto účelem byli vybráni respondenti (distanční uživatelé), aby testovali uživatelské rozhraní vybraných digitálních knihoven.
Výzkumné metody
Ke sběru dat o zkušenostech uživatelů jsme zvolili metodu dotazníkového šetření – tedy kvantitativní postup. Vybrané digitální knihovny/systémy (uživatelská rozhraní) respondenti posuzovali na základě zkušeností získaných při plnění konkrétních úkolů. Za úkol měli vyhledat v každé z knihoven konkrétní dokumenty a svůj postup hodnotit na škálách dotazníku. Své odpovědi mohli doplnit o komentáře (volné odpovědi na otevřené otázky).
Před vlastním výzkumem jsme provedli předvýzkum, na kterém jsme ověřovali metodické nástroje. Hledali odpovědi na otázky, zda jsou výzkumné metody vhodné, zda existuje pro zvolené hypotézy empirický podklad, jaké další hypotézy přicházejí v úvahu. Zkoumali jsme reakce respondentů na naše otázky, formulaci otázek, zda jim respondenti porozuměli. Prověřovali jsme, jaké možnosti odpovědí zvolit v případě škálových otázek. Předvídali jsme, jaké problémy mohou při realizaci šetření nastat. Použili jsme tyto techniky: rešerši relevantní literatury k problému a podobných výzkumů. Informace jsme hledali přímo v terénu, kde probíhaly hloubkové individuální rozhovory s odborníky (expertní posuzování).
K ověření správnosti zvolených otázek v dotazníku, k upřesnění, objasnění a posouzení srozumitelnosti určených úkolů k testování nám posloužilo pilotní ověřování dotazníku, provedené u skupiny třiceti respondentů. Pilotáž potvrdila, že navržený výzkumný nástroj je srozumitelný a poskytuje diferencované výpovědi a že zvolenou strategii sběru dat lze realizovat bez problémů. Chyby v dotazníku nebyly zjištěny. Mezi pilotáží a hlavní vlnou sběru dat jsme ponechali časovou rezervu jeden měsíc.
Dotazník obsahuje 23 položek. Zajímaly nás především postoje, způsoby činnosti a motivy, které zaujímá koncový uživatel digitální knihovny. Volili jsme faktické zjišťující otázky a základní sociodemografické charakteristiky. Využili jsme především komparativní stupnicové otázky[6], které nám umožní analyticko-syntetický pohled na jednotlivé prvky zkoumaného jevu a na jejich kvalitativně odlišnou funkci, ale též přesné vzájemné porovnání těchto prvků pomocí číselného vyjádření bodovacího systému (1-5). V každé škále odpovědí jsme zařadili též odpověď nevím – nedovedu posoudit. Otázky jsme kombinovali s dalšími typy – dotazník tak obsahuje kromě škálových položek i otázky otevřené a polouzavřené.
Dotazník byl anonymní, o respondentech jsme zjišťovali pouze základní charakteristiky pro potřeby zpracování – věk, pohlaví, obor studia nebo činnosti. Dále jsme zařadili otázky týkající se jejich motivace a zkušeností s prací s obdobnými typy webových rozhraní.
Škálových otázek jsme využili především při samotném testování kvalit uživatelského rozhraní, jako je přístupnost vybrané digitální knihovny, dostupnost potřebného SW, barevné provedení, rozvržení a konzistence stránky, celkové grafické zpracování, dosažení vyhledávaného dokumentu, rychlost odezvy a cesta k vyhledávanému dokumentu, intuitivnost, nápověda, navigace a jazykové mutace, kvalita vyhledaného dokumentu, práce s dokumentem a celková uživatelská přívětivost.
V závěru jsme zařadili otevřenou (doplňující) otázku: respondenti mohli popsat, co je při práci překvapilo, s jakými dalšími problémy se setkali, co je zaujalo apod. Poslední otázka se týkala toho, zda respondenti digitální knihovnu znali (marketing-propagace).
U škálových položek využíváme posuzovací škály Lickertova typu (čtyřbodové hodnotící škály). Z 23 otázek je sedm zaměřených na vybrané charakteristiky účastníků. Jedna otázka je otevřená a určená pro vyjádření a jedna se týká propagace vybraných digitálních knihoven. Zbylých 14 otázek je zjišťovacích, týkají se samotného testování vybraných digitálních knihoven.
Příklad otázky zaměřené na charakteristiku účastníka:
preferuji tištěnou verzi 1 2 3 4 5 preferuji digitální verzi
Příklad zjišťující otázky:
Jak byste na základě svých zkušeností hodnotili celkovou uživatelskou přívětivost rozhraní u knihoven Kramerius/ANNO/WDL?
velmi dobrá – přijatelná - spíše špatná – špatná – nedovedu posoudit
Organizace sběru a zpracování dat
Dotazník jsme distribuovali elektronickou cestou, pro sběr dat jsme využili dotazníkovou aplikaci společnosti Google.[7] Před distribucí jsme respondentům vysvětlili cíle, popsali použité metody a celý proces výzkumu/testování.
Vysvětlili jsme jim, že dotazník je anonymní a cílem je testovat vybrané digitální knihovny. Všem byla dána webová adresa, kde se nachází online dotazník. Lhůta pro zpracování dotazníků byla tři měsíce. Oslovili jsme studenty Ústavu bohemistiky a knihovnictví, kterých je 987. Dotazník vyplnilo celkem 302 studentů, což představuje návratnost 30,6 %. Data jsme vygenerovali v Excelu - tabulkový editor kancelářského balíku MS Office. Grafy a tabulky jsou rovněž zpracovány v Excelu.
Pro vyhodnocení kvantitativního výzkumu jsme využili standardní statistické analýzy s využitím statistického programu SPSS. Těžiště analýz spočívá v tzv. třídění druhého stupně – hypotézy jsme testovali na základě korelačních postupů[8] a analýzy rozdílů mezi skupinami. Hlavní ukazatel (celková uživatelská přívětivost=spokojenost) jsme porovnávali s každou z dílčích položek.
Výběrový soubor
V centru naší pozornosti je koncový uživatel vybraných digitálních knihoven. Výzkumný soubor tvořilo 302 vysokoškolských studentů humanitního zaměření Ústavu bohemistiky a knihovnictví Filozoficko-přírodovědecké fakulty Slezské univerzity v Opavě. Jedná se o studenty jak prezenční formy studia, tak kombinované, proto nás zajímal věk. V souladu s věkovým a genderovým složením vybrané populace převládají ženy (více než 85 %), téměř polovina osob je ve věku do 25 let, osob ve věku nad 50 let jsou jen necelá 2 %. Sběr dat byl proveden v akademickém roce 2009/2010.
Testování se zúčastnilo 302 respondentů, 86,8 % žen a 13,2 % mužů. To odpovídá poměru studentů na Ústavu bohemistiky a knihovnictví, převažují ženy. Nejvíce respondentů spadalo do věkové kategorie 25-50 let 49,7 %. 48,7 % respondentů patřilo do věkové kategorie do 25 let a 1,6 % respondentů do kategorie nad 50 let.
Profesní zaměření - Nejvíce respondentů (59,8 %) jsou prezenčně studující knihovnictví, studentů kombinované formy studia pracujících v oboru se zúčastnilo 21,4 %, studentů knihovnictví jiné profese 9,8 %. Studentů knihovnictví v kombinaci s jiným oborem 4,3 % a studentů jiných oborů 4,7 %.
Kategorie odbornosti respondentů - 2/3 respondentů se označilo za začátečníky, třetina za mírně pokročilé a jen 3,3 % za pokročilé – jednalo se o studenty kombinovaného studia profese knihovník.
Motivace respondentů - 85 % respondentů využívá vyhledávače (Google, Seznam ad.) pro vyhledávání informací na internetu a 3,5 % vypovědělo, že vyhledávače nevyužívá. 1,7 % respondentů vypovědělo, že nevyužívají žádné webové rozhraní. To považujeme za zmatené/špatné odpovědi. Jen agendu spojenou se studiem musí všichni studenti vyřizovat prostřednictvím uživatelského rozhraní naší univerzity. Proti tomu 60 % respondentů vypovědělo, že využívají digitální knihovny jako zdroj informací. Speciální webová rozhraní (zahraniční databáze ad.) využívá 15 % studentů. Studenti mají největší povědomí o digitální knihovně Kramerius, 66 % uvedlo, že ji zná a používá. U studentů profese knihovník zná systém Kramerius dokonce 85 % dotázaných. Systém ANNO zná jen 15 % studentů a WDL jen 10 % studentů. Považujeme to za samozřejmé, studenti upřednostňují český (domácí) systém.
Digitální knihovny jako zdroj informací - 75 % dotázaných (profese knihovník) považuje digitální knihovny za profesně velmi významné a 55 % studentů je považuje za významný zdroj informací.
Shrnutí - Ukázalo se, že zahraniční databáze (speciální webová rozhraní) využívá jen 15 % studentů, což je vzhledem k oboru Knihovnictví, tristní. Z výzkumu dále vyplynulo, že studenti upřednostňují tištěnou verzi před digitální. Zřejmě se ještě nevyrovnali s digitálními technologiemi a přetrvávají u nich zkušenosti s tištěnou knihou. Až 67 % dotázaných dává přednost tištěné verzi. Dále se potvrdilo, že mají největší zájem o dokumenty v mateřském jazyce. To neznamená, že neumějí cizí jazyky, ale preferují český jazyk a tím se ochuzují o informace v cizím jazyce.
Hodnocení digitálních knihoven
Otázky jsme zaměřili na přístupnost digitálních knihoven, na dostupnost softwaru, který některé z testovaných knihoven nabízejí ke stažení, jinak by systém nefungoval. Zajímaly nás i osobní pocity studentů při odpovědích na estetické dojmy z nabízených systémů. Zejména nás zajímalo, jak vnímají barevné provedení stránek, samotné rozvržení stránky, konzistenci úvodní stránky a vůbec celkové grafické zpracování stránky. Dále nás zajímala cesta k cílovému dokumentu, rychlost odezvy, především intuitivnost jednotlivých testovaných systémů, formy nápovědy, cizojazyčné překlady. Ale také věrohodnost digitální kopie, do jaké míry je kopie autentická s originálem. Závěrem jsme se respondentů dotázali na celkovou uživatelskou přívětivost.
Graf 1 - Přístupnost digitální knihovny
Respondenti jako nejvíce přístupný vybrali systém ANNO, získal přes 70 % kladných odpovědí. Na druhém místě se umístil systém WDL a na třetím Kramerius.
Graf 2 - Dostupnost softwaru
V případě dostupnosti SW se na prvním místě umístil opět systém ANNO s více než 50 % kladných hodnocení. Na druhém Kramerius a na třetím WDL. Je to pochopitelné, jediný systém ANNO není podmíněn stažením SW. Ostatní dvě knihovny jsou podmíněné stažením SW, v případě WDL se jedná o více komplikovaný postup.
Graf 3 - Barevné provedení stránek
Barevné provedení stránek je téměř vyvážené. Většina respondentů odpověděla, že je velmi dobré nebo přijatelné. V případě/odpovědi "velmi dobré" vede systém Kramerius, v případě "přijatelné" systém WDL, nejhůře hodnocen je systém ANNO. Hodnocení barvy představuje subjektivní názor, ale v takovém rozsahu má vypovídací hodnotu. Barva ovlivňuje estetické hledisko a emoce uživatele, což jsou důležité aspekty, které ovlivňují celkový dojem uživatele při práci a hledání informací v systému.
Graf 4 - Rozvržení stránky
Opět většina respondentů odpověděla, že rozvržení stránek je "souměrné" nebo "spíše souměrné". Nejlépe byl hodnocen systém Kramerius, který dostal přes 50 %. WDL a ANNO jsou téměř vyrovnané – přes 40 %. Spíše" nesouměrné" odpovědělo u všech tří systému kolem 10 % dotázaných. "Nesouměrné" kolem 5 %, zde dopadl nejhůře systém WDL.
Graf 5 - Konzistence stránky
Většina respondentů odpověděla, že konzistence stránek je přehledná nebo přijatelná. Suverénně nejvíce procent (přes 60 %) dostal systém Kramerius. Ostatní dva systémy WDL a ANNO jsou na tom podobně s kladným hodnocením přes 40 %.
Graf 6 - Celkové grafické zpracování stránky
U celkového grafického zpracování stránek jsou vyvážené odpovědi velmi dobré a přijatelné. Opět vede systém Kramerius, který se dostal přes 40 % v odpovědi "velmi dobré". Druhý v pořadí je systém ANNO a třetí WDL.
Graf 7 - Splnění cíle – vyhledání zadaného dokumentu
Splnění cíle dopadlo nejlépe v případě systému Kramerius, dostal 50 %. Na druhé příčce se umístil systém ANNO, obdržel přes 40 %, nejhůře dopadl systém WDL s hodnocením přes 20 %. V případě systému WDL odpovědělo dalších více než 20 % dotázaných, že se jim podařilo splnit cíl "spíše špatně", což je nepříznivý výsledek. Souvisí s hodnocením dostupnosti SW. Rovněž v hodnocení z hlediska informační architektury systém WDL nedopadl nejlépe. Respondenti rovněž nejhůře hodnotili cestu k vyhledávanému dokumentu (rychlost odezvy). Při analýze systému WDL se ukázalo, že při cestě k cíli vyžaduje 2x tolik kliknutí myší než ostatní dva systémy. Rovněž intuitivnost systému a nápovědu WDL hodnotili studenti jako nejslabší. Naopak jazykové mutace (5) má tento systém nejlepší z testovaných systémů. Dá se konstatovat, že každý systém je v něčem jedinečný, kdybychom všechny dobré vlastnosti systémů spojili, vznikl by ideální systém.
Graf 8 - Rychlost odezvy
Nejlépe byl hodnocen systém ANNO, těsně za ním systém Kramerius, obdrželi přes 40 %. Systém WDL 30 %. Přes 20 % dotázaných odpovědělo, že cesta k vyhledávanému dokumentu je "spíše špatná".
Graf 9 - Intuitivnost webového rozhraní
Nejvíce intuitivní je systém Kramerius, obdržel přes 40 %. Výsledek zřejmě ovlivnily dvě okolnosti, že je český a že je známý. Na druhém místě s necelými 40 % se umístil systém ANNO, přes 20 % dostal systém WDL. Přes 20 % studentů v případě systému ANNO volilo odpověď "nedovedu posoudit", což ovlivnil fakt, že celý systém je pouze v němčině a studenti tímto jazykem příliš nevládnou.
Graf 10 - Úroveň nápovědy
Nápověda je nejlepší v případě systému Kramerius, který dostal přes 50 %. Ostatní dva systémy přes 20 %. V odpovědi nedovedu posoudit vede ANNO a WDL (kolem 30 %) vzhledem k jazykové dysfunkci. WDL, zde používá český jazyk, zřejmě se špatné hodnocení týká faktu, že systém nabízí velmi špatnou nápovědu.
Graf 11 - Dostupnost překladu navigačních textů
Zde dostal nejlepší ohodnocení (80 %) systém WDL. Navigace v případě systému WDL je v češtině. Nejhůře dopadl systém ANNO, za nedostupný ho označilo přes 40 % studentů. Jedná se o velký nedostatek tohoto systému. Pravdou je, že nabízí jen německy psané dokumenty, tvůrci nepředpokládají, že by zde vyhledával informace někdo, kdo neumí německy. Soustředili se na dokonalé vyhledávání a intuitivnost, což se povedlo. 2/3 studentů v odpovědích uvedlo, že i když neumí ani slovo německy, intuitivně dokument našli rychleji než v obou dalších systémech.
Graf 12 - Autentičnost dokumentu
Nejlépe zobrazuje dokument systém Kramerius, dostal téměř 50 %. Na druhém místě systém ANNO, přes 40 %. Systém WDL dostal přes 30 %. U všech systémů více než 20 % studentů uvedlo, že "nedovedou posoudit". Zřejmě se jedná o studenty, kteří nemají zkušenosti s digitálními knihovnami, a tudíž si nedokážou představit, do jaké míry je digitální kopie věrná/totožná s originálu/originálem. Rovněž si pravděpodobně nedokážou představit samotný originál, možná nikdy neměli v ruce takto stará periodika.
Graf 13 - Práce s textem
Nejlépe se s textem pracovalo v případě systému ANNO, to uvedlo přes 40 % studentů. Kramerius se dostal těsně pod 40 %, což ho umístilo na druhé pořadí. Systém WDL dopadl nejhůře, obdržel přes 30 %. Opět zde máme u všech systémů přes 20 % odpovědí "nedovedu posoudit." Zřejmě někteří studenti dále s textem nepracovali, jen ho vyhledali.
Graf 14 - Celková uživatelská přívětivost daného rozhraní
Tento graf považujeme za směrodatný. Studenti vyhodnotili, že uživatelsky nejpřívětivější je systém Kramerius. Takto ho hodnotí téměř 50 % studentů. Téměř 40 % studentů ohodnotilo jako nejpřívětivější systém ANNO. Na poslední příčce skončil systém WDL; nedovedlo ho posoudit bezmála 15 % studentů, což jen potvrzuje třetí místo v hodnocení.
Dotazník, vytvořený na základě expertního posouzení, slouží k testování uživatelsky významných aspektů jednotlivých webových rozhraní digitálních knihoven. Kromě dílčích položek, které hodnotí definované aspekty či funkce rozhraní, obsahují i indikátory obecného hodnocení – položky "Jaká je celková uživatelská přívětivost DK?" a "Nakolik dané rozhraní umožňuje dosažení vyhledávaného dokumentu?" Předpokládáme, že jednotlivé aspekty přispívají jak k obecnému dojmu uživatelské přívětivosti webového rozhraní, tak k jeho funkčnosti v různé míře, která může být vyjádřena i jako korelace hodnocení dílčích aspektů s celkovým hodnocením. Koeficient korelace vyjadřuje těsnost vztahu mezi způsobem odpovídání na jednotlivé položky, může nabývat hodnot od -1 (negativní vztah) po 1 (absolutní pozitivní závislost). Za věcně významné se obvykle považují korelace o hodnotě větší než 0,3 (resp. menší než -0,3), dalším důležitým ukazatelem je statistická významnost - průkaznost korelace (obvykle se interpretují vztahy průkazné na hladině významnosti menší než 0,05 a 0,01). Vzhledem k rozložení odpovědí je pro výpočet koeficientu korelace zvolen neparametrický postup založený na pořadí, tzv. výpočet Spearmanova[9] koeficientu korelace.
V tabulce č. 1 jsou uvedeny korelační koeficienty každé z položek a hodnocení celkové uživatelské přívětivosti jednotlivých knihoven. Všechny hodnoty jsou statisticky průkazné – tzn. každý z aspektů hodnocení knihovny je korelátem vnímané celkové přívětivosti, vztahy jsou však různě těsné (v číselném vyjádření je to v rozmezí zhruba 0,15 až 0,68). Položky v tabulce jsou seřazeny podle průměrné korelace s obecným hodnocením knihovny jako uživatelsky přívětivé - od nejtěsnějších korelátů uživatelské přívětivosti po nejméně těsné.
V trojici položek, které korelují nejtěsněji (v průměru nad 0,5), se logicky setkáváme s obecným hodnocením funkčnosti rozhraní (položka "Nakolik dané rozhraní umožňuje dosažení vyhledávaného dokumentu? "). Dále je však překvapivě ještě mírně těsnější vztah s hodnocením učící funkce (intuitivnosti) rozhraní. Jako velmi významný se ukazuje i celkový dojem z grafického zpracování stránky (graf. č. 6), především pak z její přehlednosti – konzistence (graf. č. 5). Velmi vysokých hodnot nabývá i hodnocení rychlosti odezvy (graf. č. 8) spolu s úrovní nápovědy (graf č. 10).
Relativně nejméně se na celkovém dojmu uživatelské přívětivosti podílí autentičnost dokumentu (graf. č. 12), samotná přístupnost DK (graf. č. 1) a dostupnost překladu navigačních textů (graf. č. 11). Zde je však třeba upozornit, že respondenti neměli za úkol s dokumentem dále pracovat. Všechny knihovny jsou přístupné volně a respondenti tvoří jazykově homogenní skupinu, tzn. ani jedna z položek není zdrojem systematického rozptylu (distribuovaného hodnocení).
Tabulka č. 1 Souvislost hodnocení uživatelské přívětivosti s jednotlivými sledovanými kvalitami (PDF)
K téměř shodným výsledkům dospíváme i tehdy, zaměříme-li se na vztah vlastností webového rozhraní knihoven k hlavnímu ukazateli jejich funkčnosti – k možnosti dosažení vyhledávaného dokumentu. U porovnávaných rozhraní k ní nejvíce přispívá intuitivnost (učící funkce – graf č. 9) rozhraní a úroveň nápovědy (graf. č. 10). Je také zřejmé, že respondenti považují za úspěšné především takové hledání, které je současně rychlé (graf. č. 8). Překvapivé je, že u sledovaných knihoven je dosažení vyhledávaného dokumentu prakticky nezávislé na dostupnosti překladu navigačních textů (graf. č. 11). Připomeňme ale, že knihovny jsou určeny uživatelům, kteří hovoří jazykem cílového dokumentu, dále potom do analýzy nebyly zahrnuty výpovědi "nedovedu posoudit"(tedy hlavně výpovědi neúspěšných respondentů) a že u knihovny ANNO, kde byla největší jazyková bariéra, byla současně nejlépe hodnocena intuitivnost.
2a
2b
2c
2d
Tabulka č. 2a (PDF), 2b (PDF), 2c (PDF), 2 d (PDF) Souvislost cílovosti s jednotlivými sledovanými kvalitami DK
K identifikaci rozdílů v hodnocení jednotlivých systémů/digitálních knihoven byly využity dva typy neparametrických testů závislých výběrů – tzn. testy, které jsou založeny na porovnání tří výpovědí každého uživatele (o každé z knihoven v daném aspektu). První, obecnější Friedmanův test[10], ověřuje hypotézu, zda všechny tři výpovědi pocházejí ze stejné populace, tedy zda jsou shodné, nebo zda v hodnocení jednotlivých knihoven existují významné systematické rozdíly. Neurčí však přesně, které dílčí rozdíly se na celkovém výsledku podílejí, které konkrétní dvě knihovny jsou v daném aspektu hodnoceny odlišně. Tuto informaci doplňuje Wilcoxonův test[11], který na podobném principu srovnává páry hodnocení u závislých výběrů.
Také zde interpretujeme rozdíly statisticky průkazné na hladině významnosti 0,01(zvýrazněno tučně) a 0,05 (tučně a kurzívou)
Tabulka č. 3 a (PDF)
Tabulka č. 3 b (PDF)
Další výsledky poskytují informaci o tom, zda hodnocení webových rozhraní jednotlivých knihoven souvisí s tím, zda je toto prostředí pro respondenty neznámé, nebo zda s ním již mají nějakou zkušenost. Využitý postup, Mannův – Whitneyův U test[12], je typem neparametrického testu nezávislých výběrů – tzn. soubor se pro potřeby analýzy rozdělí na dvě skupiny podle toho, zda respondent uvedl, že knihovnu zná, či nikoli, a sledují se rozdíly v hodnocení mezi oběma skupinami. Test se prováděl zvlášť pro každou ze tří posuzovaných digitálních knihoven. U WDL znalost prostředí při hodnocení nehraje roli, také v případě systému Kramerius je patrný jen jeden marginální rozdíl (respondenti se zcela neshodují v názoru na dostupnost navigačních textů). Naproti tomu u systému ANNO respondenti, kteří knihovnu znají a využívají, posuzují převážnou většinu aspektů uživatelského prostředí knihovny pozitivněji než ti, kteří knihovnu neznají. Domníváme se, že na výsledku se z velké části podílí jazyková bariéra. U studentů převažuje znalost angličtiny, němčinu ovládá jen málo studentů. Angličtina se na Ústavu bohemistiky a knihovnictví vyučuje jako předmět povinný, zatímco němčina jako povinně volitelný předmět. Pokud student knihovnu nezná, vidí ji poprvé a je vedena celá jen v německém jazyce, může to studenta odradit, případně ovlivnit v úsudku.
Tabulka č. 4 (PDF) Rozdíly v posuzování DK podle předchozích znalostí
Další výsledky poskytují informaci o tom, zda hodnocení webových rozhraní jednotlivých knihoven souvisí s tím, zda se respondenti označili za začátečníky, mírně pokročilé nebo pokročilé uživatele. Opět využijeme postup Mannův – Whitneyův U test. Test neukázal výrazné rozdíly. Pokročilí hodnotí o něco hůře konzistenci stránky, rozdíl ale nedosahuje hodnoty obvykle interpretované statistickou průkazností, zajímavé je, že je to stejná položka, kterou se liší i hodnocení ANNO a Krameria. Pokročilí uživatelé hodnotí schopnost práce s WDL hůře. Pokročilí uživatelé hodnotí schopnost práce s ANNO hůře.
Kruskallův – Wallisův test[13] ověřuje, zda několik nezávislých výběrů náleží do stejné populace, tedy zda se podobají odpovědi tří skupin respondentů rozdělených podle toho, jaký význam pro ně digitální knihovny mají. U knihovny WDL test prokazuje vesměs lepší hodnocení ve skupině profesní. U knihovny ANNO z testu vyplývá: Ti, pro které jsou knihovny relevantní z hlediska profesního využití, mají zpravidla lepší výkon (lépe se orientují), ale současně bývají i kritičtější k tomu, co jim v orientaci brání. U knihovny Kramerius test vykazuje podobné výsledky jako u knihovny WDL.
Tabulka č. 5 (PDF) Rozdíly v posuzování digitálních knihoven podle perspektivy jejich využití
Webové stránky jsme testovali z hlediska informační architektury. Je nutné si uvědomit, že digitální knihovny periodik 19. století zprostředkovávají specifickou část kulturního dědictví. Jejich úkolem je informovat (prezentovat) a zpřístupňovat obsah. Výzkumem se potvrdilo, že tvůrci (zprostředkovatelé) vybraných digitálních knihoven nevěnují zvláštní pozornost propagaci nebo marketingu. Nezaobírají se pravidelným testováním. Mají strategické plány, které se týkají především kritérií pro výběr periodik, množství obsahu a vývoje systému. V případě systému Kramerius se vyvíjí nová verze Kramerius 4, která bude daleko kvalitnější, intuitivnější a pro uživatele přívětivější. Nabízí další možnosti vyhledávání, lepší možnosti práce s textem apod.
Prakticky u každé testované digitální knihovny z hlediska informační architektury se vyskytovaly chyby, které mohou uživatelům činit problémy. Záleží na kvalitě nápovědy. Tu má nejpropracovanější systém Kramerius, systém WDL a ANNO dokonce nápovědu ani nenabízí. Hledané dokumenty byly dostupné. Nejhůře se cíle dosahovalo v případě systému WDL, nejlépe v případě systému ANNO. Největší bariérou u systému ANNO je nedostatečné jazykové vybavení pouze a důsledně jen v německém jazyce. Schází mu doplňková navigace. WDL a Kramerius nabízejí dvě možnosti vyhledávání, jednoduché a rozšířené. Kramerius má několik nefunkčních odkazů a nemá dobrou propagaci nástrojů skrývajících se pod logem instituce.
Osmdesát jedna respondentů využilo možnosti k vyjádření formou otevřené otázky v dotazníku. Z kvalitativního šetření dopadla nejlépe digitální knihovna ANNO, nejhůře digitální knihovna WDL, digitální knihovna Kramerius se umístila uprostřed. Hodnocení potvrdila i analýza systémů.
85 % respondentů využívá vyhledávače (Google, Seznam ad.) pro vyhledávání informací na internetu pouze 3,5 % vypovědělo, že vyhledávače nevyužívá. 1,7 % respondentů vypovědělo, že nevyužívají žádné webové rozhraní. To považujeme za rozporuplné odpovědi. Jen agendu spojenou se studiem musí všichni studenti vyřizovat prostřednictvím uživatelského rozhraní univerzity. Proti tomu 60 % respondentů vypovědělo, že využívají digitální knihovny jako zdroj informací. Speciální webová rozhraní (zahraniční databáze ad.) využívá jen 15 % studentů. Studenti mají největší povědomí o digitální knihovně Kramerius, 66 % uvedlo, že ji znají a používají. U studentů profese knihovník zná systém Kramerius dokonce 85 % dotázaných. Systém ANNO zná jen 15 % studentů a WDL jen 10 % studentů. Považujeme to za samozřejmé, studenti upřednostňují český (domácí) systém. 75 % dotázaných (profese knihovník) považuje digitální knihovny za profesně velmi významné a 55 % studentů je považuje za významný zdroj informací. Alarmující je skutečnost, že studenti využívají speciální webová rozhraní minimálně, jen v 15 %.
Studenti jako nejvíce přístupný vybrali systém ANNO, dostal více než 70 % hlasů dotázaných. Na druhém místě se umístil systém WDL a na třetím Kramerius. V případě dostupnosti SW se na prvním místě umístil opět systém ANNO s 50 % hlasů, na druhém systém Kramerius a na třetím WDL.
Barevné provedení stránek je téměř vyvážené. Většina respondentů odpověděla, že je velmi dobré nebo přijatelné. V případě "velmi dobré" vede systém Kramerius, v případě "přijatelné" systém WDL, nejhůře hodnocen je systém ANNO.
Rozvržení stránek studenti hodnotili takto: Nejlépe vyhodnotili systém Kramerius, který ocenilo více než 50 % respondentů. WDL a ANNO jsou hodnoceny téměř vyrovnaně 40 % respondentů. "Spíše nesouměrné" odpovědělo u všech tří systémů kolem 10 % dotázaných, "nesouměrné" kolem 5 % (zde dopadl nejhůře systém WDL).
Většina respondentů odpověděla, že konzistence stránek je přehledná nebo přijatelná. Suverénně nejvíce procent hlasů (více než 60 %) získal systém Kramerius. Ostatní dva systémy WDL a ANNO jsou na tom podobně s dobrým hodnocením více než 40 % dotázaných.
U celkového grafického zpracování stránek jsou vyvážené odpovědi "velmi dobré" a "přijatelné". Opět vede systém Kramerius, který dostal odpověď "velmi dobré" od více než 40 % respondentů. Druhý v pořadí je systém ANNO a třetí WDL.
Splnění cíle dopadlo nejlépe v případě systému Kramerius, získal 50 % dotázaných. Na druhé příčce se umístil systém ANNO, obdržel více než 40 % kladných hodnocení, nejhůře dopadl systém WDL s kladným hodnocením 20 % dotázaných.
Jediná položka, u které se na prvním místě umístil systém WDL, je jazyková mutace. Nabízí pět jazyků, mj. i český jazyk, a to ocenilo 80 % studentů. Nejhůře byl hodnocen systém ANNO, za nedostupný ho označilo přes 40 % studentů.
Cestu k vyhledávanému dokumentu nejlépe vyhledal systém ANNO, těsně za ním se umístil systém Kramerius. Oba získaly více než 40 % dotázaných, systém WDL přes 30 %.
Nejvíce intuitivní je systém Kramerius, zaujal přes 40 % studentů. Na druhém místě se s necelými 40 % hodnotitelů umístil systém ANNO, přes 20 % jich získal systém WDL.
Nápověda je podle mínění více než 50 % respondentů nejlépe zpracována v systému Kramerius, ostatní dva systémy zaujaly kolem 20 % respondentů.
Nejlépe zobrazuje dokument systém Kramerius s kladným hodnocením 50 % dotázaných. Na druhém místě systém ANNO (40 % dotázaných) a na třetím systém WDL (30 % dotázaných).
Nejlépe se s textem pracovalo v případě systému ANNO, uvedlo přes 40 % studentů. Téměř stejné procento ocenilo systém Kramerius a systém WDL byl oceněn přibližně 30 % studentů. Tento údaj považujeme za směrodatný.
Studenti vyhodnotili, že uživatelsky nejpřívětivější je systém Kramerius. Takto ho hodnotí téměř 50 % studentů. Dále téměř 40 % studentů ohodnotilo jako nejpřívětivější systém ANNO. Na poslední příčce skončil systém WDL.
Studentům se nejlépe pracovalo se systémem Kramerius. Ze 14 škálových otázek se umístil na prvním místě 8krát a byl vybrán i v případě celkové uživatelské přívětivosti. Jako druhý se umístil systém ANNO, z uvedených 14 případů škálových otázek se umístil na prvním místě celkem 4krát. Jako nejméně přívětivý se ukázal systém WDL, ze 14 případů se pouze jednou umístil jako první (jazykové mutace) a 5krát jako druhý, ve třech případech těsně vedle systému ANNO.
Dá se konstatovat, že každý systém je v něčem jedinečný. Kdybychom všechny dobré vlastnosti systémů spojili a zohlednili parametry nového systému Kramerius 4, vznikl by ideální systém.
Testování hypotéz: všech pět hypotéz (např. hypotéza č. 1 Míra vnímání uživatelské přívětivosti se zvyšuje s rostoucí mírou optické vyváženosti vzhledem k vertikální a horizontální ose souměrnosti ad.) se týká vztahu určitého atributu uživatelského rozhraní knihoven k jejich celkové uživatelské přívětivosti. Informaci o těsnosti tohoto vztahu nám poskytuje koeficient korelace. Hypotézu přijímáme nebo zamítáme na základě hodnoty koeficientu korelace, výsledky Friedmanova testu nám slouží k bližšímu popisu a interpretaci výsledků[14].
Odpověď na vědeckou otázku bychom formulovali takto: Současné digitální knihovny odpovídají informačním potřebám uživatelů ve vysoké míře. Digitální knihovny jsou pro zpřístupňování periodik 19. století vhodnými nástroji a mnohdy jsou jedinou možností jejich uchování. Ve srovnání možnosti prezentace/zpřístupňování periodik 19. století se jeví digitální knihovna jako nejpohodlnější a nejlepší.
Když se závěrem zamyslíme nad vybranými systémy, musíme konstatovat, že digitalizace kulturního dědictví, i když probíhá desítky let, je na začátku. Žádná země (Česká republika, Polská republika, Rakouská republika) nemá vypracovanou strategii prezentace kulturního dědictví online, všechny mají zpracovanou podkladovou studii a přemýšlejí v evropských souvislostech, jak k této problematice nejlépe přistoupit. Testování digitálních knihoven z pohledu uživatele zatím žádná knihovna nerealizovala, marketingová strategie neexistuje, nástroje zpětné vazby jsou slabé. Jedná se o běžné nedostatky, které provázejí každé začátky něčeho velkého. Digitalizace kulturního dědictví je jediným možným řešením, jak ho zachovat a zprostředkovávat dalším generacím. Věříme, že náš výzkum nejen zmapoval situaci, ale přinesl nové informace, které budou přínosem v této problematice.
Poznámky
[1] FOBEROVÁ, Libuše. Zpřístupňování kulturního dědictví prostřednictvím digitální knihovny. [Accessing Cultural Heritage via digital library]. (Disertační práce) Bratislava : Komenského univerzita v Bratislavě, Filozofická fakulta, Katedra knihovní a informační vědy, 2010. 164 s. Školitel disertační práce prof. Ing. Milan Konvit, PhD.
[2] Louis Rosenfeld a Peter Morville ve své knize Information architecture for the World Wide Web přirovnávají informační architekturu k architektuře budov. Chtějí na základě této podobnosti znázornit, že webové stránky s dobrou architekturou jsou jako architektonické skvosty, člověk se v nich cítí dobře, snadno se orientuje. Naopak stránky se špatnou architekturou se dají přirovnat k budově, kde jsou křivé zdi, podlahy, kuchyň bez kuchyňské linky, okna, která nejdou otevřít. Pokud nemůžeme najít, co hledáme, článek, který jsme četli před týdnem, výrobek, který si chceme koupit, jsme naprosto ztraceni. Je to jako být ztracen na letišti, kde jsou všechny nápisy v cizí řeči. Přeměnit chaos na pořádek je extrémně obtížná věc. Cílem informační architektury je zavést principy architektury a designu do digitálního světa.
[3] Model uživatele digitální knihovny není v příspěvku uveden.
[4] Uživatelské rozhraní (User Interface) hraje při procesu vyhledávání informací v informačních systémech roli prostředníka mezi systémem a člověkem. Jedná se o interaktivní vztah. Uživatel zadává vstupy, které má počítač vykonat, a počítač vyhodnocuje optimální výstup, který opět prezentuje pomocí rozhraní zpátky uživateli. Tvůrce uživatelského rozhraní dnes nejvíce zajímá user-centered design (design orientovaný na uživatele).
[5] Plán tohoto typu výzkumu vychází z míchání přístupů kvalitativního a kvantitativního výzkumu.
[6] Kombinace polytomických konjunktivních a stupnicových otázek.
[7] FOBEROVÁ, L. Dotazník – "Posouzení uživatelského rozhraní vybraných digitálních knihoven." GOOGLE. [online]. 2005 [cit. 2010-05-23]. Dostupné na WWW: <http://spreadsheets.google.com/viewform?formkey=dG1rcVUxQXZOSTZyM19LVHBGOVk3THc6MA>.
[8] Dvourozměrné rozdělení četností.
[9] Ve
statistice je Spearmanův koeficient pořadové korelace bezrozměrné
číslo, které udává statistickou závislost (korelaci) mezi dvěma
veličinami. Je pojmenován po jednom ze zakladatelů faktorové analýzy
Charlesi Spearmanovi a značí se řeckým písmenem
nebo
.
[10] Neparametrický test založený zejména na mediánech a pořadí – více závislých výběrů.
[11] Neparametrický test založený zejména na mediánech a pořadí – dva závislé výběry.
[12] Neparametrický test založený zejména na mediánech a pořadí – dva nezávislé výběry.
[13] Neparametrický test založený zejména na mediánech a pořadí – více nezávislých výběrů.
[14] Testování hypotéz není součástí příspěvku. Všech pět stanovených hypotéz jsme přijali.
Literatura
ČABRUNOVÁ, A. Klasifikácia výskumov podľa procesuálnej štruktúry knižnice. In Výskum ako súčasť procesov v knižnici - predpoklad efektívneho manažmentu : zborník z odborného seminára, ktorý sa konal 7.-8. júna 2000 v Trnave / zostavila: Anna Čabrunová. Bratislava : Univerzitná knižnica, 2000, s. 4-17. ISBN 80-85170-60-4.
GONDOĽ, Ján. 2009. Hodnotenie a zvyšovanie kvality webových sídiel v cirkevnom kontexte [Dizertačná práca]. Univerzita Komenského v Bratislave; Filozofická fakulta; Katedra knižničnej a informačnej vedy. Bratislava : FiF UK, 2009. 142 s.
HENDL, J. Kvalitativní výzkum : základní teorie, metody a aplikace. Praha : Portál, 2008. 407 s. ISBN 978-80-7367-485-4.
HENDL, J. Přehled statistických metod zpracování dat. Praha : Portál, 2004. 584 s. ISBN 80-7178-820-1.
Kerlinger, Fred N. Základy výzkumu chování. Pedagogický a psychologický výzkum. Praha : ACADEMIA, 1972. 750 s.
KÖNIGOVÁ, M. Kvantitativní metody v informatice : určeno pro posl. fak. filozof. Praha : SPN, 1986. 200 s.
KRUG, Steve. Web design : nenuťte uživatele přemýšlet. 1. vyd. Brno : Computer Press, 2003. 167 s. ISBN 80-251-1291-8.
MANDEL, T. The elements of user interface design. New York : John Wiley and Sons, 1997. Xxii, 464 s. ISBN 978-0-471-16267-4.
Miovský, M. Kvalitativní přístup a metody v psychologickém výzkumu. Praha : Grada Publishing, 2006. 332 s. ISBN 8024713624.
RANKOV, P. Kvalitatívny výskum v knižničnej a informačnej vede. In Výskum ako súčasť procesov v knižnici - predpoklad efektívneho manažmentu : zborník z odborného seminára, ktorý sa konal 7.-8. júna 2000 v Trnave / zostavila: Anna Čabrunová. Bratislava : Univerzitná knižnica, 2000, s. 38-43. ISBN 80-85170-60-4.
ROSENFELD, Louis; MORVILLE, Peter. Information architecture for the World Wide Web. 2nd edition. Sebastopol : O'Reilly, c2002. 461 p. ISBN 0-596-00035-9.
Silverman, David. Ako robiť kvalitatívny výskum : praktická príručka. Bratislava: Ikar, 2005. 327 s. ISBN 80-5510-904-4.
ŚLASKA, K. Today and tomorrow of digital libraries in Poland. In: 2nd Colloquium of Library Information Employees of the V4+ Countris : digitalization - the path to protection and access to documents = 2. kolokvium knihovnicko-informačních pracovníků zemí V4+ : digitalizace - cesta k ochraně a zpřístupnění dokumentů : Brno, 6-8- July 2008 : [sborník příspěvků / Michaela Shejbalová (ed.)]. Brno : Moravská zemská knihovna, 2008, s. 22-29. ISBN 978-80-7051-178-7.
Švaříček, R.; Šédová, K. a kol. Kvalitativní výzkum v pedagogických vědách. Praha : Portál, 2007. 377 s. ISBN 978-80-7367-313-0.
Uživatelsky přívětivá rozhraní / editovali Alena Červenková & Michal Hořava. Praha : Horava & Associates, 2009. 177 s. ISBN 978-80-254-5295-0.
Elektronické zdroje:
ANNO – AustriaN Newspapers Online - Was ist ANNO [online]. Wien : Österreichische Nationalbibliothek, c2003 , 2007-10-05 [cit. 2010-05-23]. Němčina. Dostupné na WWW: <http://anno.onb.ac.at/about.htm>.
BUCHALCEVOVÁ, A., DRBOHLAV, M. Místo návrhu uživatelského rozhraní v životním cyklu vývoje programového systému aneb systematický přístup k návrhu uživatelského rozhraní. In Tvorba softwaru 99 : Sborník celostátní konference [online]. Ostrava 26.-28. 5. 1999 [cit. 2010-05-23]. Dostupné na WWW: <http://www.osu.cz/katedry/kip/aktuality/sbornik99/buchalcevova.html>.
Europeana. [online]. 2008-, [cit. 2010-05-17]. Dostupná na WWW: <http://www.europeana.eu/portal/index.html?lang=cs>.
FOBEROVÁ, L. Dotazník – "Posouzení uživatelského rozhraní vybraných digitálních knihoven." GOOGLE. [online]. 2005 [cit. 2010-05-23]. Dostupné na WWW: <http://spreadsheets.google.com/viewform?formkey=dG1rcVUxQXZOSTZyM19LVHBGOVk3THc6MA>.
FOLTÝN, T. Na základě výsledků uživatelské ankety byly do systému Kramerius implementovány nové funkce [online]. Národní knihovna ČR, 1. 3. 2010 [cit. 2010-05-30]. Dostupné na WWW: <http://kramerius-info.nkp.cz/planovane-akce/novinky/na-zaklade-uzivatelske-ankety>.
GOLD, Tomáš. Podprahové vnímání barev [online]. 2002 [cit. 2010-05-23]. Dostupné na WWW: <http://interval.cz/clanky/podprahove-vnimani-barev/>.
Ikaros, redakce. Online uživatelské rozhranní pro vyhledávání na Internetu (Gary Marchionini). Ikaros [online]. 2005, roč. 9, č. 5/2 [cit. 2010-05-30]. Dostupný na World Wide Web: <http://www.ikaros.cz/node/1908>. ISSN 1212-5075.
Informační architektura [online]. 2005 [cit. 2010-05-23]. Dostupné na WWW: <http://www.adaptic.cz/znalosti/informacni-architektura.htm>.
Jak by měla vypadat kvalitní webová stránka? [online]. 2007 [cit. 2010-05-23]. Dostupné na WWW: <http://www.koldasoft.cz/pozadavky-kvalitni-stranky/>.
KTD – Česká terminologická databáze knihovnictví a informační vědy (TDKIV)[online], [cit. 16. 5. 2010] Praha : Národní knihovna ČR, 2001– . Dostupné na WWW: <http://www.nkp.cz>.
LHOTÁK, M. Digitální knihovna Akademie věd ČR a vývoj nové verze Kramerius. Archivy, knihovny, muzea v digitálním světě 2009 : Sborník celostátní 10. konference [online]. Praha 4 - Chodovec 2.-3. 12. 2009 [cit. 2010-05-23]. Dostupné na WWW: <http://skip.nkp.cz/akcArch09.htm>.
MAKULOVÁ, Soňa. Hodnotenie webových stránok. Ikaros [online]. 2005, roč. 9, č. 11 [cit. 2009-01-21]. Dostupné na WWW: <http://www.ikaros.cz/node/2036>.
MAKULOVÁ, Soňa. Informačná architektúra a jej vplyv na nájditeľnosť webových stránok [online]. 2006 [cit. 2010-05-23]. Dostupné na WWW: <http://www.elet.sk/?informacna-architektura&sprava=informacna-architektura-a-jej-vplyv-na-najditelnost-webovych-stranok>.
MAKULOVÁ, Soňa. Informačná architektúra ako metodológia tvorby webových stránok. ITlib : informačné technológie a knižnice [online]. 2003, roč. 7, č. 2 [cit. 2010-05-23]. Dostupné na WWW: <http://www.cvtisr.sk/itlib/itlib032/makulova.htm>.
MAKULOVÁ, Soňa. Informačná architektúra. Ikaros [online]. 2005, roč. 9, č. 9 [cit. 2010-05-23]. Dostupné na WWW: <http://www.ikaros.cz/node/2007>.
MÜLLER, Christa. ANNO – AustriaN Newspapers Online : A mass-digitization-initiative for historical newspapers by the Austrian National Library. Wien : Österreichische Nationalbibliothek, 2007. 23 s. Angličtina. Prezentace Microsoft PowerPoint. ÖNB Webshop [online]. Wien : Österreichische Nationalbibliothek [cit. 2009-04-04]. Němčina. Dostupné na WWW: <http://www.bildarchivaustria.at/infosite.aspx?dif=barchaut>.
NUMERIC. [online]. 2007– . Dostupné na WWW: <http://numeric.ws/>. [cit. 16. 5. 2010].
Ochranné reformátování. Národní knihovna České republiky. [online]. Poslední aktualizace 23. 9. 2004. [cit. 2010-05-21]. Dostupné na WWW: <http://www.nkp.cz/pages/page.php3?page=weba_reform.htm>.
PEARSON, David. Digitisation : do we have a strategy? Ariadne [online]. 2004 [cit. 2010-05-17]. Dostupné na WWW: <http://www.ariadne.ac.uk/issue30/digilib/>.
VLČEK, P. Systém Kramerius [online]. 13. 12. 2005. [cit. 2010-05-30]. Dostupné na WWW: <http://dspace.muni.cz/bitstream/ics_muni_cz/63/1/Vlcek_Kramerius.pdf>.
CITACE:
Foberová, Libuše Foberová. Testování uživatelského rozhraní vybraných digitálních knihoven.
Knihovna plus [online]. 2013, č. 1 . Dostupný z WWW: <http://knihovna.nkp.cz/knihovnaplus131/fober.htm>.
ISSN 1801-5948.
| nahoru | |obsah| | archiv | | domů |
| index autorů | | index názvů | | index témat |