De Bono in kvalitativno raziskovanje

Intervju z Edwardom de Bonom v današnji Oni (Delo) me je spodbudil k temu kratkemu komentarju o zvezi med njegovimi idejami o mišljenju in teorijo kvalitativnega raziskovanja.

Čeprav je De Bono znan tudi pri nas, saj je, kot piše Ona, že štirikrat tudi pri nas vodil seminarje ustvarjalnega mišljenja, nekaj podatkov o njem ne bo odveč. Rojen 1933 na Malti v aristokratski družini izobražencev, potomcev več evropskih kraljevskih rodbin, je, očitno nadarjen, blestel že v osnovni in srednji šoli, večkrat preskočil razred in maturiral s 15 leti. Nato je z 21 leti doštudiral medicino, nadaljeval študij v Veliki Britaniji, delal kot kardiolog, nato pa se, po več pridobljenih znanstvenih nazivih, začel ukvarjati s proučevanjem ustvarjalnega mišljenja. O tem je do danes napisal prek 80 knjig. Pridobil si je tudi precejšnje premoženje in je znan kot lastnik več otokov v različnih morjih sveta.


Osnovna njegova misel izvira iz nezadovoljstva z načinom mišljenja, katerega korenine so pri starih Grkih (De Bono šaljivo govori o očetih tega mišljenja, Sokratu, Platonu in Aristotelu, kot o 'bandi treh') in ki še danes prevladuje v zahodni kulturi na vseh ravneh šolstva in v znanosti. To je v svojem bistvu bojevito, prepirljivo mišljenje, ki temelji na kritiki in logičnem argumentiranju (v angleščini 'to argument' pomeni argumentirati, dokazovati, pa tudi prepirati se) in skuša ovreči neko tezo, naj bo to teorija v znanosti ali ideološka pozicija v politiki ali tudi kakršno koli vsakdanje mnenje. To mišljenje izhaja iz hipotez, ki jih preverja, ocenjuje, je linearno, vertikalno in se ravna po pravilih logike. Na koncu se dokaže, kdo ima prav in kdo ne. De Bono ne misli, da logika ni močno orožje - čeprav on raje govori o svojih tehnikah kot o orodjih - in ne zavrača argumentiranja in iskanja resnice, meni le, da samo zase ni dovolj dobro in ni edina oblika mišljenja. Resnica je odlična, a ni dovolj, je -  ebne (excellent but not enough). 


Svojo prvo knjigo je zato že leta 1967 posvetil drugi obliki mišljenja, ki ga je imenoval lateralno ali stransko mišljenje. To je mišljenje, v katerem ne dokazujemo in ne kritiziramo, ampak ustvarjamo nove ideje. To storimo tako, da skušamo na problem pogledati z drugega vidika, z več vidikov, ga zagledati v novi luči. Ne gre nam za dokazovanje svojega prav ali za kritiziranje nasprotnikovega mnenja, ampak za to, da pridemo do kake koristne zamisli, do nečesa novega. Kritično mišljenje je namenjeno preverjanju obstoječih pojmov in teorij, lateralno mišljenje pa odkrivanju novih; v njegovem okviru skušamo spremeniti pogled na problem, na zadevo, zastaviti na novo na drugem koncu. Kasneje je ta nazor dopolnil s pojmom paralelno (vzporedno) mišljenje. Njegovo osnovno orodje je "tehnika šestih klobukov". Na problem pogledamo z vidika novih podatkov, s čustvenega vidika in intuitivno, z negativnega, kritičnega vidika, s pozitivnega, optimističnega vidika, ustvarjalno, pri tem pa se ves čas sprašujemo tudi, ali naše razmišljanje poteka v pravi smeri. 

Podobnost s kvalitativnim raziskovanjem je očitna. Tudi pri tem nam ne gre v prvi vrsti za preverjanje hipotez ampak za odkrivanje novih pojmov, novih pojavov in novih zornih kotov. Pri tem se lahko s pridom poslužujemo prav de Bonovih spoznanj. Z vidika raziskovanja kot celotnega družbenega "podjetja" sta seveda nujna oba pristopa. Zdi pa se, da je bilo prav odkrivanje novih pojmov in teorij zapostavljeno; mislili so, da se ti porodijo pač v glavah ustvarjalnih ljudi. Vendar ni tako. De Bono pravi, da se moramo ustvarjalnemu mišljenju namerno posvetiti in obvladati njegove pripomočke (tehnike ali orodja), pripomočke, ki jih je prav on "izdelal". Podobno velja tudi za kvalitativno metodologijo. Njene postopke je bilo šele treba izdelati kot sestavine znanstvenoraziskovalne "orodjarne".


Na istem spoznanju kot je de Bonovo, temelji tudi razlikovanje med algoritmičnim in hevrističnim (heurisko, gr. najdem) delom. Algoritmično delo, npr. večina dela računovodje, poteka po jasno določenih postopkih, ki jih je mogoče nadomestiti tudi z računalniškim programom. Pri hevrističnem delu, npr. delu znanstvenika, pa moramo poiskati različne možnosti za rešitev problema, jih preučiti in izdelati inovativno rešitev. Tradicionalna validacijska raziskava poteka algoritmično. Kvalitativna raziskava pa je hevristična.
Viri:
Nastja Mulej, Edward de Bono: Resnica je odlična, a ni dovolj. Delo (Ona) 14.2.2012: 12-16.
D. H. Pink, Zagon. Videotop, Maribor, 2011.
http://www.debonosociety.com/
http://www.edwdebono.com/

"KROG X POLJ" (KXP) / MOJA SOCIALNA MREŽA (MSM)

Med tehnikami za evalvacijo ekoloških raziskavic učencev sem zasledil tudi tehniko "FIVE FIElDS MAP" (ali FOUR FIELDS MAP"). Namenjena je ugotavljanju učenčeve socialne mreže ali socialne podpore. Sestoji iz 3-5 koncentričnih krogov, lahko tudi več, razdeljenih na štiri ali pet polj. Učenec vpisuje v to shemo v ločena polja imena svojih DRUŽINSKIH ČLANOV ALI SORODNIKOV, SOŠOLCEV ALI PRIJATELJEV, UČITELJEV IN SODELAVCEV ŠOLE, in DRUGIH OSEB (npr. v ustanovah, organizacijah) in sicer na koncentrične kroge tem bližje središču, čim tesnejši odnos ima z njimi.
Ob tem sem se spomnil, da sem že pred vsaj 30 leti s študenti izvajal vajo "Osebna skupnost", v kateri so v enako shemo vnašali imena članov svoje socialne mreže po istih kategorijah (zadeve seveda nisem patentiral!).
Pri evalvaciji raziskave bi učence lahko vprašali, pri kom so dobili informacije o raziskovalni temi, s kom so se o tem pogovarjali ipd. Osebe, ki so jim najbolj pomagale, bi napisali v središče, druge pa na bolj oddaljene kroge. Pri otrocih so po mojem dovolj trije krogi, saj težko natančneje ocenijo bližino oz. oddaljenost osebe kot z grobimi ocenami "zelo blizu", "srednje blizu", "najmanj blizu" ali "veliko pogovarjal (veliko zvedel)", "srednje veliko", "ne veliko". To tehniko lahko uporabimo tudi sicer za raziskovanje socialne opore, vrste opore (informacijska, stvarna, emocionalna), kakovosti odnosov otroka s posameznimi člani mreže, konfliktov ipd. Podatke, ki jih zberemo, je mogoče analizirati na različne načine, kvalitativno in kvantitativno. V splošnem pa jih lahko uporabimo za spoznavanje posameznega učenca ali pa za pregled nad celotno skupino.

Vir:
http://jbd.sagepub.com/content/19/2/327.abstract
Margareta Samuelsson, Gunilla Thernlund, Jerker Ringström (1996). Using the Five Field Map to Describe the Social Network of Children: A Methodological Study. International Journal of Behavioral Development, June 1996 vol. 19 no. 2327-345.

Ponazoritve mišljenja

V dosedanjem razmišljanju o miselnih vzorcih, pojmovnih mrežah in mrežah osebnih pojmov sem prišel do spoznanja, da so to prirejene oblike nadrejenega pojma grafičnih ponazoritev strukture pojmovnega (diskurzivnega) mišljenja ali krajše ponazoritve mišljenja (POMI), Representations of Thinking (ROT). Miselni vzorci so namenjeni zapisovanju (beleženju), urejanju zapiskov, nevezanemu razmišljanju v smislu 'deževanja idej' ('možganska nevihta') ipd. Pojmovne mreže so namenjene sintetiziranju spoznanj raziskovanja ali gradnji hipotetičnih raziskovalnih modelov. Mreže osebnih pojmov pa imajo predvsem didaktični namen izražanja osnovnih pojmovnih shem pri otrocih in spremljanju njihovega spreminjanja.
Svoja dosedanja spoznanja o strukturi tega področja sem strnil v naslednji miselni vzorec:

program FreeMind
Osnovne tri kategorije si sledijo v smeri urnega kazalca gleda na to, kakšno STROGOST MIŠLJENJA ali LOGIČNO STROGOST zahtevajo. 1. MISELNI VZORCI so najmanj stroga, najbolj odprta in igriva oblika predstavljanja mišljenja, uporabna za najrazličnejše namene. 2. MREŽE OSEBNIH POJMOV so nekoliko strožje, saj so vezane na učni proces v šoli ali zunajšolski situaciji in jih učenci sestavljajo, zavedajoč se, da se od njih pričakuje izkazovanje znanja in pridobivanja znanja, poleg tega pa jih učitelj korigira. 3. Logično najstrožja in najbolj dosledna reprezentacija so POJMOVNE MREŽE. Pri njihovi konstrukciji se dosledno držimo pravila, da predstavljamo pojme, to je raziskovalne koncepte, in odnose med njimi. Ti diagrami so logično najbolj 'čisti'.

Analiza mrež osebnih pojmov

Pojmovne mreže in mreže osebnih pojmov omogočajo učencu, da sledi potek pridobivanja novega znanja pri samem sebi; učitelju pa omogoča, da oceni učenčev napredek, njegovo razumevanje, način njegovega razmišljanja ipd. Učitelj lahko pojmovne mreže in mreže osebnih pojmov uporabi pri evalvaciji posameznih učnih dejavnosti in v okviru drugih svojih raziskav. Posebno pogosto uporabljajo MOP pri evalvaciji ogledov, obiskov muzejev, šol v naravi, raziskovalne dejavnosti učencev ipd. Zadnjič sem zapisal, da pojmovne mreže (PM) ali mreže osebnih pojmov (MOP) analiziramo, tako da primerjamo shemo PRED in shemo PO pri istem učencu, in/ali tako, da primerjamo sheme učencev med seboj.


Katere značilnosti pojmovnih mrež ali mrež osebnih pojmov lahko opazujemo? Pri pregledu literature sem ugotovil, da se ponavljajo naslednje značilnosti: razpon (extent) mreže, širina (breadth) mreže, globina (depth) mreže in obvladanje področja (mastery).


RAZPON. Razpon kaže obseg besedišča. Izražamo ga s številom besed ali fraz. Zanima nas razlika v obsegu besedišča PRED in PO učni dejavnosti.
ŠIRINA. Širina kaže obseg (število) pojmov. Izražamo jo s številom ustreznih pojmov. Zanima nas razlika v številu pojmov PRED in PO učni dejavnosti.
GLOBINA. Globina kaže pojmovni obseg posameznih kategorij. Izražamo jo s številom pojmov v posamezni kategoriji. Zanima nas razlika v številu pojmov v posamezni kategoriji PRED in PO učni dejavnosti.
OBVLADANJE. Obvladanje se izraža z oceno sheme glede na celotni vtis o razumevanju. Ocena je številčna na 4- ali 5-stopenjski lestvici ali kvalitativna, opisna. Zanima nas razlika v v globalni oceni PRED in PO učni dejavnosti.


Tako literatura. Glede teh analitičnih kategorij so možni pomisleki. Tako ni jasno, kakšna je razlika med 'besediščem' in 'pojmi'. Obstoj teh dveh kategorij pomeni, da v shemo vpisujemo poleg pojmov še druge 'besede'; najbrž pa nas ne zanimajo vezniki ipd. Niso pa posebej omenjeni ODNOSI med pojmi. Tako da bi 'besedišče' lahko pomenilo vse besede, ki označujejo POJME in ODNOSE med njimi. ŠIRINA pa naj bi se nanašala samo na POJME. Teorija ne omenja, da poleg POJMOV obstajajo tudi KATEGORIJE, torej skupine sorodnih pojmov ali pojmi določenega področja. Kategorije naj bi bile torej pojmovna področja. Kdo jih določi? Učitelj? Ocena OBVLADANJA izraža učiteljev vtis o učenčevem razumevanju celote, torej gre za klasično številčno oceno izdelka. Obstaja tudi vprašanje poimenovanja analitičnih kategorij. Namesto RAZPONA, ki je neprijetno soroden ŠIRINI, bi lahko napisali kar BESEDIŠČE. Pri GLOBINI gre za večji ali manjši poudarek na določeni pojmovni kategoriji, kar kaže SMER ali TEŽIŠČE učenčevega zanimanja in znanja.
Za hitro oceno MOP se mi zdi povsem dovolj, če presodimo ŠTEVILO POJMOV in RAZUMEVANJE (VSEBINSKO USTREZNOST).
Očitno bo treba še razmisliti o tem, katere značilnosti MOP naj presojamo.
Viri:
Suh, Won-Joo (2010) 'Personal Meaning Mapping (PMM): A Qualitative Research Method for Museum Education.' Journal of Museum Education, 4 . pp. 61-82. - http://eprints.soas.ac.uk/8788/

Mreža osebnih pojmov (MOP)

"Mreža osebnih pojmov" ali kratko MOP je moj provizorični naziv za različico pojmovnih mrež (Personal Meaning Mapping, PMM), ki se opira bolj na konstruktivistično pedagoško teorijo kot na pozitivistično. Pojmovna mreža (PM) je za razliko od mreže osebnih pojmov (MOP) vizualna predstavitev "smiselnih odnosov med pojmi v obliki propozicij" (Novak & Gowin, 1984, p. 15), kot je zapisano v enem prejšnjih prispevkov. Pojmovanje navedenih avtorjev je bližje pojmovanju raziskovalcev, ki konstruirajo pojmovne modele in mreže, in ki se skušajo pri tem dosledno držati osnovnega načela, da je PM mreža, ki jo sestavljajo POJMI in POVEZAVE med njimi. Tudi meni je bližje tako dosledno pojmovanje. Tako pojmovanje pa je naletelo na kritiko s pedagoškega vidika (Falk, 2000), češ da temeljijo PM na pozitivističnem pristopu k pedagogiki in da zahtevajo predhodno usposabljanje, kar v realnih izobraževalnih situacijah ni vedno izvedljivo. 

Prvič. Pozitivistični pristop predpostavlja, da se morajo vsi učenci naučiti določene snovi do določene stopnje obvladanja. Ta pristop predpostavlja idealno, popolno pojmovno mrežo, "ekspertno mrežo", ki bi jo sestavili strokovnjaki določenega vsebinskega področja. Po konstruktivističnem pristopu pa ima vsak učenec svojo posebno pojmovno mrežo, mrežo osebnih pojmov s posebnimi povezavami, ki jo dopolnjuje na svoj poseben način. Povedano drugače: vsakdo ima drugačno predznanje, ki si ga je pridobil v drugačnih okoliščinah in s katerim so povezane drugačne izkušnje in doživetja. Drugače si pridobiva novo znanje in na drugih mestih z drugimi pojmi dopolnjuje izhodiščno kognitivno shemo. Pojmi so torej osebna stvar, pri vsakem človeku so povezani z drugačnimi doživljajskimi asociacijami in imajo drugačne čustvene konotacije. Tudi učni napredek je osebna stvar, tako po hitrosti kot po smeri napredovanja. Učitelj naj bi napredek presojal bolj glede na učenčevo izhodišče in manj glede na druge učence ali glede na izobraževalni standard.

Drugič, pojmovnim mrežam (PM) očitajo, da so za didaktično rabo prezahtevne, preveč sestavljene in prekomplicirane. Da bi jih lahko uporabljali pri vsakdanjem pouku, se morajo učenci prej usposobiti. 

Zaradi obeh teh razlogov so predlagali enostavnejšo in bolj individualizirano različico pojmovnih mrež, to so "mreže osebnih pojmov", ki so po mojem občutku nekje med miselnim vzorcem (MV) in pojmovno mrežo (PM).

Učenci izdelajo mrežo osebnih pojmov običajno PRED učno dejavnostjo in PO njej. Učitelj pozove učence, naj na list papirja na sredino napišejo pojem, ki ga on pove kot SPODBUDO za razmišljanje. Okrog tega pojma pa naj zapišejo vse pojme (besede), ki jim pridejo s tem v zvezi na pamet. Potem se z vsakim učencem posebej pogovori o tem, kar je napisal, in doda na shemo svoja dopolnila (z drugo barvo). Po učni dejavnosti učitelj spet pozove učence, naj dopolnijo svojo shemo (pišejo s tretjo barvo), nakar se ponovno pogovarja z vsakim posebej in dopolni njegov izdelek (s četrto barvo).

Možne so različne variante tega postopka (pisanje na tablo, magnetna tabla, uporaba samolepilnih lističev ipd.). Učenci si lahko sheme izmenjajo med seboj.

Te pojmovne sheme potem analiziramo, tako da primerjamo shemo PRED in shemo PO pri istem učencu, in/ali tako, da primerjamo sheme učencev med seboj.

O tem več prihodnjič.

Viri:

Suh, Won-Joo (2010) 'Personal Meaning Mapping (PMM): A Qualitative Research Method for Museum Education.' Journal of Museum Education, 4 . pp. 61-82. - http://eprints.soas.ac.uk/8788/
Falk, J.H. & Dierking, L.D. (2000). Learning from Museums: Visitor Experiences and the Making of Meaning. Walnut Creek, CA: AltaMira Press.

Pojmovne mreže pri evalvaciji

Pojmovne mreže so primerno sredstvo kvalitativne evalvacije učnega procesa. V ta namen učenci izdelajo pojmovno mrežo danega področja PRED učno dejavnostjo (samostojno učenje, učiteljeva razlaga, ogled, raziskovalno delo ipd.), lahko MED njo, in vsekakor PO njej. Primerjava pojmovne mreže pred učno dejavnostjo in po njej pokaže, kaj je učenec pridobil. Učenec lahko v pogovoru z učiteljem dopolnjuje svojo začetno pojmovno mrežo, ali pa učenci skupaj dopolnjujejo mrežo, ki je narisana na tabli.
Pri brskanju po mreži sem naletel na primer uporabe pojmovne mreže pri poučevanju in evalvaciji pouka (Elliot, A., 2009; gl. vire). Učenci 7. in 8. razreda (v JAR) so obiskali astronomski observatorij. Pred tem jim je učitelj dejal, naj narišejo pojmovno mrežo o VESOLJU, ZVEZDAH IN PLANETIH. Ta pojem naj bo v oblačku v središču mreže. Okrog tega naj razporedijo vse pojme, na katere se spomnijo, in naj jih smiselno povežejo. Kar je nastalo, je bolj podobno miselnemu vzorcu kot bolj strogo pojmovani pojmovni mreži. A kot sredstvo evalvacije je prav tako dobro.

Vidimo, da je uporabljenih več barv. Prvotno mrežo, pred obiskom observatorija, so učenci napisali z modro. Potem se je učitelj individualno pogovarjal z učenci. Med pogovorom in po njem je učitelj prvotno mrežo dopolnil oziroma vpisal pripombe na istem listu z drugo barvo (rdečo). Po obisku observatorija so mrežo ponovno dopolnili (sivo). Potem se je učitelj še enkrat pogovarjal z vsakim posebej in mrežo spet dopolnil (zeleno).

Meni se gornja mreža sicer ne zdi dober primer pojmovne mreže, je bolj miselni vzorec, vendar služi svojemu namenu, saj omogoča učencu in učitelju slediti dopolnjevanje znanja o osrednjem pojmu vesolja, zvezd in planetov.

Iz pričujočega primera je razvidno, da so pojmovne mreže učencev zelo individualne. Pedagoška teorija, na kateri temelji ta primer, namreč sodi, da znanje ni nekaj objektivnega, kar bi morali vsi osvojiti na enak način v enaki obliki, ampak da vsak učenec novo znanje povezuje s povsem svojskim obstoječim znanjem. Zato te pojmovne mreže imenujejo "Pojmovne mreže osebnega pomena" (personal meaning map, Falk, 2003); morda bi bil primernejši naziv "Osebna pojmovna mreža" ali "Mreža osebnih pojmov"(MOP).

Viri:

Lelliott, A. (2009). Using Personal Meaning Mapping to gather data on school visits. In Vavoula, G., Pachler, N. & Kukulska-Hulme, A. (Eds) Research Methods in Mobile and Informal Learning. Peter Lang: Oxford 205-220. ISBN 978-3-03911-832-8

http://search.incredimail.com/?q=+using+personal+meaning+mapping+lelliott+ppt&lang=english&cid=1&source=012051320237

http://wiredspace.wits.ac.za/bitstream/handle/10539/4482/Lelliott%20paper%20sent%20pdf.txt?sequence=1 
Falk, J. H. (2003). Personal meaning mapping. In G. Caban, C. Scott, J. H. Falk & L.

Pojmovne mreže

Pojmovne mreže so raziskovalna in didaktična tehnika. Prav na področju vzgoje in izobraževanja so lahko hkrati oboje, tehnika raziskovanja in učenja oziroma poučevanja, naj jih uporabljajo učenci ali učitelji. Tako pa je v načelu tudi na drugih področjih, le da je včasih ta ali oni namen od obeh bolj poudarjen. Raziskovalci so to tehniko najbrž uporabljali od nekdaj za ponazarjanje zvez med pojmi, kot 'uradna' tehnika pa je bila objavljena sorazmerno pozno (Novak & Gowin, 1984; Novak, 1998). Pojmovna mreža je vizualna predstavitev "smiselnih odnosov med pojmi v obliki propozicij" (Novak & Gowin, 1984, p. 15). Propozicije so stavki, ki vsebujejo najmanj dva pojma, ki ju povezujejo besede, s katerimi opisujemo odnos med njima, npr. "SONČNO OBSEVANJE povzroča IZHLAPEVANJE VODE". Ta odnos lahko grafično ponazorimo:

V gornjem primeru trdimo, da gre za vzročno posledični odnos. Pojma pa sta lahko povezana na ta način, da iz enega nastane drugo:

Posebna vrsta pojmovnih mrež so hierarhične pojmovne mreže, ki prikazujejo odnos med nadrejenimi in podrejenimi pojmi, npr.:

Hierarhične pojmovne mreže so priporočljive, saj pomagajo pri razvijanju sposobnosti abstrahiranja, tvorjenja pojmov in vnašajo red v množico pojmov.

Pojme ponazarjamo z liki, kot so krogi, elipse, pravokotniki, kvadrati, 'oblački' ali drugi liki; odnose med njimi pa z ravnimi ali ukrivljenimi črtami, puščicami in podobno. Za oboje lahko uporabimo različne barve. Pojme lahko pišemo na samolepilne lističe ali pa, pri mlajših otrocih, uporabimo sličice predmetov. Sploh se zaradi boljšega razlikovanja in pomnjenja pojmov in odnosov ravnamo po nasvetih, ki veljajo za oblikovanje miselnih vzorcev. 

Če izdelujejo pojmovne mreže, učenci bolje vidijo, kateri pojmi so pomembni in kakšni so odnosi med njimi. Izdelajo si nekakšne kognitivne zemljevide, tako da lažje vidijo celoto. Z njimi nazorno povzamejo, kar so se naučili. Učitelj opazi, česa niso razumeli, kaj jim ni jasno, kje so nesporazumi. Če učenci izdelajo pojmovno mrežo nekega področja pred učiteljevo razlago ali drugo učno dejavnostjo, bolje usmerijo svojo pozornost. Učitelj pa lažje oceni, kaj so v učnem procesu pridobili glede na to, kaj so vedeli prej. S pojmovnimi mrežami učenci naredijo drugim viden proces mišljenja, ki sicer poteka v njihovih glavah in ga drugi ne vidijo. Tako se omogoči in izboljša komunikacija med učenci in sodelovalno učenje.

Že v vrtcu lahko na primeren način navajamo otroke, da si ponazorijo npr. proces kuhanja preproste jedi, ustvarjanja lepljenke. S pojmovno mrežo lahko ponazorimo, da nam krava daje mleko, iz mleka pa izdelujemo jogurt, maslo in sir. Seveda pa so pojmovne mreže, ki jih ustvarjajo raziskovalci, lahko mnogo bolj zapletene.

Viri:
Slovenski internetni:

http://www.zrss.si/pdf/060711110633_pojmovne_mreze_lea_nemec.pdf (pri pouku geografije)
http://www2.pef.uni-lj.si/kemija/upload10_11/1_predavanje__DID_NAR_POJMI.pdf (trije slajdi v obsežnejši PP-predstavitvi )
Drugi:
Novak, Joseph D. (1998). Learning, creating, and using knowledge: Concept maps as facilitative tools in schools and corporations. Mahwah, NJ: Erlbaum.
Novak, Joseph D., & Cañas, Alberto J. (2006). The theory underlying concept maps and how to construct them(Technical report IHMC CmapTools 2006-01). Pensacola: Florida Institute for Human and Machine Cognition (IHMC). Retrieved October 22, 2005, fromhttp://cmap.ihmc.us/Publications/ResearchPapers/TheoryUnderlyingConceptMaps.pdf
Novak, Joseph D., & Gowin, D. Bob. (1984). Learning how to learn. Cambridge: Cambridge University Press.
http://ecrp.uiuc.edu/v8n2/birbili.html 
http://www.columbia.k12.mo.us/she/cncptmap.html