Апробація підручників з органічної хімії та її результати

У розділі 5 «Апробація підручників з органічної хімії та її результати» основну увагу приділено організації та методиці експериментального випробування підручників, розкрито мету, завдання, критерії їх оцінювання, наведено якісний і кількісний аналіз результатів педагогічного експерименту з упровадження підручників.

Водночас багаторічна експериментальна робота з проблеми дослідження охоплювала й інші аспекти навчання органічної хімії: організацію навчального процесу, засоби контролю й оцінювання навчальних досягнень учнів, використання дидактичних матеріалів. Накопичення й аналіз великого за обсягом дослідно-експериментального матеріалу передували розробці і становили підґрунтя хімічної компоненти державного освітнього стандарту, навчальних програм для 11- та 12-річної школи, методики навчання органічної хімії, змісту підручників. Експеримент за темою дослідження мав масовий характер і проводився по всій території України. До аналізу залучалися також матеріали з вивчення навчальних досягнень учнів, яке проводилось Міністерством освіти і науки України за участю автора. Експериментом було охоплено не лише учнів загальноосвітніх навчальних закладів, а й студентів перших курсів педагогічних університетів нехімічних спеціальностей. Мета полягала у виявленні віддалених результатів навчання органічної хімії, зокрема засвоєння загальнокультурного контексту органічної хімії та застосування знань у реальному житті. Аналіз цих матеріалів дав змогу виявити суперечності у чинному змісті хімічної освіти і його методичній реалізації.

Напрями вдосконалення навчання органічної хімії, передбачені гіпотезою дослідження, відбито у змісті розробленого нами навчально-методичного комплекту, до складу якого входять навчальні програми для масової і профільної школи, підручники, дидактичні й довідкові матеріали, методичний посібник, засоби навчання на електронних носіях. Формувальний експеримент зосереджувався на експериментальних підручниках. Усі підручники пройшли державну апробацію у навчальному процесі й експертизу з метою їхньої сертифікації та надання відповідного грифу.

Упродовж 1999/2000 н.р. згідно з наказом Міністерства освіти і науки України від 23.04.1999 р. № 144 проводилася апробація з підручника хімії для 10 класу у Львівській, Миколаївській, Одеській областях, містах Києві, Луганську, Севастополі (разом 18 шкіл). Отримано аналітичні матеріали від 3 методистів та 17 вчителів. У 2000;2001 н.р. (наказ від 06.09.2000 р. № 433/50) проводилася апробація підручника хімії для 11 класу в Закарпатській, Запорізькій, Київській, Кіровоградській, Харківській областях. Надійшли відгуки також з Донецької, Дніпропетровської, Миколаївської, Рівненської та Сумської областей. Підручник випробували 38 учителів з 31 середньої школи та 7 ліцеїв. Крім того, якість підручників оцінювала експертна комісія, до складу якої входили: представник місцевих органів управління освітою, учений-хімік, учений-дидакт, учений-психолог, провідний методист, учителі-методисти або вчителі вищої категорії (2 особи), фаховий редактор, художній редактор.

Для апробації було розроблено пакет експериментальних матеріалів, що містили: анкету для вчителя, таблиці для узагальнення результатів апробації, матеріали для оцінювання підручника експертним методом, відповідні інструкції. У школах, де відбувалась апробація, проводились контрольні роботи з метою виявлення рівня навчальних досягнень учнів. Оцінки експертів, якісні і кількісні результати апробації розглядалися предметною науково-методичною комісією МОН України. За підсумками апробації підручники для масової школи було доопрацьовано, після цього їм надано гриф «Затверджено Міністерством освіти і науки України» .

Упродовж 2000;2005 р.р. підручники для 10 та 11 кл. двічі перевидавались (як доопрацьовані й доповнені). З урахуванням результатів масового впровадження підручників у школах, обговорення їх змісту на семінарах учителів і методистів до цих підручників було розроблено методичний посібник для вчителів, у якому висвітлено основні методичні ідеї дослідження.

Аналіз результатів випробування цих підручників вважаємо некоректним на цьому етапі, оскільки вони використовуються як стабільні з 1999 р. Досвід розробки й випробування цих підручників застосовано нами до підручника «Органічна хімія» для 10−11 класів хімічного профілю та з поглибленим вивченням хімії у загальноосвітніх навчальних закладах.

Апробація цього підручника проводилася протягом 2003;2005 р.р. (згідно з наказом Міністерства освіти і науки України від 25.07.2003 р. № 499) у м. Києві (СШ № 138, ліцей № 142, природничо-науковий ліцей № 145), Великодимерському НВК Броварського району Київської обл., Дніпропетровській (СШ № 20 м. Дніпропетровська, Саксаганський природничо-науковий ліцей м. Кривого Рогу, Олександрівська ЗСШ Дніпропетровського району), Львівській (СШ № 44 м. Львова, Львівська гімназія міжнародних відносин, Львівська медична гімназія), Сумській (гімназія № 1 та НВК № 17 м. Суми, ЗОШ № 8 м. Шостки, Ямпільська ЗОШ № 2 Сумської обл.), Черкаській (Черкаська спеціалізована школа № 3, Черкаський фізико-математичний ліцей, Уманська ЗОШ № 4, природничо-математичний ліцей м. Сміли, Чапаєвська ЗОШ Золотоніського району) областях. В експерименті взяли участь учні дев’яти середніх шкіл, двох НВК, п’яти ліцеїв, трьох гімназій.

На час апробації підручника було скориговано методику дослідження, доопрацьовано анкети для учнів і вчителів, розроблено тексти контрольних робіт у традиційній і тестовій формах, а також таблиці для поелементного аналізу відповідей учнів. Апробація проводилася під контролем методистів обласних інститутів післядипломної педагогічної освіти. Матеріали, що надійшли від апробантів, містили не лише відповіді на контрольні роботи, анкети, а й розгорнуті рецензії учителів і методистів обласних інститутів післядипломної педагогічної освіти, подекуди — посторінковий аналіз матеріалу підручника; є серед них і листи від учнів, які навчалися за підручником. Бралися до уваги не лише контрольні роботи за нашими текстами, а й, де це було можливо, учительські поточні контрольні й самостійні роботи, результати тематичного оцінювання. Учням було запропоновано також тему для творчої роботи.

Зважаючи на те, що проводилася державна апробація підручників, формально це було оцінювання з метою їх сертифікації, тобто надання відповідного грифа Міносвіти, який засвідчував би наявність у підручника необхідних якостей. Сертифікаційне оцінювання розглядаємо як необхідне, але недостатнє, оскільки воно розв’язує питання про допущення підручника лише як експериментального, і в разі негативної оцінки наступне оцінювання втрачає сенс. Вважаємо його першим етапом оцінювання.

З випробуванням на практиці пов’язуємо оцінювання підручника, метою якого є його вдосконалення. Як слушно вказують дослідники проблеми оцінювання підручника, це потребує врахування педагогічних, наукових, структурних, а також технічних аспектів підручника. Таке оцінювання не може бути умоглядним і потребує підґрунтя у формі результатів педагогічного випробування. Отже, ми визначаємо мету оцінювання підручника як регулятивну, яка може реалізуватися шляхом педагогічного експерименту й аналізу його результатів.

Ставилося завдання зібрати повну, істотну, достовірну й вірогідну інформацію, а саме: повна інформація — та, яку можна отримати від учителів, учнів, які безпосередньо брали участь в експерименті, спеціально визначених експертів, серед яких науковці, редактори, видавці, дидакти, методисти; істотна — та, що стосується змісту підручника та рівня навчальних досягнень учнів; достовірна — досягається завдяки використанню результатів контрольних опитувань з предмета й анкетування; вірогідна — отримання інформації забезпечувалось статистичною достатністю вибірки даних трьома різними методиками (використанням принципу тріангуляції (Ф.-М.Жерар, К. Роеж'єр)), а саме проведення бесід, анкетування, контрольних зрізів знань. Використовувались також дві різні методики математичної обробки даних.

У педагогічному експерименті з упровадження підручника ми використали як якісний, так і кількісний аналіз результатів. Безперечно, висновки спеціально визначених експертів, учителів, учнів мають якісний характер. Проте їхні оцінки можна інтерпретувати як рейтингові, у кількісних показниках. Щодо визначення рівня навчальних досягнень учнів, то вони піддаються кількісній інтерпретації за відомими методиками.

У загальному вигляді якісні критерії оцінювання полягають у відповідності підручника навчальній програмі й належному науковому рівню, соціально-культурному наповненні змісту, методичній обґрунтованості структури і змісту, що розкривається через функції, які виконує підручник: надання знань; розвитку умінь і навичок; закріплення знань; оцінювання знань; допомоги в інтеграції знань; довідкова; соціального та культурного виховання. Перелічені критерії становлять основу матриці оцінювання підручника експертами. Параметри, визначені в матриці, деталізувалися в анкетах для безпосередніх учасників навчального процесу вчителів та учнів. Це уможливило докладний аналіз підручника за даними анкетування.

Оскільки нас цікавило не лише схвалення чи несхвалення підручника загалом, а й окремі його параметри, то матриця оцінювання аналізувалася різнобічно, оцінки групувалися так: а) сильні сторони підручника; б) що потребує зміни за будь-яких умов; в) що потребує доповнення; г) що потребує вилучення; д) інші зауваження.

Контрольні роботи проводили з дотриманням вимог до статистично достовірних даних. З метою забезпечення масового характеру експерименту було прийнято визначене в літературі число спостережень, які дають змогу робити статистичні висновки із заданим рівнем значущості. Якщо прийняти, що середні результати дослідження не повинні відхилятись більш ніж на 5% від істинного математичного очікування, то цьому рівню відповідає число 384. В експерименті брали участь близько 900 учнів. Відповіді на анкети подали близько 400 учнів і 19 учителів.

З метою встановлення рівня навчальних досягнень учнів, які навчалися за підручником, було проаналізовано їхні відповіді на завдання традиційних контрольних робіт і в тестовій формі. Завдання розроблялися в лабораторії хімічної і біологічної освіти Інституту педагогіки АПН України у рамках планової теми науково-дослідної роботи, пройшли експертну оцінку вчителів та методистів, експериментальну перевірку в школі, після цього доопрацьовані й сертифіковані як валідні й надійні. Учителям надавалися таблиці, необхідні для аналізу. Результати контрольних замірів аналізувалися також з якісного боку. Оцінні судження учнів щодо підручника ми аналізували за відповідями на запитання анкети.

Коефіцієнт засвоєння знань обчислювали за формулою (А.А.Киверялг):

Де.

Щоб забезпечити об'єктивність інтерпретації результатів експерименту, ми проводили також вибіркові паралельні обчислення коефіцієнта засвоєння знань за іншою методикою, розробленою спеціально для оцінювання відповідей на завдання в тестовій формі з вибірковою відповіддю. Обчислення виконувались за формулою (П.А.Ротаєнко):

Оцінка за 12-бальною системою дорівнює 12б.

Результати виконання підсумкових контрольних робіт подано на рис. 1 і 2. Дані, здобуті за двома методиками, виявляються тотожними. Перерахунок даних за 12-бальною системою, отриманих за формулою (1), показує середній бал 9,7 для 10 класу та 9,6 для 11 класу, а за формулою (2) відповідно 9,5 (б=79) і 9,4 (б=78). Отже, показники засвідчують верхню межу достатнього рівня навчальних досягнень учнів.

Було визначено рівень засвоєння учнями наскрізних питань курсу: склад і будова молекул, ізомерія та номенклатура сполук, хімічні властивості, застосування речовин. Відповіді на питання контрольних робіт (у балах) ми згрупували за цими характеристиками й отримали результати, подані на рис. 3. Наведені дані свідчать про порівняно нижчий рівень засвоєння ізомерії та номенклатури органічних сполук. Це узгоджується з даними опитування вчителів і учнів, які вказують на необхідність доповнення змісту підручника тренувальними вправами на ізомерію, складання формул сполук за їхніми назвами та навпаки.

Запитання анкети для вчителів групувалися за такими рубриками: зміст, структура, методичний апарат, мова, оформлення, поліграфічне виконання підручника. Якісний аналіз відповідей, як зазначалося, мав на меті виявити сильні й слабкі сторони підручника. Дані засвідчують загалом високу оцінку підручника вчителями (середній коефіцієнт — 0,89): зміст — 0,88; структура — 0,9; методичний апарат — 0,9; мова — 0,97; оформлення — 0,86; поліграфічне виконання — 0,85. Оцінка учнів коливається в межах 10,5 балів за 12-бальною системою.

Нас цікавила кореляція між даними, отриманими від учителів та учнів. Перед останніми не ставилося завдання оцінити в балах окремі параметри підручника, але вимагалося виявити загальне ставлення до підручника та його придатність для самостійної роботи. Аналіз відповідей учнів засвідчує, що вони, як і вчителі, пропонують доповнити зміст підручника завданнями в тестовій формі, тренувальними вправами, зокрема на складання рівнянь реакцій, цікавим матеріалом, описом застосування речовин, різноманітними додатками. Вказують на необхідність поліпшити брошурування книжки, замінити обкладинку на тверду, додати кольорові ілюстрації.

Надання сучасному підручнику функції самоосвіти спонукало нас винести це питання на обговорення і учнями, і вчителями. Аналіз відповідей цих двох категорій опитуваних, що стосуються самостійного опрацювання матеріалу підручника, наведено в табл. 3 і 4. З аналізу даних робимо висновок, що частина учнів певною мірою використовують, крім підручника, додаткову літературу. Вважаємо, що треба брати до уваги те, що опитувались учні ліцеїв, гімназій, спеціалізованих класів хімічних профілів, де робота з додатковою літературою традиційно заохочується.

Експертне оцінювання підручника вчителями та відповіді учнів на анкети виявили такі його позитивні характеристики: відповідність навчальній програмі, науковим концепціям, історичний аспект, зв’язок з практикою, придатність для самостійного опрацювання, розкриття внутрішньоі міжпредметних зв’язків, функції надання, закріплення знань, соціального і культурного виховання; узгодженість структури з логікою викладу, доцільність передмови, висновків після параграфів, узагальнень хімічних властивостей, практичних робіт, задовільність обсягу; поетапний спосіб викладу матеріалу; відповідність рівню підготовки учнів з позицій науковості; точність, зрозумілість мови; підбір шрифтів, виділень.

Недоліком підручника є недостатня кількість розрахункових задач і вправ різних рівнів складності, у тому числі творчих. Було виявлено, що потребує розширення довідковий апарат підручника, додатки, доцільно включити цікаві оповіді про речовини, поліпшити якість поліграфічного оформлення.

Таблиця 3. Аналіз відповідей учнів на запитання анкет.

Таблиця 4. Аналіз відповідей учителів на запитання анкет.