Towards criterion validity in classroom language analysis: methodological constraints of metadiscourse and inter-rater agreement

T O W A R D S C R I T E R I O N V A L I D I T Y I N C L A S S R O O M

L A N G U A G E A N A L Y S I S : M E T H O D O L O G I C A L

C O N S T R A I N T S O F M E T A D I S C O U R S E

A N D I N T E R - R A T E R A G R E E M E N T

D o u g l a s A l t a m i r o C O N S O L O2

• ABSTRACT: This paper reports on a process to validate a revised version of a system for coding classroom discourse i n foreign language lessons, a context i n w h i c h the dual role of language (as content and means of communication) and the speakers' specific pedagogical aims lead to a certain degree of a m b i g u i t y i n language analysis. The language used by teachers and students has been extensively studied, and a framework of concepts concerning classroom dis-course well-established. Models for coding classroom language need, however, to be revised w h e n they are applied to specific research contexts. The applica-tion and revision of an initial framework can lead to the development of earlier models, and to the re-definition of previously established categories of analysis that have to be validated. The procedures followed to validate a coding system are related here as guidelines for conducting research under similar circum-stances. The advantages of using instruments t h a t incorporate t w o types of data, that is, quantitative measures and qualitative information from raters' metadiscourse, are discussed, and i t is suggested that such procedure can con-tribute to the process of validation itself, towards a t t a i n i n g reliability of research results, as w e l l as indicate some constraints of the adopted research methodology.

• KEYWORDS: Discourse analysis; classroom discourse; metadiscourse; valida-tion; reliability.

1 A n e a r l i e r v e r s i o n of t h i s p a p e r w a s p r e s e n t e d i n t h e p o s t e r s e s s i o n at t h e X I A I L A W o r l d C o n -gress, Jyvâskylà, F i n l a n d , 4-9 A u g u s t 1996.

2 D e p a r t a m e n t o de L e t r a s M o d e r n a s - I n s t i t u t o d e Biociências, L e t r a s e Ciências E x a t a s - U N E S P - 15054-000 - São José d o Rio Preto - SE E - m a i l : d c o n s o l o @ I e m . i b i l c e . u n e s p . b r .

C a t e g o r i z a t i o n of discourse a c t s

i n c l a s s r o o m interaction

T h i s p a p e r r e p o r t s o n a p r o c e s s to v a l i d a t e a s y s t e m for c o d i n g c l a s -s r o o m d i -s c o u r -s e i n f o r e i g n l a n g u a g e l e -s -s o n -s . T h e c a t e g o r i e -s o f a n a l y -s i -s for t e a c h e r t a l k a n d s t u d e n t s p e e c h p r o p o s e d for v a l i d a t i o n i n t h i s s t u d y w e r e a d a p t e d f r o m a r a n g e o f m o d e l s a n d s t u d i e s o n c l a s s r o o m d i s -c o u r s e ,3

m a i n l y f r o m t h e c a t e g o r i e s d e v i s e d i n e a r l i e r m o d e l s t o c l a s s i f y a n d d e s c r i b e d i f f e r e n t c o m m u n i c a t i v e a i m s a n d p e d a g o g i c a l p u r p o s e s o f t e a c h e r t a l k a n d s t u d e n t s p e e c h . T h e t y p o l o g y o f d i s c o u r s e c a t e g o r i e s d e a l t w i t h i n t h i s p a p e r i s b a s e d o n t h e w o r k o f C o n s o l o (1996), a n e x t e n -d e -d a n -d r e v i s e -d v e r s i o n o f a m o -d e l o r i g i n a l l y p r o p o s e -d b y S i n c l a i r & C o u l t h a r d (1975, 1992) for a n a l y s i n g c l a s s r o o m i n t e r a c t i o n .

T h e u n i t s o f a n a l y s i s a t t h e l o w e s t r a n k o f d i s c o u r s e are c a l l e d " c o m m u n i c a t i v e a c t s " . B e y o n d t h e i r f o r m a l s y n t a c t i c a n d p h o n o l o g i c a l p r o -p e r t i e s , a c t s are l i n g u i s t i c i t e m s a t t h e l e v e l o f d i s c o u r s e , t h a t is, t h e y are a n a l y s e d a c c o r d i n g t o t h e f u n c t i o n a l p r o p e r t i e s w i t h w h a t s p e a k e r s u s e a c t s for.

O n e a s s u m p t i o n i n t h i s c a t e g o r i z a t i o n o f d i s c o u r s e e l e m e n t s is t h a t t h e d i s c o u r s e v a l u e o f a n a c t d e p e n d s o n w h a t a c t s h a v e p r e c e d e d i t , w h a t are e x p e c t e d t o f o l l o w , a n d t h e w a y a c t s r e l a t e t o e a c h other. S u c h s e q u e n t i a l r e l a t i o n s h i p i s c o n s i d e r e d t o a n a l y s e t h e d i s c o u r s e s t r u c t u r e b y m e a n s o f c a t e g o r i e s d e f i n e d n o t o n l y s t r u c t u r a l l y , b u t a l s o for c l a s s r o o m s p e c i f i c s i t u a t i o n s . T h e s o c i o l i n g u i s t i c c o n t e x t o f f o r m a l EFL l e s -sons, i n c l u d i n g n o n - v e r b a l b e h a v i o u r a n d p a r a l i n g u i s t i c a s p e c t s o f t h e e n v i r o n m e n t d e t e r m i n e t h e s t r u c t u r a l a n d f u n c t i o n a l c a t e g o r i e s i n c l a s s -r o o m d i s c o u -r s e ( h e n c e f o -r t h CD). T h e -r e l e v a n t " n o n - l i n g u i s t i c " f a c t o -r s t o i n f l u e n c e t h e p r o d u c t i o n a n d a n a l y s i s o f c l a s s r o o m l a n g u a g e - t h e s o c i a l c o n v e n t i o n s o f t h e e n v i r o n m e n t a n d t h e s h a r e d e x p e r i e n c e o f t h e s p e a k e r s - a r e t r e a t e d i n t h e S i n c l a i r & C o u l t h a r d ( h e n c e f o r t h S&C) m o d e l (1975) as " s i t u a t i o n " . S u c h f a c t o r s i m p l y a n a n a l y s i s o f l a n g u a g e a n d i n t e r a c t i o n i n EFL l e s s o n s b a s e d o n t h e a w a r e n e s s o f s o c i a l , p e d a -g o -g i c a l , p s y c h o l o -g i c a l a n d l i n -g u i s t i c a s p e c t s o f c l a s s r o o m i n t e r a c t i o n .

A c t s c o n s t i t u t e t h e n e x t h i g h e r r a n k o f d i s c o u r s e c a t e g o r i e s , d e f i n e d as " m o v e s " . T h e s e c a t e g o r i s e t h e t y p i c a l i n t e r a c t i o n a l I n i t i a t i o n -R e s p o n s e - F o l l o w u p (I-RF) s t r u c t u r e o f l e s s o n s , w h i c h p r e d i c t s s t u d e n t m o v e s as r e s p o n s e s (R) t o t h e t e a c h e r ' s i n i t i a t i o n s (I). S t u d e n t s p e e c h is u s u a l l y e v a l u a t e d b y t h e t e a c h e r , i n f o l l o w u p (F) m o v e s . A d i f f e r e n t i a

-Fot a d e t a i l e d r e p o r t o n t h e d e v e l o p m e n t of t h e c o d i n g s y s t e m d e a l t w i t h h e r e , see C o n s o l o 1996 p . 1 4 4 - 8 7 ( C h a p t e r 4)

t i o n is m a d e i n t h e s y s t e m p r o p o s e d b y C o n s o l o (1996) b e t w e e n T T a n d s t u d e n t s p e e c h a t t h e r a n k o f m o v e s b y u s i n g t h e l a b e l s Is, Fs a n d Rt for i n i t i a t i o n s (Is) a n d f o l l o w - u p m o v e s (Fs) p r o d u c e d b y s t u d e n t s , a n d resp o n s e s g i v e n b y t h e t e a c h e r (Rt), i n o r d e r t o a n a l y s e t h e s resp e c i f i c c o n t r i -b u t i o n s o f t e a c h e r s a n d s t u d e n t s t o CD.

T h e i n t e r a c t i o n a l u n i t is d e f i n e d as a n e x c h a n g e , w h i c h is d e t e r m i -n e d b y t h e o c c u r r e -n c e o f a -n I or I s m o v e . E x c h a -n g e s c o m b i -n e t o f o r m t r a n s a c t i o n s . T h e i d e n t i f i c a t i o n of a t r a n s a c t i o n b o u n d a r y u s u a l l y c o i n -c i d e s w i t h t o p i -c -c h a n g e , t h a t m a y b e m a r k e d b y b o u n d a r y m o v e s s u -c h as F r a m e (Fr) a n d Focus (Fo). T r a n s a c t i o n s differ f r o m e x c h a n g e s i n t h a t w h i l e i t is p o s s i b l e t o e s t a b l i s h i n t e r n a l p a t t e r n s a n d a c a t e g o r i z a t i o n for e x c h a n g e s ,4

l i t t l e c a n be s a i d ab | o u t t h e p a t t e r n s for t h e i n t e r n a l s t r u c -t u r e o f -t r a n s a c -t i o n s . T r a n s a c -t i o n s c o m b i n e -t o f o r m l e s s o n s , -t h e h i g h e s -t u n i t o n t h e r a n k s c a l e for a n a l y s i n g CD.

T h e a c t s w h i c h c a t e g o r i s e t h e f u n c t i o n s o f c l a s s r o o m l a n g u a g e , as p r o d u c e d b y t e a c h e r s a n d s t u d e n t s , are p r e s e n t e d b e l o w :5

1. Maker { m r k } 15.5 Informative reply { i - r p l } 2. Starter { s t r } 15.Ł i. Offer reply { o - r p l } 3. E l i c i t a t i o n { e l i } 16. Rect { r e a }

4. Comprehension check { c p - c h k } 17. Protest { p r o } 5. Confirmation check { c f - c h k } CO Correction { c o r } 6. Clarification { c l a } 19. Evaluate { e v l } 7. Directive { d i r } 20. Metastatement { m s t } 8. Informative { i n f } 2 1 . Apology { a p l }

9. Comment { c o m } 22. Tank { t h k }

10. Clue { c l u } 23. Encouragement { e c g }

11. M o d e l { m d l } 24. Conclusion { c o n }

12. Bid { b i d } 25. Terminate { t e r }

13. N o m i n a t i o n { n o m } 26. Greeting { g r t } 14. A c n o w l e d g e { a c k } 27. Parting { p r t } 15.1. Affirmative reply { y - r p l } 28. Aside { a s i } 15.2. Negative reply { n - r p l } 29. Translation { t r l }

15.3. Choice reply { c - r p l } 30. Rhetorical aquestion { r t q } 15.4 Repetition reply { r p - r p l }

4 V a r i o u s p a t t e r n s , s u c h as IP, a n d I { R F } " , d e r i v e d from t h e b a s . c I R F s t r u c t u r e are p r e s e n t e d in S i n c l a i r & C o u t h h a r d (1975) a n d C o n s o l o (1996).

5 For t h e d e f i n i t i o n s of t h e acts, see C o n s o l o , 1996, p . 1 7 0 - 8 5 .

T h e n e x t s e c t i o n r e p o r t s o n a p r o c e s s t o v a l i d a t e t h e r e v i s e d v e r s i o n of t h e S&C m o d e l p r o p o s e d b y C o n s o l o (1996), f o c u s i n g a t t h e r a n k o f t h e c o m m u n i c a t i v e a c t s l i s t e d a b o v e . T h e v a l i d a t i o n o f t h e s e r e v i s e d c a t e g o r i e s o f a n a l y s i s is e s s e n t i a l t o s u p p o r t t h e r e s u l t s a n d f u r t h e r i m p l i c a -t i o n s o f s u c h a s -t u d y , s i n c e i -t s a c h i e v e m e n -t s w i l l h a v e b e e n r e a c h e d t h r o u g h c r i t e r i a o t h e r t h a n t h o s e p r e s c r i b e d b y t h e o r i g i n a l m o d e l .

V a l i d a t i o n of categories of a n a l y s i s

T h e v a l i d i t y a n d r e l i a b i l i t y o f o b s e r v a t i o n a l p r o c e d u r e s , a n d o f c a t e -g o r i e s o f a n a l y s i s , a r e k e y i s s u e s i n r e s e a r c h . A m a j o r a i m i n c l a s s r o o m r e s e a r c h is, a c c o r d i n g t o C h a u d r o n (1988, p . 2 3 ) ,

to produce descriptions and interpretations of classroom events, and the rela-tionships between them, that w i l l be identified by others as real and meaning ful for teachers, learners, and learning.

T h e a s s u m p t i o n a b o v e is f o l l o w e d i n t h i s s t u d y w i t h r e g a r d t o t h e d e s c r i p t i o n o f h o w t e a c h e r s a n d s t u d e n t s e n g a g e i n v e r b a l i n t e r a c t i o n i n EFL l e s s o n s , a n d t o t h e e x t e n t w h i c h c l a s s r o o m o b s e r v a t i o n , r e c o r d e d l e s s o n s a n d t r a n s c r i p t s c a n r e v e a l t h e m e a n i n g s a n d g o a l s o f t h a t t y p e of i n t e r a c t i o n ( S t u b b s , 1983).

V a l i d i t y a n d r e l i a b i l i t y i n d a t a a n a l y s i s a r e f o c u s e d o n a n d i n v e s t i g a t e d h e r e for a n u m b e r o f reasons. Firstly, since b o t h q u a l i t a t i v e a n d q u a n -t i -t a -t i v e a p p r o a c h e s w e r e f o l l o w e d -t o c o l l e c -t a n d a n a l y s e -t h e d a -t a c o r p u s a s s e m b l e d b y C o n s o l o (1996), t h e r e s e a r c h d e s i g n a n d m e t h o d o l o g y i n c l u d e d d i f f e r e n t p r o c e d u r e s a n d r e s e a r c h i n s t r u m e n t s . A s a r e s u l t , d i f f e -r e n t t y p e s o f i n f o -r m a t i o n , fo-r e x a m p l e , c l a s s -r o o m d a t a o b t a i n e d b y m e a n s of a u d i o - r e c o r d i n g s a n d b y d i r e c t o b s e r v a t i o n , w e r e c o m b i n e d i n l e s s o n t r a n s c r i p t s . T h e w a y s u c h i n f o r m a t i o n w a s g a t h e r e d a n d p u t t o g e t h e r b y t h e r e s e a r c h e r a l o n e is l i k e l y t o f a v o u r d e v i a t i o n s b e t w e e n t h e n a t u r e o f p h e n o m e n a , as t h e y o c c u r i n t h e f i e l d , a n d t h e i r i n t e r p r e t e d v e r s i o n s ( L a m p e r t & E r v i n - T r i p p , 1993; Ochs, 1979). R e c o r d i n g s r e v e a l c l a s s r o o m p h e n o m e n a w i t h a c o n s i d e r a b l y h i g h d e g r e e o f r e l i a b i l i t y . D a t a f r o m f i e l d n o t e s a n d t r a n s c r i p t s , o n t h e o t h e r h a n d , a r e a f f e c t e d b y i n t e r v e n -i n g f a c t o r s c o n c e r n -i n g t h e o b s e r v e r ' s -i n t e r p r e t a t -i o n o f p h e n o m e n a , as w e l l as h i s or h e r i n t e r p r e t a t i o n o f r e c o r d i n g s w h i l e l e s s o n t r a n s c r i p t s are p r o d u c e d . T h e s e f a c t o r s c a n m a k e r e s e a r c h o u t c o m e s s u b j e c t i v e a n d less r e l i a b l e , t h u s l i m i t i n g g e n e r a l i z a t i o n o f r e s u l t s ( L a m p e r t & E r v i n -T r i p p , 1993; -T e s c h , 1990).

T w o " v a l i d a t i o n s e s s i o n s " , r e f e r r e d t o as v a l i d a t i o n s e s s i o n s 1 (VS1) a n d 2 (VS2) w e r e c a r r i e d o u t so as t o v e r i f y t h e v a l i d i t y a n d t h e r e l i a b i l i t y of p a r t o f t h e s y s t e m o f c a t e g o r i e s u s e d t o c o d e l e s s o n t r a n s c r i p t s . D u e t o p r a c t i c a l c o n s t r a i n t s i n h a v i n g a l l c a t e g o r i e s o f d a t a a n a l y s i s v a l i d a -t e d , -t h e d e c i s i o n w a s -t o p r o c e e d w i -t h u s i n g p a r -t o f -t h e c o d i n g s y s -t e m i n t h e s a m e w a y t h o s e c a t e g o r i e s h a d b e e n u s e d t o c o d e d a t a i n e a r l i e r s t u -d i e s . C a t e g o r i e s s u c h as e x c h a n g e s a n -d m o v e s6

h a v e t h e r e f o r e n o t b e e n f u l l y v a l i d a t e d n e i t h e r i n V S l n o r i n VS2. R a t e r s w e r e a s k e d t o f o c u s o n t h o s e c a t e g o r i e s t h a t h a d b e e n s u b j e c t t o a d j u s t m e n t a n d r e d e f i n i t i o n , as f r o m t h e p i l o t s t u d y a n d t h e p r e l i m i n a r y d a t a a n a l y s i s c a r r i e d o u t b y C o n s o l o ( 1 9 9 6 ) ,7

a l l a t t h e r a n k o f a c t s .

V S l a n d VS2 a i m e d a t (1) t h e t r a i n i n g o f e x t e r n a l r a t e r s t o u s e t h e s y s t e m o n l e s s o n t r a n s c r i p t s , a n d (2) t o h a v e t h e r a t e r s c o d e s a m p l e s o f d a t a , t h a t is, e x t r a c t s f r o m l e s s o n t r a n s c r i p t s , b y f o l l o w i n g s p e c i f i c d e s -c r i p t i o n s o f t h e -c a t e g o r i e s o f a n a l y s i s .

For V S l , e i g h t p r o f e s s i o n a l s ( t e a c h e r s a n d / o r r e s e a r c h s t u d e n t s ) w o r k i n g i n t h e a r e a s o f ELT/ELT w e r e c o n t a c t e d r e g a r d i n g t h e i r v o l u n -t a r y c o n -t r i b u -t i o n -t o v a l i d a -t e -t h e s y s -t e m o f c a -t e g o r i e s o f a n a l y s i s i n -t h i s i n v e s t i g a t i o n . H o w e v e r , o n l y four o f t h e m w e r e a c t u a l l y p r e s e n t i n t h e s e s s i o n . T h e " e x t e r n a l r a t e r s " i n V S l a r e r e f e r r e d t o as r a t e r 1, r a t e r 2 , r a t e r 3 a n d r a t e r 4.

R a t e r 1 a n d r a t e r 2 a r e n a t i v e s p e a k e r s o f E n g l i s h , a n d h a d b e e n w o r k i n g i n ELT for m a n y y e a r s w h e n t h e y t o o k p a r t i n V S l . R a t e r 1 h o l d s a n M A i n TEFL, a n d h a d b e e n f o r m a l l y e x p o s e d t o s o m e o f t h e t h e o r e t i c a l b a c k g r o u n d r e v i e w e d for t h i s s t u d y w h i l e s h e d i d h e r M A . R a t e r 2 w a s w o r k i n g t o w a r d s h i s M A i n TEFL w h e n t h e v a l i d a t i o n s e s s i o n w a s car-r i e d o u t . H e h a d p car-r e v i o u s l y w o car-r k e d i n ELT i n B car-r a z i l , w h i c h m e a n s n o t o n l y d o e s h e s p e a k s o m e P o r t u g u e s e , b u t a l s o h e is f a m i l i a r i z e d w i t h t h e t e a c h i n g c o n t e x t s i n v e s t i g a t e d h e r e .

R a t e r 3 a n d r a t e r 4 w e r e w o r k i n g o n t h e i r d o c t o r a l t h e s e s a t t h e t i m e . R a t e r 3 s p e a k s E n g l i s h as L 2 , a n d h i s r e s e a r c h w a s i n t h e a r e a o f s p o k e n E n g l i s h . R a t e r 4 i s a n o n - n a t i v e s p e a k e r o f E n g l i s h . B o t h o f t h e m are p r o f i c i e n t i n t h e E n g l i s h l a n g u a g e .

B o t h t h e t r a i n i n g o f r a t e r s a n d t h e c o d i n g o f d a t a s a m p l e s w e r e car-r i e d o u t o n t h e s a m e o c c a s i o n d u e t o t h e c o n s t car-r a i n t s i m p o s e d o n c o u n t i n g o n v o l u n t a r y e x t e r n a l c o o p e r a t i o n . A c o m m o n p r o b l e m is t o a s s o c i a t e t h e

6 A s for t h e d i s t i n c t i o n b e t w e e n m o v e s i n T T ( I , Rt a n d F) a n d i n s t u d e n t s p e e c h (Is, R a n d Fs), t h e c h a r a c t e r i s t i c s of t h o s e m o v e s w e r e c l e a r l y u n d e r s t o o d b y r a t e r s i n b o t h V S l a n d V S 2 . 7 See C o n s o l o . 1996, p.105 12.

p r a c t i c a l i t i e s of h a v i n g t h e r e q u i r e d p h a s e s o f t r a i n i n g r a t e r s a n d v a l i d a t i n g c a t e g o r i e s o f a n a l y s i s o n d i f f e r e n t o c c a s i o n s , w i t h t h e l i t t l e a v a i l a b i l i t y o f f e r e d b y m o s t p r o f e s s i o n a l s w h o m a t c h t h e n e c e s s a r y s t a n -d a r -d s t o b e e x t e r n a l r a t e r s .8

I f " w e l l - t r a i n e d a n d l i k e - m i n d e d c o d e r s " ( L a m p e r t & E r v i n - T r i p p , 1993, p . 196) a r e d e s i r a b l e , f a v o u r a b l e c o n d i t i o n s are t o b e e s t a b l i s h e d so as t o t r a i n r a t e r s p r o p e r l y . T h e t r a i n i n g o f r a t e r s 1 4 i n V S l w a s c o n c e n -t r a -t e d i n a s h o r -t -t i m e s l o -t ; -t h a -t o n e or p o s s i b l y -t w o r a -t e r s d i d h a v e n o -t l e a r n e d e n o u g h a b o u t t h e c a t e g o r i e s o f a n a l y s i s is s t r o n g l y s u g g e s t e d b y u n s a t i s f a c t o r y r e s u l t s i n t h e i r u s i n g t h e c o d e s w h i c h r e s u l t e d i n l o w l e v e l s o f a g r e e m e n t , as r e p o r t e d b e l o w .

T h e preparation of m a t e r i a l s

T h e s a m p l e s f r o m l e s s o n t r a n s c r i p t s u s e d t o v a l i d a t e t h e c a t e g o r i e s of a n a l y s i s i n c l u d e d b o t h p l a i n a n d c o d e d t r a n s c r i p t s ; t h e s e h a d b e e n r a n d o m l y s e l e c t e d f r o m t h e c o r p u s , a c c o r d i n g t o t h e c r i t e r i a e x p l a i n e d b e l o w .

S a m p l e s w e r e f r o m t e n w h o l e l e s s o n s p r e v i o u s l y t r a n s c r i b e d a n d c o d e d b y t h e researcher. T h e t u r n w a s i n i t i a l l y a d o p t e d as a n i n t e r a c t i o n a l r e f e r e n c e w i t h i n t h e t r a n s c r i b e d lessons, s i n c e i t c a n b e c l e a r l y i d e n t i f i e d as a u n i t of s p o k e n l a n g u a g e a n d v e r b a l i n t e r a c t i o n ( t h i s r e s e m -b l e s t h e p a t h f o l l o w e d -b y S i n c l a i r a n d C o u l t h a r d , 1975, t o w a r d s t h e d e f i n i t i o n o f m o v e s ) , t o b e c o d e d i n t e r m s o f m o v e s a n d a c t s . M o r e s p e -c i f i -c a l l y , t e n s e q u e n -c e s o f t w e n t y t u r n s e a -c h w e r e s e l e -c t e d f r o m t h e t o t a l o f 6 5 5 8 t u r n s c o n t a i n e d i n t e n l e s s o n t r a n s c r i p t s . T h e t o t a l n u m b e r of t u r n s w a s a d j u s t e d t o 6 5 6 0 , f r o m w h i c h 328 t w e n t y - t u r n s e q u e n c e s w e r e o b t a i n e d . For e x a m p l e , t u r n s 0 0 1 - 0 2 0 w e r e f r o m " L e s s o n 1 " a n d s t a n d as " s e q u e n c e 0 0 1 " . T u r n s 6 5 4 0 - 6558, f r o m " L e s s o n 1 0 " ,9

s t a n d as " s e q u e n c e 3 2 8 " .

T h e t e n s e q u e n c e s r a n d o m l y c h o s e n ( b y r e f e r r i n g t o a t a b l e of r a n -d o m n u m b e r s ) are i n -d i c a t e -d i n T a b l e 1 b e l o w :

8 T h o s e f a c t o r s a p p l y t o l i m i t e d a v a i l a b i l i t y u n d e r t h e c o n d i t i o n s of " v o l u n t a r y p a r t i c i p a t i o n " i n r e s e a r c h . T h e p r o b l e m m a y be e l i m i n a t e d b y h a v i n g p a r t i c i p a n t s ' a v a i l a b i l i t y a n d p r o f e s s i o n a l c o m m i t m e n t i n r e t u r n to p a i d w o r k .

9 T h e l a b e l s " L e s s o n 1 - L e s s o n 10" for s a m p l e s u s e d i n t h e v a l i d a t i o n s e s s i o n s are d i s t i n c t f r o m t h e l a b e l s L E S 1, LES2, LES3 a n d so o n , r e f e r r i n g t o l e s s o n s t a u g h t b y e a c h teacher.

T a b l e 1 - V a l i d a t i o n sessions: s a m p l e s e q u e n c e s ( f r o m a u d i o - r e c o r d e d l e s s o n s )

Teacher1 0

/Lesson Turns Sequences ( n u m b e r i n g 001-328)

NSl/"Lesson 1" 400 -420 1 (020)

421 - 4 4 0 2 (021)

441 - 4 6 0 3 (022)

N N S l / " L e s s o n 2" 021 - 0 4 0 4 (028)

281 - 3 0 0 5 (041)

NNS4/"Lesson 8" 141 - 160 6 (229)

581 - 6 0 0 7 (251)

721 - 7 4 0 8 (258)

NS2-ADV3/"Lesson 9" 001 - 020 9 (268)

601 - 620 10 (298)

F u r t h e r d e c i s i o n s c o n c e r n i n g t h e u s e o f t h e s e l e c t e d s a m p l e s s u c h as w h i c h s a m p l e s w o u l d b e m o r e s u i t a b l e for t r a i n i n g r a t e r s or for v a l i -d a t i n g t h e c a t e g o r i e s , a n -d t h e a c t u a l o p e r a t i o n a l i z a t i o n o f t h e t r a i n i n g a n d t h e c o d i n g p h a s e s i n t h e v a l i d a t i o n s e s s i o n , l e d t o t h e f i n a l c h o i c e o f s i x s a m p l e s , t h r e e o f w h i c h are p r e s e n t e d i n A p p e n d i c e s 1-3.

W o r k i n g m a t e r i a l s ( b o o k l e t s w i t h d e f i n i t i o n s1 1

a n d e x a m p l e s , h a n -d o u t s w i t h t h e s e l e c t e -d s e q u e n c e s ) w e r e p r e p a r e -d a n -d u s e -d for t r a i n i n g raters, a n d for t h e c h e c k i n g o n t h e r e l i a b i l i t y o f t h e c a t e g o r i e s o f a n a l y s i s .

T h e t r a i n i n g p h a s e

A f u l l y c o d e d s a m p l e ( A p p e n d i x 1) w a s t h e d e p a r t u r e p o i n t for p r e -s e n t i n g t h e c o d e -s for t r a n -s c r i p t i o n a n d e x a m p l e -s o f t h e c a t e g o r i e -s of a n a l y s i s ( e x c h a n g e s , m o v e s a n d a c t s ) . T h e s a m p l e i n A p p e n d i x 2 w a s u s e d for t r a i n i n g r a t e r s t o d o t h e c o d i n g o f m o v e s a n d a c t s . T h e a u d i o t a p e s w e r e a l s o p l a y e d i n t h e v a l i d a t i o n s e s s i o n s so as t o i l l u s t r a t e v a r i a

-10 Teachers i n v o l v e d i n C o n s o l o ' s (1996) s t u d y are n a t i v e speakers (NS) a n d n o n - n a t i v e s p e a k e r s ( N N S ) of E n g l i s h .

11 A s p r e s e n t e d i n C o n s o l e 1996, p . 1 7 1 8 6 . I n V S 1 , r a t e r s h a d t o g e t a c c q u a i n t e d w i t h t h e d e f i n i -t i o n s d u r i n g -t h e firs-t p a r -t of -t h e session, a n d i -t is a r g u a b l e w h e -t h e r -t h e y w e r e a b l e -to g r a s p -t h e d e f i n i t i o n s of t h e a c t s i n order t o a p p l y s u c h c a t e g o r i e s i n t h e c o d i n g of d a t a s a m p l e s . T h e s e c o n d g r o u p of r a t e r s (VS2) h a d t h e o p p o r t u n i t y t o s t u d y t h e d e f i n i t i o n s a t t h e i r w i l l b e t w e e n t h e first a n d t h e s e c o n d d a y

t i o n s i n m e a n i n g c o n v e y e d b y i n t o n a t i o n c o n t o u r s1 2

a n d p r o v i d e r a t e r s w i t h a m o r e r e l i a b l e a c c o u n t o f t h e p h e n o m e n a u n d e r i n v e s t i g a t i o n .

R e s u l t s : V a l i d a t i o n S e s s i o n 1

T h e s u b c a t e g o r i e s o f a c t s d e a l t w i t h i n V S 1 a n d l e v e l s o f a g r e e m e n t b e t w e e n e a c h t w o r a t e r s w h o h a v e r a t e d t h e o c c u r r e n c e s o f t h e s a m e a c t s are p r e s e n t e d i n T a b l e 2:

T a b l e 2 - A g r e e m e n t b e t w e e n r a t e r s i n V S l

Range of acts _{Raters Level of}

agre-Coefficient of ement ( p0) _{agreement: K} SUBGROUP I

{mrk}, {str}, -fell}, {cp-chk}, {cf-chk}, {cla}, {dir}, {inf}, {com}, {clu}, {mdl}

rater 1 - rater 2

researcher - rater 1 researcher - rater2

34.6% ( p0= 0.34)

74% ( p0= 0.74)

38.4% ( p „ = 0.38)

0.25

0.65 0.29 SUBGROUP I I

{bid}, {nom}, {ack},

rater 3 - rater 4 _{51.4% (p}0= 0.51) 0.46

{y-rpl}, {n-rpl}, {c-rpl}, {rp-rpl}. {i-rpl},

researcher - rater 3 71.4% ( p0= 0.71) 0.68

{rea}, {pro} | _{researcher - rater 4 64% ( p}

0= 0.64)

0.58

T h e p r o c e d u r e for v a l i d a t i n g t h e a c t s w a s t o h a v e t w o r a t e r s c a t e -g o r i z i n -g t h e s a m e d a t a s a m p l e s i n d e p e n d e n t l y , a n d t h e n d e t e r m i n e t h e d e g r e e a n d s i g n i f i c a n c e o f t h e r a t e r s ' a g r e e m e n t ( C o h e n , 1969; L a m p e r t & E r v i n - T r i p p , 1993). F o l l o w i n g C o h e n (1969), t h e p r o p o r t i o n o f c a s e s a b o u t w h i c h t h e r a t e r s a g r e e d ( n o m i n a l s c a l e a g r e e m e n t ) is d e t e r m i n e d b y t h e c a l c u l a t i o n o f p0. For e x a m p l e , t h e i n t e r - r a t e r a g r e e m e n t b e t w e e n t h e r e s e a r c h e r a n d r a t e r 1 for a c t s r a n g i n g b e t w e e n " m a r k e r s " a n d " m o d e l s " , as s h o w n i n T a b l e 3 b e l o w , is g i v e n b y

p0 = 0.27 + 0.06 + 0.04 + 0.02 + 0.29 + 0.02 + 0.04 = 0.74

A c e r t a i n a m o u n t o f a g r e e m e n t b y c h a n c e is, h o w e v e r , e x p e c t e d . T h i s c a n be d e t e r m i n e d b y m u l t i p l y i n g t h e p r o b a b i l i t i e s o f t h e m a r g i

-12 Intonation has not been indicated in transcripts, except for •?• for  i n t e r r o g a t e s and standard  intonation patterns such as (RISE|, [FALL], [FALL­RISE) and [RISE­FALL]. 

120

n a l s . For  a c t s 1  ( m a r k e r ) ­  1 1  ( m o d e l ) ,  t h e  r e s e a r c h e r  p l a c e d 0.08  o f  t h e  c a s e s  u n d e r  t h e  c a t e g o r y  " c o n f i r m a t i o n  c h e c k s "  ( c f ­ c h k ) ,  w h i l e  r a t e r 1  p l a c e d 0.04  o f  t h e cases  i n  t h i s  c a t e g o r y .  T h e  e x p e c t e d  c h a n c e  a g r e e m e n t  for  c f ­ c h k  i s  t h e n (0.08)(0.04) = 0.0032.  V a l u e s for  c h a n c e  a g r e e m e n t are  t h e  p a r e n t h e t i c a l  e n t r i e s  a l o n g  t h e  a g r e e m e n t  d i a g o n a l  i n  T a b l e 3.  T h e  p r o p o r t i o n  o f  a g r e e m e n t  t o  b e  e x p e c t e d  b y  c h a n c e , pc,  i s  f o u n d  b y  a d d i n g  t h e  p a r e n t h e t i c a l  v a l u e s : 

pc = 0.1089 + 0.0084 + 0.0032 + 0.0008 + 0.1369 + 0.0008 + 0.0024 = 0.2614 

T h e  c o e f f i c i e n t  o f  a g r e e m e n t , K ,  i s  t h e  p r o p o r t i o n  o f  a g r e e m e n t  after  a g r e e m e n t  b y  c h a n c e  i s  r e m o v e d  f r o m  c o n s i d e r a t i o n ,  w h i c h  c a n  b e  o b t a i n e d as  f o l l o w s : 

K =  P0

;Pc

 = 0.65 

Pc 

V a l u e s  o f K  r a n g e d 0.25 ­ 0.65 for  a c t s  i n  s u b g r o u p I  a n d 0.46 ­ 0.68  for  s u b g r o u p  I I .  G i v e n  t h e  m i n i m a l  a m o u n t  o f  t r a i n i n g  g i v e n  t o  r a t e r s 1  ­ 4  a n d  c o n s i d e r i n g  t h e  o b s e r v a b l e  c h a r a c t e r i s t i c s  o f  t h e i r  h a n d l i n g  o f  c a t e g o r i e s  a n d  d a t a  s a m p l e s  d u r i n g  V S l ,  t h e  l e v e l s  o f  a g r e e m e n t for  a c t s  d e a l t  w i t h  r a t e r s 3  a n d 4  w e r e  s l i g h t l y  h i g h e r  t h a n  t h e  o n e s for  s u b g r o u p  I  ( a n d  e s p e c i a l l y for  r a t e r 2)  m a y b e  d u e  t o  t h o s e  r a t e r s '  p r e v i o u s  k n o w ­ l e d g e  o f  t h e S&C  m o d e l  a n d  c u r r e n t  i n v o l v e m e n t  i n  r e s e a r c h .  R a t e r  2 ' s  l o w  l e v e l s  o f  a g r e e m e n t ,  t h e  l e a s t  e x p e r i e n c e d  m e m b e r  i n  t h e  g r o u p as  far as  b o t h  d i s c o u r s e  c a t e g o r i e s  a n d  r e s e a r c h  p r o c e d u r e s  a r e  c o n c e r n e d ,  c o r r o b o r a t e  t h i s  c o n c l u s i o n . 

V a l i d a t i o n S e s s i o n 2

B e c a u s e  t h e  l e v e l s  o f  a g r e e m e n t  a c h i e v e d  i n  V S l  w e r e  n o t  c o n s i d e ­ r e d  s a t i s f a c t o r y ,  a n d  g i v e n  t h e  c h a n c e s  t h a t  s u c h  r e s u l t s  m a y  h a v e  b e e n  n e g a t i v e l y  a f f e c t e d  b y  t h e  c o n d i t i o n s  u n d e r  w h i c h  V S l  w a s  c o n d u c t e d ,  a  s e c o n d  s e s s i o n  w a s  c a r r i e d  o u t .  T h e  r a t e r s  i n VS2  w e r e  a l l  M A TEFL  s t u d e n t s ,  w i t h  t h e  e x c e p t i o n  o f  o n e  m e m b e r  o f  t h e  a c a d e m i c  s t a f f  w h o  v o l u n t e e r e d  t o  j o i n  t h e  g r o u p .  T h e  s i x  r a t e r s  i n VS2 are  r e f e r r e d  t o as  r a t e r 5 ­  r a t e r 10.  U n l i k e  r a t e r s 1 ­ 4,  r a t e r s  i n VS2  ( e x c e p t for  t h e  s t a f f  m e m b e r )  h a d  n o t  b e e n  e x p l i c i t l y  e x p o s e d  t o  t h e  t h e o r e t i c a l  b a c k g r o u n d  for  c a t e g o r i e s  o f  d i s c o u r s e  a n a l y s i s .  T h u s  r a t e r s  i n VS2  n e e d e d  s o u n d  t e a c h i n g  a n d  p r a c t i c e  i n  u s i n g  t h e  c o d e s  b e f o r e  a t t e m p t i n g  t o  r a t e  t h e  set  o f  a c t s . 

VS2  w a s  a c t u a l l y  c o n d u c t e d  o n  t h r e e  d i f f e r e n t  d a y s so as  t o  a l l o w  for  a p p r o p r i a t e  t r a i n i n g  o f  r a t e r s  a n d  s a t i s f a c t o r y  r a t i n g  o f  t h e  c o d i n g  s y s t e m .  T h e  f i r s t  t w o  m e e t i n g s (days  o n e  a n d  t w o )  w e r e  e n t i r e l y  d e d i c a ­ t e d  t o  t h e  p r e s e n t a t i o n  o f  t h e  s t u d y  a n d a  d e s c r i p t i o n  o f  t h e  c o d i n g sys­ t e m ,  b y  t h e  r e s e a r c h e r ,  t o  t h e  g r o u p  o f  r a t e r s .  T h e  s a m e  s a m p l e s  f r o m  l e s s o n  t r a n s c r i p t s  u s e d  t o  t r a i n  r a t e r s  i n  V S l  w e r e  c o d e d  a n d  d i s c u s s e d ,  a n d  r a t e r s  5 ­ 1 0  h a d  m o r e  t i m e  t h a n  r a t e r s 1 ­ 4  t o  u n d e r s t a n d  t h e  c a t e ­ g o r i e s  a n d  p r o c e d u r a l  a s p e c t s  o f  c o d i n g  f o l l o w e d  b y  t h e  r e s e a r c h e r . 

O n  t h e  t h i r d day,  t h e  a c t u a l  r a t i n g  o f  t h e  c a t e g o r i e s  a t  t h e  r a n k  o f  a c t s  w a s  c a r r i e d  o u t .  R a t e r s  w e r e  r a n d o m i c a l l y  g r o u p e d  i n  p a i r s ,  a n d  e a c h  p a i r  d e a l t  w i t h a  p r e v i o u s l y  d e t e r m i n e d  s u b g r o u p  o f  a c t s , as  i n  V S l .  I n VS2  n e a r l y  a l l  t h e  a c t s  w e r e  r a t e d ,1 3

 as  o p p o s e d  t o  V S l ,  i n  w h i c h  t h e  n u m b e r  o f  r a t e r s  w a s  t o o  s m a l l  t o  d e a l t  w i t h  a l l  t y p e s  o f  a c t s .  T h e  p r o c e ­ d u r e  o f  r a t i n g  s u b g r o u p s  o f  a c t s  w a s  a d o p t e d so as  t o  f a c i l i t a t e  t h e  h a n ­ d l i n g  o f  d e f i n i t i o n s  t o  b e  f o l l o w e d  b y  r a t e r s .  I n  t h i s  w a y ,  c a t e g o r i e s for  o c c u r r e n c e s  o f  s p e c i f i c  a c t s  t h a t  m a y  l e a d  t o  d o u b l e ­ l a b e l l i n g , for  e x a m ­ p l e  c o m m e n t s  a n d  i n f o r m a t i v e s ,  w e r e  s i m u l t a n e o u s l y  t e s t e d  b y  t w o  r a t e r s  w o r k i n g  o n  t h e  s a m e  s a m p l e s .  A p p e n d i x 3  i l l u s t r a t e s  h o w  t h e  s a m e  s a m p l e  w a s  p r e p a r e d  t o  b e  h a n d l e d  b y  d i f f e r e n t  r a t e r s ,  e a c h  g r o u p  d e a l i n g  w i t h a  p r e d e t e r m i n e d set  o f  a c t s .  G a p s  w e r e  p r e p a r e d for  t h e  l a b e l l i n g  o f  a c t s  w i t h i n  t h e  r a n g e  b e i n g  d e a l t  w i t h  e a c h  p a i r  o f  r a t e r s . 

13 Four  t y p e s of  a c t s ­  g r e e t i n g s ,  p a r t i n g s ,  a s i d e s  a n d  t r a n s l a t i o n s ­  h a v e  n o t  b e e n  v a l i d a t e d  i n  t h i s  s t u d y  d u e  t o  t h e  r e d u c e d  n u m b e r of  r a t e r s  a n d  t h e  s h o r t  a m o u n t of  t i m e  t o  d e a l  w i t h  t h e  l a r g e  n u m b e r of  c a t e g o r i e s .  I t has  b e e n  a s s u m e d  t h a t ,  s i n c e  t h o s e  c a t e g o r i e s are  d r a w n from  s i m i l a r  s t u d i e s  o n  c l a s s r o o m  b e h a v i o u r  a n d  t h e i r  d i s c o u r s e  f u n c t i o n s are less  p r o n e  t o  a m b i g u o u s  i n t e r ­ p r e t a t i o n ,  t h e y  w o u l d be  t h e ones  t o be left  o u t . 

B e c a u s e  t h i s  p r o c e d u r e  r e s e m b l e s  t h e  t e c h n i q u e  o f  t e s t i n g  l a n g u a g e  b y  f o c u s i n g  a t t e n t i o n  o n  o n e  p o i n t  ( g r a m m a r or  v o c a b u l a r y , for  e x a m p l e )  a t a  t i m e ,  t h e  c o d i n g  o f  a c t s  w a s  o p e r a t e d  u n d e r  t h e  p r i n c i p l e s  o f a  " d i s c r e t e  p o i n t  t e s t "  ( O i l e r Jr., 1979),  a n d  i n  w h i c h  r a t e r s  c h o s e  t h e  c a t e g o r i e s  f r o m  a  p r e ­ e s t a b l i s h e d set  o f  " a l t e r n a t i v e s " , as  i n a  m u l t i p l e  c h o i c e  t e s t . 

T h e  l e v e l s  o f  a g r e e m e n t for  e a c h set  o f  a c t s  i n  V S 2 are  p r e s e n t e d  i n  T a b l e 4  b e l o w : 

T a b l e 4 ­  A g r e e m e n t  b e t w e e n  r a t e r s  i n VS2 

Range of acts  Raters  Level of agreement  Coefficient of 

agreement: K

SUBGROUP I  rater 5 ­ rater 6  44.2%  ( p0= 0.44)  0.41 

| m r k ) , (str), (eli), (cp­chk), 

(cf­chk), (cla), (dir), (inf|,  researcher ­ rater 6  37% (p„= 0.37)  0.25  (com), (clu), (mdl)  researcher ­ rater 6  54%  ( p0= 0.54)  0.41 

SUBGROUP II  rater 7 ­ rater 8  80%  ( p0= 0.8)  0.75 

(bid), (nom), (ack), (y­rpl), 

(n­rpl), (c­rpl), (rp­rpl),  researcher ­ rater 7  97%  ( p0= 0.97)  0.96  (i­rpl), (rea), (pro)  researcher ­ rater 8  83% (p0= 0.83)  0.79 

SUBGROUP III  rater 9 ­ rater 10  40%  ( p0= 0.4)  0.31 

(ack), (cor), (evl), (mst), (apl), 

(thk), (ecg), (con), (ter). (grt)  researcher ­ rater 9  65%  ( p0= 0.65)  0.51 

(prt)  researcher ­ rater 10  45% (p„= 0.45)  0.24 

T h e  h i g h e s t  l e v e l s  o f  a g r e e m e n t for  a l l  t h e  r a t e d  a c t s ,  i n  b o t h  V S l  a n d VS2,  w e r e  t h e r e f o r e  7 4 % for  a c t s  i n  s u b g r o u p I  ( K = .65), as  s h o w n  i n  T a b l e s 2  a n d 3,  9 7 % for  a c t s  i n  s u b g r o u p  I I  ( K = . 9 6 )  a n d  6 5 % for  a c t s  i n  s u b g r o u p  I I I  ( K = . 5 1 ) , as  s h o w n  i n  T a b l e 4. 

L e v e l s  o f  a g r e e m e n t  r e a c h e d  i n  V S l  a n d VS2 are,  o n  t h e  w h o l e ,  n o t  as  h i g h as  t h e  l e v e l s  r e a c h e d  i n  e a r l i e r  s t u d i e s  i n  w h i c h  c a t e g o r i e s for  a n a l y s i n g  l e s s o n  t r a n s c r i p t s  w e r e  v a l i d a t e d , as for  e x a m p l e  i n  M i t c h e l l  e t  a l . (1981)  a n d  R a m i r e z  e t  a l .  ( 1 9 8 6 ) .1 4

  T h e  r e s u l t s  r e a c h e d  h e r e  m a y  h a v e  h a d  t h e  i n t e r v e n t i o n  o f  t h e  f o l l o w i n g  f a c t o r s .  F i r s t l y ,  t h e  c o m p l e x i t y  of  t h e  s y s t e m  o f  d i s c o u r s e  e x c h a n g e s  a n d  a c t s ,  w i t h  i t s  l a r g e  n u m b e r  o f  p r o p o s e d  c a t e g o r i e s ,  e s p e c i a l l y  a t  t h e  l e v e l  o f  a c t s .  T h e  s p e c i f i c s  o f  e a c h  d e f i n i t i o n  t h a t ,  i n  s o m e cases,  d i s t i n g u i s h  a c t s  t h a t  h a v e  s i m i l a r  c o m ­ m u n i c a t i v e  f u n c t i o n s ,  h a v e  t o  b e  c a r e f u l l y  g r a s p e d  b y  c o d e r s .  T h i s  s e e m s 

14  T h e  p r o c e d u r e for  d e t e r m i n i n g  r e l i a b i l i t y  o n  t h e  c o d i n g of  l e s s o n  t r a n s c r i p t s  i n  t h e  s t u d y  c o n d u c ­ t e d  b y  R a m i r e z et  a l . (1986)  w a s  d e v e l o p e d  b y C.  C h a u d r o n  a n d  o t h e r s at  t h e  U n i v e r s i t y of  H a w a i i ,  as  r e p o r t e d  i n  C h a u d r o n (1988, p.24). 

to  b e  f e a s i b l e ,  h o w e v e r ,  o n l y after  e x t e n s i v e  t h e o r e t i c a l  a n d  m e t h o d o l o ­ g i c a l  f a m i l i a r i t y  w i t h  t h e  s y s t e m  a n d  t h e  c o d i n g  p r o c e d u r e .  S e c o n d l y ,  l a c k  o f  f a m i l i a r i t y  w i t h  t h e  s y s t e m  p r o b a b l y  l e d  m o s t  r a t e r s  t o  m i s i n t e r ­ p r e t  d e f i n i t i o n s  a n d / o r  h a v e  d i f f i c u l t y  i n  c o d i n g  a c t s  t h a t are  e x p e c t e d  t o  be  p r o b l e m a t i c  d u e  t o  t h e i r  s i m i l a r  f u n c t i o n s .  T h e s e are, for  e x a m p l e ,  c l a ­ r i f i c a t i o n s (cla),  c o n f i r m a t i o n  c h e c k s (cf­chk)  a n d  c o m p r e h e n s i o n  c h e c k s  ( c p ­ c h k ) ;  c l u e s  ( c l u ) ,  i n f o r m a t i v e s  ( i n f )  a n d  s t a r t e r s (str);  a n d  a c k n o w l e d ­ ges  ( a c k )  a n d  e v a l u a t e s (evl).  C a s e s  i n  w h i c h  t h e  r e s e a r c h e r  a n d  r a t e r s  d i s a g r e e d  o n  t h o s e  a c t s are  s h o w n  i n  T a b l e 5  b e l o w : 

T a b l e 5 ­  A c t s :  r a t e r s '  d i s a g r e e m e n t  i n VS1  a n d VS2 

Subgroup I 

Case n.  Researcher  Rater 1  Subgroup 11 

(12)  cf­chk  cp­chk  Case n.  Researcher  Rater 7 

(15)  str  inf  (21)  pro  inf 

(20)  str  dir 

(21)  eli  inf 

(23)  eli  inf  Subgroup  I I I 

(24)  inf  eli  Case  n .  Researcher  Rater 9 

(27)  inf  eli  (4)  ack  i­rpl 

(28)  inf  eli  (6)  ter  ack 

(31)  inf 

_­

(37)  com  cor  (15)  ack  evl 

(38)  mdl  cor  (17)  ack  HES 

(43)  eli  cp­chk  (18)  ack  evl 

(44)  clu  inf  (20)  ack  evl 

(45)  cla  cp­chk 

A  t h i r d  f a c t o r  a f f e c t i n g  t h e  l e v e l s  o f  a g r e e m e n t  w a s  m i s i n t e r p r e t a ­ t i o n ,  b y  r a t e r s ,  o f  d e f i n i t i o n s  a n d  c o d i n g  i n s t r u c t i o n s ,  l e a d i n g  t o  d i s c r e ­ p a n c i e s  i n  c a s e s  s u c h as (21), (23), (24), (27)  a n d (28) for  s u b g r o u p  I ,  i n  w h i c h  t h e  r e s e a r c h e r  a n d  r a t e r 1  d i s a g r e e d  o n  e l i c i t i o n s  ( e l i )  a n d  i n f o r ­ m a t i v e s (inf);  a n d  i n  c a s e s (4)  a n d (17) for  s u b g r o u p  I I I ,  i n  w h i c h  r a t e r 9  d i d  n o t  f o l l o w  t h e  i n s t r u c t i o n s  a n d  u s e d  c a t e g o r i e s  o t h e r  t h a n  t h e  a c t a s  i n  s u b g r o u p  I I I .  T h e s e  d r a w b a c k s  c a n  b e  l i n k e d  t o  t h e  c o n d i t i o n s  u n d e r  w h i c h  V S l  w a s  c a r r i e d  o u t , for  d e s p i t e  t h e e x p e r i e n c e  o f  r a t e r s 1­4, as  r e p o r t e d  i n  t h e i r  p r o f i l e s  a b o v e ,  t h e y  w e r e  n o t  f i b e n  e n o u g h  t r a i n i n g  t o  d e a l  w i t h  t h e  c a t e g o r i e s  p r o p o s e d  h e r e . 

N e v e r t h e l e s s ,  h i g h  l e v e l s of  a g r e e m e n t  a r e  p o s s i b l e , as  s h o w n  b y  t h e  r e s u l t s  r e a c h e d  b y  r a t e r 7  ( s u b g r o u p II)  i n  c o m p a r i s o n  t o  t h e  r e s e a r ­ c h e d  ( K = . 9 6 ) , as  s h o w n  i n  T a b l e 6  b e l o w : 

R a t e r 7  w a s  t h e  o n e  c o l l a b o r a t o r  w h o  p r o b a b l y  b e s t  l e a r n e d  h o w  t o 

a p p l y  t h e  c a t e g o r i e s  b y  s t u d y i n g  t h e m  c a r e f u l l y  b e t w e e n  t h e  m e e ­

t i n g s .1 5

  T h i s  c o r r o b o r a t e s  t h e  c o n c l u s i o n s  r e a c h e d  a b o v e as for  t h e insuf­

f i c i e n t  p r e p a r a t i o n of  t h e  o t h e r  r a t e r s . 

C o n c l u s i o n

T h e  p r o c e s s  t o  v a l i d a t e a  s y s t e m for  c o d i n g  c l a s s r o o m  d i s c o u r s e  i n 

F L  l e s s o n s  r e p o r t e d  i n  t h i s  p a p e r  h a s  p r o v e d  u s e f u l for a  b e t t e r  u n d e r s ­

t a n d i n g of  v a l i d i t y  a n d  r e l i a b i l i t y  o f a  g i v e n  s e t of  d i s c o u r s e  c a t e g o r i e s . 

T h e  c a t e g o r i e s  w e r e  a p p l i e d  i n a  c o n t e x t  i n  w h i c h  t h e  d u a l  r o l e  o f  l a n ­

g u a g e  a n d  t h e  s p e a k e r s '  s p e c i f i c  p e d a g o g i c a l  a i m s  l e a d  t o a  c e r t a i n 

d e g r e e  o f  a m b i g u i t y  i n  l a n g u a g e  a n a l y s i s ,  a n d  t h a t is  o n e  r e a s o n  w h y 

t h e  l e v e l  o f  i n t e r ­ r a t e r  a g r e e m e n t  w a s  n o t  p a r t i c u l a r l y  h i g h . 

T h e  v a l i d a t i o n of  c o m m u n i c a t i v e  a c t s  c o n f i r m e d  t h e  c o m p l e x i t y of 

t h e  c o d i n g  s y s t e m ,  a n d  t h e  a m b i g u i t i e s  f o u n d  i n  t h e  d e f i n i t i o n s of  s o m e 

a c t s .  S u c h  a m b i g u i t y is  a l s o a  c o n s e q u e n c e  o f  t h e  a m b i g u i t y  i n  c l a s s ­

r o o m  c o m m u n i c a t i o n , as  p o i n t e d  o u t  a b o v e . For  e x a m p l e ,  t h e  t e n d e n c y 

of  u s u a l l y  i n t e r p r e t i n g  t e a c h e r s '  a c t s  i n F  m o v e s as  e v a l u a t e s  b l u r s  t h e i r 

o t h e r  f u n c t i o n s ,  s u c h as  a c k n o w l e d g i n g  s t u d e n t  s p e e c h ,  p r o v i d i n g  i n f o r ­

m a t i o n or  t e r m i n a t i n g  a n  e x c h a n g e . 

T h e  o v e r a l l set of  p r o c e d u r e s  f o l l o w e d  t o  v a l i d a t e  t h e  c o d i n g  s y s t e m 

p r e s e n t e d  h e r e  ( s e l e c t i o n of  d a t a  s a m p l e s ,  t r a i n i n g of  r a t e r s ,  d a t a  c o d i n g 

a n d  r e s u l t s ) ,  d e s p i t e  t h e  c o n s t r a i n t s  f a c e d  i n  t h i s  s t u d y ,  m a y  b e  s e e n as 

g u i d e l i n e s for  c o n d u c t i n g  r e s e a r c h  u n d e r  s i m i l a r  c i r c u m s t a n c e s ,  a n d 

a t t e m p t i n g  t o  o b t a i n  h i g h e r  l e v e l s of  r e l i a b i l i t y  i n  c l a s s r o o m  l a n g u a g e 

a n a l y s i s . 

CONSOLO, D.  A .  E m busca da validade criterial na análise da  l i n g u a g e m de sala  de aula: limitaçőes metodológicas do metadiscurso e da concordância entre 

avaliadores. Alfa (Săo Paulo), v.43, p. 113­134, 1999. 

• RESUMO: Este aitigo relata um processo para validar um sistema de catego­

rizaçăo do discurso em aulas de lingua estrangeira, um contexto no qual o duplo papel da linguagem (conteúdo e meio de comunicaçăo) e os objetivos

15 According to rater 7's own statement. 

pedagógicos específicos dos falantes geram um grau de ambigüidade nos sig­ nificados dessa linguagem. A linguagem de sala de aula foi investigada, objeti­

vando estabelecer um arcabouço de pressupostos e categorias de análise do dis­ curso pedagógico. As categorias propostas no estudo tratado (Consolo, 1996,

p.144­87) foram adaptadas a partir de uma variedade de modelos para a aná­ lise do discurso e da interaçăo em sala de aula. Modelos propostos para tal

análise necessitam, entretanto, de revisőes e adaptaçőes ao serem utilizados em contextos diversos daqueles para os quais foram utilizados originalmente

e, nesse processo de (re­)adaptaçăo, redefinem­se categorias existentes, bem

como criam­se novas categorias. Nesse processo, faz­se necessário validar um modelo recriado, para garantir a cientificidade do estudo realizado e suas

implicaçőes. Apresentamos os procedimentos utilizados para validar o modelo de análise utilizado por Consolo (ibidem), incluindo­se a seleçăo dos dados, o

treinamento depesquisadores­participantes, a codificaçăo das categorias e os resultados do estudo. Sugere­se que tais procedimentos contribuam para a

validade e confiabilidade de resultados de pesquisas, enquanto revelam limi­ taçőes decorrentes da metodologia adotada.

1

PALAVRAS­CHAVE: Análise do discurso; discurso de sala de aula; metadis­

curso; validaçăo; confiabilidade.

References

CHAUDRON, C. Second language classrooms. Cambridge: CUR 1988. 

COHEN, J. A coefficient of agreement for  n o m i n a l scales. Educational and

Psychological Measurement,  v . l , n.20, p.37­46, 1969. 

CONSOLO, D. A. Classroom discourse in language teaching: a study of oral inte­

raction  i n EFL lessons  i n Brazil. Cals, 1996. Tese (Doutorado) ­ The Univer­ sity of Reading. 

LAMPERT,  M . D., ERVIN­TRIPR S.  M . Structured coding for the study of lan­

guage and social interaction.  I n : EDWARDS, J. A., LAMPERT,  M . D.  Talking data: transcription and coding  i n discourse research. Hillsdale, 

NJ: Lawrence Erlbaum, 1993. p.169­206. 

M I T C H E L L , R., PARKINSON, B., JOHNSTONE, R. The foreign language class­ room: an observational study. Stirling: University of Stirling, 1981. (Stirling 

monographs, 9) 

OCHS, E. Transcription as theory.  I n : OCHS, E., SCHIEFFELIN, B. B Develop­

mental pragmatics.  N e w York: Academic Press, 1979. p.43­72. 

OLLER Jr, J. W. Discrete Point, Integrative, or Pragmatic Tests.  I n : Language Tests at School: A Pragmatic Approach. London: Longman, 1979. p.36­73. 

RAMIREZ, J. D. et al. First year report  l o n g i t u d i n a l study of immersion programs 

for language  m i n o r i t y children.  A r l i n g t o n : SRA Technologies, 1986. 

SINCLAIR, J., COULTHARD,  M . Towards an analysis of discourse: the english 

used by teachers and pupils. London: OUR 1975. 

. Towards an analysis of discourse.  I n : COULTHARD,  M . Advances in

spoken discourse analysis. London: Routledge, 1992. p.1­34. 

SOARS, J., SOARS,  L . Headway advanced (Student's book). Oxford: OUR 1989. 

STUBBS,  M . Language, Schools and classrooms. 2.ed. London:  M e t h u e n , 1983. 

TESCH, R. Qualitative research: analysis types and software tools. London: Fal­

mer Press, 1990. 

A p p e n d i x 1

CODED LESSON EXTRACT  ( N S l ­  L e s s o n 2) ­  S A M P L E 1 FOR GROUP  T R A I ­ N I N G ­  T u r n s : 396 ­  4 2 41 6 

I n f o r m a t i o n  a b o u t  t h e  l e s s o n : T  a n d STS are  d i s c u s s i n g  t h e  s t u d e n t s '  i m p r e s s i o n s  a b o u t  t h e  c h a r a c t e r s  i n  t h e  f i r s t  p a r t  o f a  s h o r t  s t o r y  ( " T h e  H i t c h ­ h i k e r " ,  b y  R o a l d  D a h l ) .  T h e STS  h a d  a l r e a d y  l i s t e n e d  t o  t h e  e x t r a c t  i n  c l a s s  a n d  f o l l o w e d  t h e  t e x t  i n  t h e i r  c o u r s e b o o k s .  S i n c e  o n l y  t h e  b e g i n ­ n i n g  o f  t h e  s t o r y is  k n o w n  b y  t h e STS,  t h e T is  w o r k i n g  o n  p r e d i c t i o n s  a n d  s u g g e s t i o n s for  t h e  d e v e l o p m e n t  o f  t h e  n a r r a t i v e .  S e t t i n g :  w h o l e ­ c l a s s  i n t e r a c t i o n . 

(turns - s p e a k e r s ) (utterances) (acts) (moves)

396 ­ St3 /you/ 

/+ you're (speaking) abaut three (possible)/ 

397 ­ T: /oh + ok +/ 

/so + one possibilitiy is + this man is a thief/  this man is a thief/ 

|FS) 

(mrk)  (i­rpl) 

l s l 

Rtl(Isl) 

(1511—  397 ­ T: / + so + what happens next?/ 

398 ­ St: / + (IJNINTXa gun)/ 

fell)  ( i r p l )  399 ­ T 

400 ­ St: 

401 ­ T 

/he/ (FS)  / + he steals the car: ?/ (cla) 

/ + he pulls out a gun [RISE'/  the says + drive me + to London [RISE] 

/ + or he (tells) the guy to get out of the car + and (clu)  drives off with his car + uhm?/ 

(UNINT)  N / A 

/ok +/ (mrk)  /that a possiblity/ 

I I 

R1(I1)  11521­ I I 

(cf­chk) 

(eli) 

401  ­ T : / +anything else?/ (eli) 

402 ­ St4: /(maybe) + they could start talking abaut the car + er: (i­rpl) 

(Rl(Il)) 

F1(R1)  [BE1/152]  11 

RKIl) 

403­•T:  who/  (FS)  f f l l 5 3 | 

/  + w h o would (star |RISE|  ] /  (eli) 

404 • •St4:  /(the hitch­hiker]/  (i­rpl)  R l ( I l ) 

/and er + he (tries to)/  (i­rpl) 

405­•T:  / o h + /  (ack)  F1(R1) 

/(UNINT) + you have a:=/  (inf/407) 

406­Co (UNINT)  N/A  (R2(ID) 

407­•T:  /­amazing car/  (405/inf)  F1(R1) 

408­­ St4:  /yeah/  (ack)  Fsl(Fl) 

/+ and (UNINT)/  N/A 

16 Only turns 396 ­ 408 have been reproduced in this appendix due to reasons of space. 

A p p e n d i x 2

CODED LESSON  E X T R A C T  ( N N S 4 ­  L e s s o n 1) ­ S A M P L E 2 F O R G R O U P T R A I N I N G ­  T u r n s 563 ­  5 9 81 7 

I n f o r m a t i o n  a b o u t  t h e  l e s s o n : T  a n d STS are  d i s c u s s i n g a  t a s k  d o n e  p r e ­ v i o u s l y  i n  p a i r s (a  m a t c h i n g  a c t i v i t y ,  " C h i l d r e n  l e a r n  w h a t  t h e y  l i v e " , as  i n  H e a d w a y  A d v a n c e d ) . 

C O D I N G F O R M O V E S A N D A C T S

(turns - s p e a k e r s ) (utterances) (acts) (moves) 563 ­ T. /everybody agrees?/ 

564 ­ St: /yes/ 

565 ­ STS: /no/ 

­1223] • 566 - T: / ({CHUCK)) what did you have? ..

567 - St: / I think + (UNINT) "to appreciate"/..

[224] -568 - T: / w i t h hostility?/

569 - St: /yes/ 570 - St (UNINT) 571 - St: /(UNINT)(fight)/

572 - T: / [5] to fight?/ / + (that's possiblity)/

[225] -573 - St: /do you tink + that |RISE|/N

(INTERRUPTED TURN)

• — ]226] -574 - S t l : /to fight (could be) (UNINT)/

™JL / y e s /

I 2 2 7 J - :

576 - S t l : /(to fight) * to • to: ; 1 | to (get) something/

577 - St: /to get something that you want/

578 - St: /yes/

579 - T: /but the author + shares the same opinion + that the child learns er + lives with hostility + he learns to fight/ /13] I don't know/

/ + he may be wrong/

/ + I ' m not saying that he is right (RISE-FALL]/ / II] I'm just saying that + this is l(UNINT)]/

580 - St: l(UNINT) -12281 •

17 Only turns 563 - 580 have been reproduced in this appendix due to reasons of space.

A p p e n d i x 3

CODED LESSON  S A M P L E 2  ( N N S 1 ­  L e s s o n 1) FOR  V A L I D A T I N G ACTS ­ T u r n s  0 0 7 ­  0 3 11 8 

I n f o r m a t i o n  a b o u t  t h e  l e s s o n :  I n  t h e  b e g i n n i n g  o f  t h i s  l e s s o n  t h e T  h a d  s e t  a n  e x e r c i s e  t o  b e  d o n e  i n  c l a s s .  T h e  t a s k  w a s  t o  m a t c h  s e n t e n c e s  t h a t  c o n t a i n e d  p r e p o s i t i o n s  t o a  l i s t  o f  c a s e s  t h a t  e x p l a i n e d  t h e  u s e s  o f  t h e  p r e p o s i t i o n s  i n  t h e  s e n t e n c e s .  A t  t h i s  p o i n t ,  t h e T is  h a l f w a y  t h r o u g h  t h e  c o r r e c t i o n  o f  t h e  e x e r c i s e . 

007 ­ T: 

( E x a m p l e s of g a p s for a c t s v a l i d a t e d b y r a t e r s 1,  2 , 5 a n d 6) 

/ [ l ] Stephen/ 

/ + dV 

008­STl(*Stephen) lev./

I nom 

1)  (HES)  0 0 9 ­ T : 

010 ­  S i l : 

011 ­ T  /"as it's one in the morning by then"/  lei. I I + four/  / [2] four [RISE]/  2)_  (HES)  (i­tpl)  3)  011 ­ T: / [3] do you agree?/  012 ­ St: /no/  013 ­ T: /no/  4 L  (n­rpl)  (ack)  I I  Rl(H)  10091-I 10091-I  Rl(H)  F1(R1)  ­^î—(BE1/009]  R1(I1)  F1(R1) 

0 1 3 ­ T :  / 1 1 | why four (then)?  5)  11 

014­  S t l :  /(UNINT)  N/A/016  (Rl(ll)) 

015 ­ T:  /wait wait/  6)  F1(R1) 

016­Stl:  •= (UNINT)/  014/N/A  (Rl(H)) 

017 ­ T:  /(UNINT)/  N/A 

/ + position?/  7)  11 

/ + place?/  oo 

1010] ­

[0111­

018 ­  S t l 

/ + position?/ 

/ [1] (er:)/  (HES) 

­1012] ­ 0 1 9 ­ T : 

020 ­ St:  021 ­ T: 

022  ­ S t l : 

/or does it answer the question + when? 10)_ 

N/A  /(UNINT)/ 

/(UNINT)/ 

/ + then + so  | 1 | which is (the answer)?/ 11) 

/ II] (three)/ (i­rpl)  /(right?)/ 12) 

(RKID)  TJ7Ä­IBE1/012] 

I I  R l ( I l ) / I s l 

1BE2/012] 

18 A shorter sample is shown here (and therefore fewer gaps than those for the acts coded  i n this  lesson sample) due to lack of space. 

C O D E D L E S S O N S A M P L E 7. ( N N S 1 L e s s o n 1) FOR VALIDATING: ACTS

-T u r n s  0 0 7 ­  0 3 1 

( E x a m p l e s of g a p s for a c t s v a l i d a t e d b y r a t e r s 3,  4 , 7 a n d 8) 

007 ­ T:  / [1] Stephen/ l + ál

008 ­ Stl(Stephen): /er:/  1)  (eliˇ  (HES)  009 ­ T: /"as It's one In the morning by then"  010 ­ Stl: /er:/  / + four/  011 - T: / [2] four [RISE]/ 

(ell)  (HES)  2) 

(cf­chk)  011 - T / (3] do you agree?/ 

012 ­ St: /no/  013 ­ T: /no/  (ell)  3)  Rl(H)  I I  R l ( l l ) 

[009]­

F1(R1)  IBE1/009]  I I 

Rl(H) 

013 • • T: / [1] why four (then)?/ (eli) 11 [0

014 - ST1: /(UNINT) - N/A/016 (Rl(ID)

015 - T : /wait wait/ (dir) F1(R1)

016 • CO = (UNINT)/ 014/N/A (Rl(Il))

017- T: /(UNINT)/

/ + position?/ / + place?/

{eli] (eli)

i N / A 11

[010] •

[0111 —

018 - S t l :

/ = position?/

/ (1) (er:)/

(eli)

(HES)

[012] -019 - T: /or does it answer the question when? (eli)

020 - St: /(UNINT)/ N/A 021 - T:

022 - Stl:

023 - T:

023 - T:

/(UNINT)/ N / A / + then + so |1] which is (the answer)?/ (eli)

/ [1] (three) /(right?)/

5) (cf-chk! /which one?/

/ + one?/ (UNINT)

(eli) (cf-chk) / + "she answers the door" + "looking a (str) bit angry" +. "as it's one i n the morning by then"/

/ + b y then + means what?/ (eli) / + by that + time/ (inf)

I I

(RKIl)) -[BE1/012] I I

R l ( I l ) / I s l -[BE2/012] I I

N/A 11

-[BE3/012]

R t l ( I l ) [BE4/012I

CODED LESSON SAMPLE 2 (NNS1 ­  L e s s o n 1) FOR VAUDATTNC, ACTS ­ T u r n s 007 ­  0 3 1 

( E x a m p l e s of g a p s for a c t s v a l i d a t e d b y r a t e r s 9 a n d 10)

007  ­ T :  / (1]  S t e p h e n /  _{1)  11} 

1*61 (eli) 

008  • Stl (Stephen):  Isv.l (HES)  _{R l f l l )} 

009  • T:  /"as it's one In the morning by then"  (eli)  11 

010  ­ S t l :  lei:/ (HES)  R l ( l l ) 

1 + four/  (i­rpll 

011  • T:  / [2] four [RISE]/  (cf­chk)  F1(R1) 

011 • ­ T  /13] do you agree?/  (eli)  11  [ B I 

012  ­St:  /no/  (n­rpl)  R i a i )

013  ­ T :  /no/  4)  F1(R1) 

013 • • T:  / [1] why four (then)?/  (eli)  11 

014­ • ST1:  /(UNINT) =  N/A/016  (Rl(ID) 

015  • T:  /wait wait/  (dir)  F1(R1) 

016 ­ CO ­ (UNINT)/  014/N/A  (Rl(Il)) 

017  T:  /(UNINT)/  N/A 

/ + position?/  (eli)  11 

/ + place?/  (eli) 

/ + position?/  (eli) 

018 ­ Stl:  / (11 (er:)/  (HES) 

[009]­

[0101-[01U­

0 1 9 ­ T : 

020 ­ St: 

023 ­ T: 

023 ­ T: 

023 ­ T: 

024 ­  S t l : 

025 ­ T 

/or does it answer the question when?/ (eli) 

/(UNINT)/ N/A  021 ­ T: /(UNINT)/ N/A 

/ + then + so |1] which is (the answer)?/ (eli) 

022  ­ S t l :  / [ l ] (three) (i=rpl)  /(right?)/ (cf­chk)  /which one?/ 

/ + one?/  (UNINT) 

(eli)  (cf­chk)  / + "she answers the door" + "looking a (str)  bit angry" 

"as it's one in the morning by then"/ 

/ + by then + means what?/ (eli)  /  + b y that + time/ (inf) 

/ [3[ so is it one two three or four here?/ (eli)  /three/ 

/THREE/ (c­rpl)  I I 

(Rl(Il)l 

10121-­[BE1/012]  I I 

Rl(Il)/Isl  ­[BE2/012]  I I 

N/A  I I  ­[BE3/012] 

Rtl(Il)  [BE4/012]  I I 

Rl(H)  F1(R1)  I.A. Conbsolo (1999)