
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
   t b _ g g u f _ a u d i t     - >     Q w e n 3 . 5 - 9 B - U D - Q 3 _ K _ X L . g g u f 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 G G U F   v e r s i o n   :   3 
 
 A r c h i t e c t u r e   :   q w e n 3 5 
 
 T e n s o r   c o u n t   :   4 2 7 
 
 K V   e n t r i e s       :   4 6 
 
 D a t a   o f f s e t     :   0 x a 7 5 c e 0 
 
 
 
 - -   S e c t i o n   1 :   K V   p a r a m e t e r s 
 
     n _ l a y e r s                                                   3 2 
 
     h i d d e n _ d i m                                               4 0 9 6 
 
     f f n _ d i m                                                     1 2 2 8 8 
 
     n _ h e a d s                                                     1 6 
 
     n _ k v _ h e a d s                                               4 
 
     h e a d _ d i m                                                   2 5 6 
 
     n _ e x p e r t s                                                 N O T   F O U N D 
 
     n _ e x p e r t s _ p e r _ t o k                                 N O T   F O U N D 
 
     r o p e _ b a s e                                                 1 0 0 0 0 0 0 0 . 0 
 
     n o r m _ e p s                                                   9 . 9 9 9 9 9 9 9 7 4 7 5 2 4 2 7 e - 0 7 
 
     f u l l _ a t t e n t i o n _ i n t e r v a l                     4 
 
     b o s _ i d                                                       N O T   F O U N D 
 
     e o s _ i d                                                       2 4 8 0 4 6 
 
 
 
 - -   S e c t i o n   2 :   G Q A   s a n i t y 
 
     O K   G Q A ( r a t i o = 4 )     n _ h e a d s = 1 6     n _ k v _ h e a d s = 4 
 
 
 
 - -   S e c t i o n   3 :   R o P E 
 
     r o p e _ s c a l i n g _ t y p e :   n o t   s e t   ( s t a n d a r d   R o P E   a s s u m e d ) 
 
     r o p e _ b a s e = 1 0 0 0 0 0 0 0 . 0 
 
 
 
 - -   S e c t i o n   4 :   T e n s o r   n a m e   c o v e r a g e 
 
     H I T = 3 7 1     F A L L B A C K = 3 2     M I S S = 0     ( o f   4 0 3   l o o k u p s   a g a i n s t   4 2 7   t e n s o r s ) 
 
 
 
     F A L L B A C K     b l k . 0 . f f n _ n o r m . w e i g h t 
 
                         - >   f o u n d   a s :   b l k . 0 . p o s t _ a t t e n t i o n _ n o r m . w e i g h t 
 
     F A L L B A C K     ( p a t t e r n   ' b l k . N . f f n _ n o r m . w e i g h t '   o c c u r s   o n   a l l   3 2   l a y e r s   - -   s u p p r e s s i n g ) 
 
 
 
 - -   S e c t i o n   5 :   Q u a n t   t y p e   i n v e n t o r y 
 
     F 3 2                 ( t y p e =   0 ) :     1 7 7   t e n s o r s 
 
     F 1 6                 ( t y p e =   1 ) :       4 8   t e n s o r s 
 
     Q 3 _ K               ( t y p e = 1 1 ) :       5 6   t e n s o r s 
 
     Q 4 _ K               ( t y p e = 1 2 ) :       5 8   t e n s o r s 
 
     Q 5 _ K               ( t y p e = 1 3 ) :       1 3   t e n s o r s 
 
     Q 6 _ K               ( t y p e = 1 4 ) :       2 7   t e n s o r s 
 
     I Q 3 _ S             ( t y p e = 2 1 ) :       1 0   t e n s o r s 
 
     I Q 4 _ X S           ( t y p e = 2 3 ) :       3 8   t e n s o r s 
 
 
 
 - -   S e c t i o n   6 :   B l o c k   s i z e   s a n i t y   ( f i r s t   t e n s o r   p e r   q u a n t   t y p e ) 
 
     O K     Q 6 _ K             t e n s o r = o u t p u t . w e i g h t     n _ e l e m s = 1 0 1 7 1 1 8 7 2 0     b l o c k s = 3 9 7 3 1 2 0 
 
     O K     Q 4 _ K             t e n s o r = t o k e n _ e m b d . w e i g h t     n _ e l e m s = 1 0 1 7 1 1 8 7 2 0     b l o c k s = 3 9 7 3 1 2 0 
 
     O K     I Q 4 _ X S         t e n s o r = b l k . 0 . a t t n _ g a t e . w e i g h t     n _ e l e m s = 1 6 7 7 7 2 1 6     b l o c k s = 6 5 5 3 6 
 
     O K     Q 5 _ K             t e n s o r = b l k . 0 . f f n _ d o w n . w e i g h t     n _ e l e m s = 5 0 3 3 1 6 4 8     b l o c k s = 1 9 6 6 0 8 
 
     O K     Q 3 _ K             t e n s o r = b l k . 0 . f f n _ g a t e . w e i g h t     n _ e l e m s = 5 0 3 3 1 6 4 8     b l o c k s = 1 9 6 6 0 8 
 
     O K     I Q 3 _ S           t e n s o r = b l k . 1 . f f n _ g a t e . w e i g h t     n _ e l e m s = 5 0 3 3 1 6 4 8     b l o c k s = 1 9 6 6 0 8 
 
 
 
 - -   S e c t i o n   7 :   D e q u a n t   s e l f - t e s t   ( f i r s t   b l o c k   o f   e a c h   q u a n t   t y p e ) 
 
     F 1 6               :   O K     L 2 = 0 . 1 3 8 5     b a d = 0 
 
     F 3 2               :   O K     L 2 = 1 1 . 7 9 0 1     b a d = 0 
 
     I Q 3 _ S           :   S K I P   ( n o   P y t h o n   r e f   f o r   t y p e   2 1 ) 
 
     I Q 4 _ X S         :   S K I P   ( n o   P y t h o n   r e f   f o r   t y p e   2 3 ) 
 
     Q 3 _ K             :   O K     L 2 = 0 . 2 6 3 7     z e r o s = 4 3 / 2 5 6     t e n s o r = b l k . 0 . f f n _ g a t e . w e i g h t 
 
     Q 4 _ K             :   O K     L 2 = 0 . 1 9 1 3     z e r o s = 0 / 2 5 6     t e n s o r = t o k e n _ e m b d . w e i g h t 
 
     Q 5 _ K             :   O K     L 2 = 0 . 2 3 5 0     z e r o s = 0 / 2 5 6     t e n s o r = b l k . 0 . f f n _ d o w n . w e i g h t 
 
     Q 6 _ K             :   O K     L 2 = 0 . 2 7 0 8     z e r o s = 4 / 2 5 6     t e n s o r = o u t p u t . w e i g h t 
 
 
 
 - -   S e c t i o n   8 :   D e q u a n t - z e r o i n g   r i s k   ( t e n s o r   f o u n d ,   b u t   C   e n g i n e   w i l l   z e r o   i t ) 
 
     I Q 4 _ X S   ( 3 8   t e n s o r s ) :   C   e n g i n e   h i t s   ' d e f a u l t :   m e m s e t ( o u t , 0 ) '   b r a n c h ! 
 
         b l k . 0 . a t t n _ g a t e . w e i g h t 
 
         b l k . 1 . a t t n _ g a t e . w e i g h t 
 
         b l k . 1 0 . a t t n _ g a t e . w e i g h t 
 
         b l k . 1 2 . a t t n _ g a t e . w e i g h t 
 
         . . .   a n d   3 4   m o r e 
 
 
 
 - -   S e c t i o n   9 :   A r c h i t e c t u r e - s p e c i f i c   c h e c k s 
 
     F A I L :   Q - h e a d   m i s m a t c h     G G U F   K V   n _ h e a d s = 1 6   b u t   b l k . 3 . a t t n _ q . w e i g h t   r o w s   - >   3 2   h e a d s 
 
                 E n g i n e   N H = 1 6   - >   o n l y   1 6 / 3 2   Q - h e a d s   c o m p u t e d   f o r   g l o b a l   l a y e r s 
 
     F A I L :   n _ k v _ h e a d s   c o r r e c t i o n   i n   t b _ g g u f . c   r e a d s   L O C A L   b l k . 0 . a t t n _ q k v . w e i g h t 
 
                 d e r i v e s   n _ k v _ h e a d s = 8   ( w r o n g :   l o c a l   D e l t a N e t   Q K V   l a y o u t ) 
 
                 a c t u a l   g l o b a l   K   w e i g h t :   n _ k v _ h e a d s = 4 
 
                 K V   c a c h e   a l l o c a t e d   f o r   8   h e a d s ,   a t t e n t i o n   c o m p u t e d   w i t h   4 
 
     F A I L :   P a r t i a l   R o P E     r o p e . d i m e n s i o n _ c o u n t = 6 4   <   h e a d _ d i m = 2 5 6 
 
                 E n g i n e   r o t a t e s   a l l   1 2 8   p a i r s ;   s h o u l d   r o t a t e   o n l y   3 2   p a i r s 
 
                 r o p e . d i m e n s i o n _ s e c t i o n s = [ 1 1 ,   1 1 ,   1 0 ,   0 ]   ( f r e q u e n c y   b a n d   p a r t i t i o n i n g   - -   N O T   I M P L E M E N T E D ) 
 
     O K     q w e n 3 5 . f u l l _ a t t e n t i o n _ i n t e r v a l = 4   f o u n d 
 
             C   e n g i n e   u s e s   s t r s t r ( ' f u l l _ a t t e n t i o n _ i n t e r v a l ' )   - >   m a t c h e s   c o r r e c t l y 
 
             H y b r i d   l a y o u t :   e v e r y   4 t h   l a y e r   i s   g l o b a l   s o f t m a x ,   r e s t   a r e   D e l t a N e t 
 
 
 
 - -   S u m m a r y 
 
     T e n s o r   m i s s e s   ( s i l e n t   p a s s t h r o u g h ) :                     0 
 
     T e n s o r   f a l l b a c k s   ( a l i a s   r e s o l v e d   O K ) :                 3 2 
 
     T e n s o r s   d e q u a n t - z e r o e d   i n   C   e n g i n e :                     3 8     < -   S I L E N T   W R O N G   O U T P U T 
 
     D e q u a n t   s e l f - t e s t   f a i l u r e s   ( i m p l e m e n t e d   t y p e s ) :   0 
 
     O V E R A L L :   I S S U E S   F O U N D   - -   I Q 4 _ X S   z e r o i n g   ( 3 8   t e n s o r s ) 
 
     S e e   S e c t i o n s   8   a n d   9   f o r   a r c h i t e c t u r e - s p e c i f i c   b u g s 
 
 
 
 