У тебя

(a ((- n 1) (- k 1)))

т.е.
ты функции а даешь вместо двух аргументов один, и неправильный,
надо так

(a (- n 1) (- k 1)) 

Так же и тут

(a ((- n 1) k))

, надо

(a (- n 1) k)

Итого имеем:

(defun a(n k)

  (cond

    ((= n k) 1)

    ((= k 0)  0)

    ((= n 0) 0)

    (t  (+ (a (- n 1) (- k 1)) (* k (a (- n 1) k))))

  )

)

P.S. Может лучьше вычислить не рекурсивкой формулой?