El contexto de p es 20px. Por eso 2em es igual a 40px. Pero el contexto de padding en p es el font size del mismo (es decir 40px). Lo más importante para determinar las medidas correctas es saber cuál es el contexto directo del elemento que queremos cambiar.