Lo hice de la siguiente forma , para eliminar elementos repetidos y asi evitar que cambie el contador .

const removeDuplicate=arr=>{

return [...new Set(arr)]

}

Esta funcion recibira como argumento " state.cart.concat(action.id) "