カステラのルーツはスペイン・ポルトガルといわれていますが、現地にはカステラはありません。スペインでは「ビスコチョ」、ポルトガルでは「パン・デ・ロー」がカステラのルーツと言われていますが、日本のカステラとはかなり違ったものです。これらはもともとは小麦粉を焼いた船乗りの保存食だったそうですが、日本に伝わった時、イベリア半島の中央にあったカスティーリャ地方（王国）のビスコチョ（パン・デ・ロー）と紹介され、カスティーリャがその名前と誤解されたそうです。そして、カスティーリャが訛ってカステラになったということです。

また、その後日本で様々な工夫がなされ、現在の形になったのですが、元のものとはまったく違ってしまい、先述のようにスペイン・ポルトガルにはカステラはないということになります。