In Anno 1404 , buildings are the core mechanical unit. Players construct them to harvest raw materials, produce goods, raise taxes, build military forces, and satisfy the needs of their population. Buildings are divided into two distinct cultural architecture sets: (Western European/Islamic-inspired) and Oriental (Near Eastern/Asian-inspired). Each set has unique production chains, population classes, and aesthetic styles.

Drugi istotny aspekt architektury w grze dotyczy logistyki i krajobrazu. Budynki w Anno 1404 nie są umieszczane w próżni, lecz ściśle współgrają z terenem. Gospodarka leśna wymaga obszarów zadrzewionych, a kamieniołomy muszą być usytuowane przy górach. Gra wprowadza także unikalne budynki takie jak karawanseraje czy domy napraw, które działają na zasadzie „obszaru wyspy” i są kluczowe dla utrzymania dalekich szlaków handlowych. System ten uczy gracza, że infrastruktura jest ważniejsza niż sama produkcja. Największa plantacja przypraw na Wschodzie jest bezużyteczna, jeśli nie ma odpowiednich magazynów i statków transportowych, które przetransportują towar do miast na Zachodzie. Budynki magazynowe i porty stają się więc węzłami komunikacyjnymi, a ich rozmieszczenie decyduje o płynności przepływu dóbr.