לעולים ממרכז אירופה מהארצות הדוברות גרמנית היה חלק ניכר בבניית התשתית למערך הביטחוני של המדינה שבדרך, ולאחר מכן של מדינת ישראל. אלפים מהם התגייסו לבריגדה היהודית בצבא הבריטי.
בשנת 1942 נפתח בפלמ"ח מסלול התנדבות חלופי לצבא הבריטי בעבור העולים הצעירים בקיבוצים. מקרב עולים אלו נבנתה "המחלקה הגרמנית" בפיקודו של שמעון (קוך) אבידן (1912 – 1994) וסגנו יהודה (בריגר) בן חורין (1915 – 1974). מחלקה זו הוכשרה בשיתוף עם הבריטים למשימות חבלה מעבר לקווי האויב. בינואר 1945 גויסה המחלקה לבריגדה היהודית ויצאה למצרים וממנה לאיטליה, שם השתתפה בלחימה בגרמנים.
כמה מעולי מרכז אירופה, שרכשו ניסיון מקצועי צבאי כבר לאחר מלחמת העולם הראשונה, השתלבו בתפקידים מרכזיים בארגון ה"הגנה". הוותיק שבהם היה דוד שאלתיאל (1903 – 1969), לימים מפקד מחוז ירושלים במלחמת העצמאות ואלוף בצה"ל. הבכיר בין יוצאי אוסטריה ב"הגנה" היה זיגמונד פון פרידמן, הוא איתן אבישר (1892 – 1964), קצין מקצועי בצבא אוסטריה בימי הקיסרות והרפובליקה, ולימים אלוף בצה"ל. רבים מהם גילו עניין מיוחד בסביבתם ובשכנים הערבים, למדו ערבית ואנגלית ונרתמו לתפקידי ביטחון שוטף ולקישור עם השכנים הערבים ועם המשטרה והצבא של שלטונות המנדט.
תרומתם של עולי מרכז אירופה ניכרה גם בשירותם באגף המודיעין (אמ"ן) בצה"ל, במחלקה המדינית במשרד החוץ, במוסד המרכזי למודיעין ולביטחון ("המוסד"), ובשירות הביטחון הכללי (שב"כ).