Creció en New Lisbon, Wisconsin. Su padre era vendedor de semillas para la compañía Pioneer Seed, y su madre era empleada de Lands’ End, una compañía que vende la ropa a través de catálogos pedidos por correo.
Andreessen recibió su licenciatura en informática de la universidad de Illinois Urbana-Champaign. Como estudiante, trabajó un verano en la IBM de Austin, Texas. También colaboró en el centro nacional de aplicaciones para supercomputadores, donde se familiarizó con los estándares abiertos de Tim Berners-Lee para la World Wide Web. Durante ese periodo Andreessen y su compañero de trabajo Eric Bina trabajaron juntos para crear Mosaic.
Mosaic fue creado en 1993 mientras todavía era un estudiante de 22 años en la universidad y becario en el National Center for Supercomputing Applications (NCSA), el navegador permitía que la red pudiera ser explorada mediante simples clics de ratón (los navegadores anteriores eran en modo texto y se usaban con el teclado). Mosaic se distribuyó gratuitamente entre la comunidad científica y contribuyó a la rápida expansión del World Wide Web.
En 1993, después de su graduación, Andreessen se mudó a California para trabajar en Enterprise Integration Technologies. En 1994 se unió a James Clark, ex presidente de Silicon Graphics, para formar la empresa Netscape Communications Inc. Netscape se convirtió pronto en un cuasi-monopolio. En 1995 era el programa utilizado por cerca del 90% de los usuarios. El éxito de Netscape llamó la atención de Microsoft. En el año 2001 Andreessen abandonó la compañía por falta de entusiasmo en el proyecto y formó Loudcloud, una compañía basada en servicios de Web-Hosting. Loudcloud vendió su negocio a “Electronic Data Systems (EDS)” y cambió su nombre a Opsware en el año 2003, donde Andreessen continúa actualmente de ejecutivo. Su último proyecto es Ning, que fue lanzado en octubre de 2005.