¿Tengo que crear una barra de herramientas para cada actividad en mi aplicación para Android?

Toolbar es sólo una vista y tienes que añadirla a cada Activity en la que quieras mostrarla.

Una forma es simplemente ponerlo en un archivo de diseño separado e incluirlo en el diseño de la Activity .

Toolbar.xml

 <?xml version="1.0" encoding="utf-8"?> <android.support.v7.widget.Toolbar xmlns:android="http://schemas.android.com/apk/res/android" xmlns:app="http://schemas.android.com/apk/res-auto" android:id="@+id/toolbar" android:layout_width="match_parent" android:layout_height="wrap_content" android:background="?attr/colorPrimary" app:theme="@style/ThemeOverlay.AppCompat.Dark.ActionBar" > </android.support.v7.widget.Toolbar> 

Ahora, en el diseño de la actividad en el que desea agregarlo, incluya lo siguiente:

 <include android:id="@+id/toolbar" layout="@layout/toolbar"/> 

También puede ampliar Su clase de actividad con AppCompatActivity lugar de Activity