いろいろ設定方法はありますが、一般的「All in One SEO Pack」と言うPluginを入れていると思います。入れてない場合はPluginの設定から新規にインストールをして有効にして下さい。
この「All in One SEO Pack」が一番簡単です。
Dashboardからこの「All in One SEO Pack」を選択、管理画面がでましたら、中央半ば下に「Google Analytics ID」とありますから(日本語の場合もあり)そこにGoogle Analytics ID を入れます。
Google Analytics ID は登録設定してあるのが前提で書きましたが、無い場合はGoogle Analytics サイトで設定をして Google Analytics ID の取得をして下さい。
これが一番簡単かな?
theme編集からheader.phpにTracking code(トラッキングコード)を貼り付ける方法も簡単ですので、プラグインに頼りたくない方はこちらでも。