書物において今何ページなのかを表示する、いわゆる「Pager」(日本語で言えば丁付け)は検索結果を表示するページなどで使われています。
(例:Googleの検索結果ページなど)
この"Pager"においては使いやすさ、つまり以下の点が重要です。
単純に「1 2 3 4 ...」とするだけでは、使いやすさに劣ります。
以下のサイトにいくつかのサンプル(HTML,CSS付き)があります。
様々なWebサービスで使われているものをピックアップしているようです。
26 pager styles from around the web (css, images and html)
そのまま使うこともできますし、一部をカスタマイズしても良いと思います。