商品一覧ページと商品詳細ページのURLを静的にしてみました。
カテゴリIDが1の商品一覧URLは、http://your-domain.com/list/1.html
商品IDが1の商品詳細URLは、http://your-domain.com/detail/1.html
という感じになるかと思います。

ルート直下に.htaccessを作成もしくは編集し、以下の行を追加。

RewriteEngine on
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule detail/([0-9]+)\.html products/detail.php?product_id=$1 [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule list/([0-9]+)\.html$ products/list.php?category_id=$1 [L]

あとはテンプレートのリンク先を変更～。