Para personalizar nuestra sidebar con un enmarcado en el color y grosor que queramos debemos ir a Diseño, Edición de HTML, y una vez allí ubicamos:

.sidebar h2{

Ahora debajo pegamos lo siguiente:

border-top: 1px solid #000000;
border-left: 1px solid #000000;
border-right: 1px solid #000000;
border-bottom: 1px solid #000000;

Puedes sustituir el grosor del borde 1px y el color #000000