В вашем случае в 9-10 строчках следует написать:

long long orient = (lPoint.second-p0.second)*(rPoint.first-p0.first) -
                            (lPoint.first-p0.first)*(rPoint.second-p0.second);

Но обычно пишут свою геометрию (чем проще написано, тем проще дебажить), например, я написал бы так:

struct pt {
    double x, y;
};

pt get(pt a, pt b) { // получаем вектор по двум точкам
    return pt(b.x-a.x, b.y-a.y);
}

ld cross(pt a, pt b) { // cross product
    return a.x*b.y - a.y*b.x;
}

bool cmp(pt a, pt b) {
    if (a == p0) {
        return 1;
    }
    if (b == p0) {
        return 0;
    }
    pt oa = get(p0, a);
    pt ob = get(p0, b);
    return cross(oa, ob) < 0;
}

The comparison function has to be a strict weak ordering. Yours isn't. You keep the point at index 0 in the array you are sorting, and according to your comparison function this point is equivalent ("equal") to any other point because the cross product is always zero.

Use this compare:

comp(a,b)
{
if(quarter(a)==quarter(b))
return cross(a,b)>0;//or cross(a,b)<0
else
return quarter(a)<quarter(b);

}