#!/usr/bin/env python3
"""Verifikasi: halaman kembar sudah noindex, kanonik tetap terindeks, dan bagian baru ada di halaman."""
import re, time, urllib.error, urllib.request

UA = {"User-Agent": "Mozilla/5.0"}
CEK = [
    ("kanonik", "https://www.theskincodeclinic.com/rekomendasi-6-klinik-kecantikan-di-krian-sidoarjo/"),
    ("kembar", "https://www.theskincodeclinic.com/ciri-ciri-dokter-kecantikan-krian-terpercaya/"),
    ("kembar", "https://www.theskincodeclinic.com/7-perawatan-wajah-di-klinik-kecantikan-krian/"),
    ("kembar", "https://www.theskincodeclinic.com/tips-memilih-klinik-kecantikan-terbaik-di-sidoarjo-3/"),
    ("kembar", "https://www.theskincodeclinic.com/perawatan-wajah-klinik-kecantikan-sidoarjo/"),
    ("kembar", "https://www.theskincodeclinic.com/facial-medis-di-klinik-kecantikan-the-skin-code-clinic-krian-3/"),
]
for label, u in CEK:
    try:
        t = urllib.request.urlopen(urllib.request.Request(f"{u}?c={int(time.time())}", headers=UA), timeout=90).read().decode("utf-8", "replace")
    except urllib.error.HTTPError as e:
        print(f"  {label:<8} HTTP {e.code} · {u[-56:]}")
        continue
    m2 = re.search(r"name='robots' content='([^']*)'", t) or re.search(r'name="robots" content="([^"]*)"', t)
    print(f"  {label:<8} robots: {m2.group(1) if m2 else '(tidak ada)'} · {u[-56:]}")
    time.sleep(1)

# bagian baru di kanonik
t = urllib.request.urlopen(urllib.request.Request(CEK[0][1], headers=UA), timeout=90).read().decode("utf-8", "replace")
for judul in ("Cara Menilai Klinik Kecantikan yang Berstandar Medis", "Facial Medis dan Bedanya",
              "Perawatan yang Umum di Klinik Kecantikan Krian", "Yang Sebaiknya Membuat Anda Berhati-hati"):
    print(f"  bagian «{judul[:46]}»: {'ada' if judul in t else 'TIDAK ada'}")