User-agent: * Allow: / # === דפים ציבוריים מאושרים === # /he/jobs/all/, /he/jobs/city/*, /he/jobs/category/*, /he/job/*/ # /he/salary-calculator/, /he/about/, /he/magazine/, /he/guide-*/ # /hire/ - דף נחיתה למעסיקים # → כל הדפים הציבוריים מאושרים לסריקה # === נתיבים ללא קידומת /he/ אינם חסומים בכוונה === # הם מפנים 301 לגרסאות /he/ הסופיות, וגוגל חייב לסרוק אותם כדי לראות # את ההפניה ולהסיר את הכתובות הישנות מהאינדקס (היו תקועות "נחסם ע"י robots.txt") # === חסימת ממשקי ניהול ו-API פנימיים === Disallow: /admin/ Disallow: /search-api/ Disallow: /api/ Disallow: /api/sync/ # /en/ לא חסום בכוונה: מפנה 301 לעברית, וגוגל צריך לראות את ההפניה # כדי להסיר את דפי ה-/en/ הישנים מהאינדקס ("נוסף לאינדקס אך נחסם") # === חסימת דפים אחורי (Login Required) === Disallow: /he/auth/ Disallow: /he/login-user/ Disallow: /he/register-user/ Disallow: /he/logout/ Disallow: /he/forgot-password/ Disallow: /he/password-reset/ Disallow: /he/candidate/ Disallow: /he/employer/dashboard/ Disallow: /he/employer/job/ Disallow: /he/employer/applications/ Disallow: /he/employer/crm/ Disallow: /he/employer/leads/ Disallow: /he/employer/messages/ Disallow: /he/dashboard/ Disallow: /hire/lead/ # === חסימת עמודי מערכת === Disallow: /he/delete-account/ Disallow: /he/upload-documents/ Disallow: /he/edit-candidate-profile/ Disallow: /he/edit-employer-profile/ Sitemap: https://www.hr22group.com/sitemap.xml # === AI Crawlers — explicitly allowed === # These bots power AI assistants (ChatGPT, Gemini, Claude, Perplexity, etc.) # We WANT them to index our content so AI models can recommend us. User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: OAI-SearchBot Allow: / User-agent: Google-Extended Allow: / User-agent: Googlebot-News Allow: / User-agent: PerplexityBot Allow: / User-agent: Claude-Web Allow: / User-agent: ClaudeBot Allow: / User-agent: anthropic-ai Allow: / User-agent: Applebot Allow: / User-agent: Applebot-Extended Allow: / User-agent: FacebookBot Allow: / User-agent: Bytespider Allow: / User-agent: YouBot Allow: / # llms.txt — AI context file # https://www.hr22group.com/llms.txt