Updates for django 4.2

Backfill migration with changed ordering

This was missed in dbdbe6a when ordering of moderator notes was changed
on the model.

Use an appropriate top title when adding a new feed.

Use an appropriate title when adding a new feed.

Don't show moderation notes when adding a new field.

Add explicit redirect after adding a moderator note

This way we can avoid potential duplicate-postings on a refresh, and it
makes tracking the code a bit more clear.

Don't redirect to complete page on invalid form

Indentation missed in a12e1b97 made it try that. Instead, it should fall
through and render the form, which will then show the proper error
message.

Fix ordering of notes so they are more naturally readable.

Fix ordering of notes so they are more naturally readable.

Add the ability to include moderator notes on feeds.

Remove twitteruser field from blog registration

We can't verify it anymore, and this blocks anybody from saving a blog
that has twitteruser on it.

Twitter does not provide any way to verify the existance of a user
anymore, other than paying $$$$. So we'll just cut the field for now, to
make things work again.

This does not remove *existing* registrations of twitter users, but it
does make it impossible to register new ones.

Issues reported by several different people.

HTML un-escape Twitter messages.

Fix over-enthusiastic search/replace in previous commit

Fix templates for upgrade to bootstrap 4

Commit c9f68d5f upgraded the site to bootstrap 4, amongst other things,
but completely missed that "labels" are now called "badges", and thus
need new CSS classes.

Update twitter posting to use api v2

This is the only API version supported by free clients now. Also, the
list syncing doesn't work, because that requires a paid client. We don't
care about  that one for now.

Sync up to latest version of pgweb auth plugin

Add to log message the old blogurl

For debugging, it's helpful to know what the old value was of a given
blogurl, to make sure we are updating things correctly and only what
should be getting updated is getting updated.

Always set new_blogurl if blogurl different from feed.link

Previously, we set blogurl if the prior blogurl was set to empty-string
('') but that change wasn't picked up as part of what needed to be
updated, so instead always use new_blogurl if we need to set the blogurl
as this ensures that we'll realize there was a change and will update
the database accordingly.

At the same time, also send an email in every case that the blogurl is
changed, even when it's being changed from being empty.  This is perhaps
a bit noisy but it's been broken for so long that it's worth it to make
sure people are aware that it's now working and folks don't register new
blogs over and over again anyway.

Lastly, move the block that does the update and sets the new blogurl
value up higher so that if a new blogurl is set then the emails that are
generated from that run will use that new blogurl instead of the old
one (which could be confusing).

Add override styles for <h*> tags in planet posts

It looks bad on the site when the headlines inside posts are larger than
the headlines outside them. So force them down to a smaller sice.

It's not very pretty, but it's better than before. More could definitely
still be done to separate wrapping from content more.

Blind attempt to restore the old image sanitisation.

Name the exception, so we will actually have it to print.

Log if there is an exception when setting blogurl

Add a border for clarity, per Jonathan

Update Planet to the modern postgresql.org website styling.

Properly tag 404s from redirector with xkeys

If the 404s are beceause an item is hidden, we need them to be tagged
with the appropriate xkeys so we can automatically unhide them.

Fix silly copy/paste error

Band-aid fix for newer python in imported module

Store the id of the tweet when a post has been tweeted

Add xkey and other headers for redirect, use for purge

This way we'll purge the redirect whenever a post is hidden, so we'll
stop redirecting to it.

Spelling correction

retreiving -> retrieving

Add DEFAULT_AUTO_FIELD for Django 3.2

Spelling fix

Spotted by Jonathan Katz

Force timestamp check into join condition

Unfortunately, 6c44b60 very clearly de-optimized the query when running
on a system with millions of log-rows. Oops. So force the django ORM to
put the filter on the join clause thereby making it possible to use an
index, which should make it actually optimized.

Don't show list of personal teams in admin view

In admin view we are looking at others people's blogs, so it is
confusing to have the bottom part of the page reflect the administrators
personal setup.

Optimize some db queries

Basically make django generate the joins/prefetches/subqueries instead
of firing of hundreds of queries on the db. Probably doesn't actually
matter that much given how seldom these queries are run, but still.

Show blog username/email in listing

For the regular user view, just show which account and email is used for
info.

For the administration view, show the username and email for each
individual blog, to help with tracking down misbehaving blogs.

And finally, in the moderation view, also include the email (it already
had the account name) to make it easier to contact an author.

Don't forward links for posts that have been hidden

Set proper mail headers to indicate auto-generated mails

Have redirector generate a robots.txt file if requested

Generate proper 404's in redirector

Instead of generating a 500 error, because that is both wrong and will
prevent caching.

Fix text for top lists time range

We are counting the number of posts in the past two months, but the
website said 1 month (and has since forever).

Spotted by Bruce Momjian

Fix title for field lastget

In particular it was terribly labeled in the moderation interface. Make
it better and more consistent between the two interfaces.

Import latest version of the community auth plugin

This includes receiving updates using the new push api.

Make use of the lastsuccess parameter to improve some messages

In particular, it is interesting to know when a blog that has failed
multiple times has actually succeeded more recent than the most recent
failure. So show this both on the dashbaord and on the individual blog
details, and include it in the email that's sent when a blog generates
large amounts of errors.

Track timestamp for last successful fetch of a blog

Only update actually changed fields in most places

Misc fixes to make pep8 happy

Mostly whitespace fixes, but also some bare-exception fixes.

Add a setup.cfg that specifies which pep8 settings we normally run with.

Clean up imports

Remove unused imports, and stop using "import *"

Fix incorrect classname

Convert tabs to spaces

Finally time to clean this repo up

Don't list archived blogs as members of teams

Spotted by Guillaume Lelarge

User.is_authenticated is no longer a callable in Django 2.2

Update to be compatible with django 2.2

Fix spelling error

Sync up community auth plugin to latest-and-greatest

Apply feedparser fix for python 3.7

Use vendored version of feedparser

Vendor feedparser 5.2.1

We're going to need to make small modifications, and the new 6.x release
isn't ready and doesn't appear to be close.

Fix spelling error

Unicode fixes in old migrations

Missed to update the migrations in the py3 update

Encode URL

Flask responses need to be bytestrings, not real strings

Seems if a string is returned, flask just turns it into an empty
response (rather than converting it to utf8 as expected). These are
trivial hardcoded strings though, so just use bytestrings.

Band-aid fix for feed as well

Band-aid fix for broken html tidy parsing

Replace old version of Tidy with new one

Fix integer division for python 3

Update redirector to python 3

Import latest version of community auth plugin

Proeperly use requests to format URL parameters

Switch to using requests for varnish calls

Ensure list is printed as list in python 3

Fix has_key accesses for python 3

Fix unicode and printing for python 3

Update exception handling for python 3

Fix imports for python 3

Update links to planet policy

The policy lives on the main website these days, not the wiki.

Fix result variable name

Properly include hostname to twitter api when posting

Update twitter poster to use new API as well

Update twitter sync code to use requests_oauthlib

This simplifies the code a lot, and also adds the functionality to not
get stuck in a cron-loop when somebody specifies a non-public twitter
account as their twitter account. Instead when that happens just remove
the twitter account from the feed (storing it in a new field,
oldtwitteraccount, just to be on the safe side in case twitter does evil
things to us at some point)

Code mostly stolen from the pgeu website code.

Make sort by name the default behaviour for teams

Fix incorrect string formatting specifier

Fix template loaders for django 1.11

Seems django 1.11 automatically enables caching template loader, which
of course breaks the ability to make any changes to the pages of a
website without restarting it. And there is no way to turn it off other
than to explicitly configure individual loders (the logic to turn it on
in non-debug configurations is hardcoded and cannot be changed).

Detect excessive blog fetches

If a single fetch from a blog grabs more than <n> entries (the default
being 4), this usually indicates a misconfigured blog and it will end up
spamming the outgoing feed and twitter, even if later corrected. For
that reason, when this happens, mark all the newly fetched entries as
hidden, and send a notification as such. In the event that they are
actually correct, the user can go in and manually unhide those entries,
which will make them show up again.

Fix tracing messages

Shouldn't use print directly, since it doesn't respect the verbosity
setting.

Automatically follow http->https redirects

We only follow the redirect if the URL is *exactly* the same except it
has https intead of http in it. But this is a very common scenario these
days, so let's simplify that one.

In particular, it makes no sense to re-moderate a blog after that change
has been made.

Treat  and https:// guid as being the same when fetching

This means that if the same blog post shows up both under http:// and
https:// (for example when somebody changes their URL from http to
https, but it still contains the old posts), we will treat them as being
the same and not fetch a second copy of it.

We handle both http->https (common) and https->http (would probably
indicate a misconfiguration) scenarios.

Remove old leftover debugging code

Replace render_to_response with render

Required in newer django, and still works in the old one.

Update URL configurations for newer django

Remove app not used

Update template configuration for newer django

Don't just delete successful logs

MOst of what we end up keeping aren't..

Add command to purge old logs

Add missing import

Properly format email headers with non-ascii

When sending an email to non-ascii names, the actual email address
should not be part of the encoded section. It should have a separate
section that's not encoded.

Ported over from the pgeu install

Update listsync script to sync with pglister instead of mj2

Encode URLs to handle even worse formatted twitter links

Validate twitter accounts when submitting a new blog

Do this by connecting to the twitter API and actually validate both that
the account exists, and that it's not protected. Protected accounts will
cause the follower-sync script to keep trying over and over again for
following, and there's not any point in promoting those anyway.

This adds a dependency on requests_oauthlib, but that's already used in
other pgweb projects so shouldn't be a problem.

Don't crash when feedurl is not given

Instead, give a proper error message as intended.